Forum: Digitale Signalverarbeitung / DSP / Machine Learning Auswertung von Daten - Algorithmus


von Jana F. (montan_88)


Angehängte Dateien:

Lesenswert?

Brauche bitte dringend Hilfe!!

Für ein Praktikum soll ich Daten auswerten und einen Trend erstellen! 
Wie man im Diagramm erkennen kann, treten oft extreme Sprünge nach unten 
bzw oben ein, diese dürfen nicht sein! Meine Aufgabe ist es, diese 
anhand der Datenmenge zu berechnen um einen Algorithmus zu erstellen 
dass das nicht mehr vorkommt bzw um schneller darauf schließen zu können 
wann das passiert!?? Hat da bitte jemand eine Ahnung?? Grundsätzlich 
geht es um einen Hochofen, diese Daten stammen von den Windformern, ds 
Düsen die Winddruck einbringen! Ein Programm schreibt alle 20 sec Werte 
mit (Daten gegeben) und die Sprünge sind Fehler die ausgebessert 
gehören??! Winddruck etc steht alles fest! Hilfe!! :( hab schon alles 
versucht aber ich packs nicht! Bitte Bitte danke!!

: Verschoben durch Admin
von Digi S. (digispark)


Lesenswert?

Für Trend-Analysen gibt es jede Menge unterschiedlicher Ansätze. Gerade 
im Bereich der Wertpapier-Analysen gibt es da recht spannende Dinge. Ich 
hab mal spaßeshalber einen sog. MACD (einfach mal danach googlen) 
Indikator für den DAX implementiert. Das funktioniert so aber 
grundsätzlich sicher auch für Eure Werte.

von Martin S. (sirnails)


Lesenswert?

Als ganz einfache und effektive Implementation kannst du die Ableitung 
der Daten bilden und auf einen Grenzwert prüfen. Ist er überschritten, 
liegt ein Sprung vor.

Als Korrektur dieser Fehler kannst Du einen gleitenden Mittelwert 
einsetzen (Summe aktueller + vorangegangener Wert / 2). Im Störfall 
allerdings wird Dir der Mittelwert erst nach 2-3 zusätzlichen Messungen 
einen Grenzwertfehler verursachen.

von Yalu X. (yalu) (Moderator)


Lesenswert?

Liegen die Messwerte bei der Analyse schon alle vor, oder soll die 
Analyse laufend, also während die Messwerte eintrudeln, stattfinden?

Im ersten Fall würde ein Medianfilter ausprobieren. Die Anzahl der 
Messpunkte, über die der Median gebildet wird, muss dabei mehr als 
doppelt so groß wie die Anzahl der Messpunkte, die zu einer einzelnen 
Störung gehören, sein.

von Reinhard Kern (Gast)


Lesenswert?

Jana Filzwieser schrieb:
> Wie man im Diagramm erkennen kann, treten oft extreme Sprünge nach unten
> bzw oben ein, diese dürfen nicht sein!

Probier mal eine 3sigma-Korrektur. Die dient dazu Wunder und Messfehler 
zu eliminieren, vorausgesetzt es handelt sich um eine 
Gauss-Normalverteilung.

Ausserdem kann man eine Ausgleichsrechnung mit geeigneten Faktoren über 
+- n Messpunkte machen, aber die glättet nur und eliminiert fehlerhafte 
Messwerte nicht ganz.

Gruss Reinhard

von Jana F. (montan_88)


Lesenswert?

Mei danke für die schnelle Antwort voll nett! Also diesen Gedanken hatte 
ich auch schon und überlegt hab ich mir das auch so nur mein problem ist 
die Umsetzung :( entweder bin ich zu dumm oder ich stehe einfach voll 
auf der Leitung!  Ich checks einfach nicht wie ich das bei sooooo vielen 
werten machen soll!?? :(

von Yalu X. (yalu) (Moderator)


Lesenswert?

Jana Filzwieser schrieb:
> Ich checks einfach nicht wie ich das bei sooooo vielen werten machen
> soll!?? :(

Lass es den Computer machen. Dem ist es ziemlich egal, ob er 10 oder 
10000000 Messwerte verarbeiten muss :)

Oder wo liegt konkret das Problem?

von Jana F. (montan_88)


Lesenswert?

Also ich hab jz mal immer vom ersten wert den zweiten abgezogen und das 
fortlaufend! Dann die werte absolut gesetzt damit ich damit arbeiten 
kann! Dann hab ich diese werte gemittelt ok damit komm ich aber nicht 
auf den sprung! Ich soll quasi eine rechnung oder so finden die man 
übernehmen kann damit man nicht immer ewig rumrechnen muss! Mein problem 
es gibt ungefähr20 solche datenblätter und 1000de von zeilen 
zeitbezogen, das is nur ein kleiner ausschnitt! Und ich bin voll zu blöd 
ich weis worum es geht weis aber nicht wie ich das im excel und 
mathematisch umsetze :( mir is das sooo peinlich weil es ja nicht so 
schwer wäre und ich checks nicht :( es tut mir voll leid das is mir noch 
nie passiert :(

von Digi S. (digispark)


Lesenswert?

ich gehe mal davon aus, dass die Überwachung später ja kontinuierlich im 
Fertigungsprozess erfolgen soll. Da halte ich Excel als Datenspeicher 
nur für bedingt geeignet.

Ich würde die Werte erstmal alle in eine vernünftige Datenbank packen 
(lassen) und dann ein Frontend basteln, mit dem man die Auswertung je 
nach Hochofen / Windformer und gewünschtem Auswert-Zeitraum auswählen 
kann. Für die Umsetzung wohl am einfachsten ist es, wenn Du den 
End-Zeitpunkt auswählen läßt und dann immer eine festgelegte Anzahl von 
Zeitperioden auswertest. Beispiel: Auswert-Zeitpunkt heute Mittag12 Uhr. 
Dann würdest Du  diesen als Start-Wert nehmen und dann z. B. 200 Werte 
in die Vergangenheit. In die Vergangenheit deshalb, weil man so auch 
realtime auswählen kann und dann immer die aktuellsten 200 Werte 
auszuwerten.

Das reduziert schon mal die Menge an auszuwertenden Daten. Die kannst Du 
dann aus der Datenbank laden und analysieren. Dabei kommt es halt darauf 
an, für welche Methode Du Dich entscheidest.

von Jana F. (montan_88)


Lesenswert?

Ja also ich kann schon einzelne zeitpunkte aussortieren bzw selbst 
wahlen zb ein Intervall von 10-11 oder egal!  Das is egal! Nur ich habe 
leider nur diese excel liste zur Verfügung leider! :/ es soll so 
funktiinieren! Die werte werden min 2 mal am tag in ein excelfile 
exportiert! Von mir wird verlangt dass ich das so mache um eben dieses 
problem zu lösen und dann in ei  Programm zu implementieren!  :( und ich 
hocke scho eine woche dran um das zu ordnen graphen zu erstellen um 
überhaupt nachvollziehen zu können wo die argen Sprünge sind und jz kann 
ich einfach nicht mehr! :(

von Digi S. (digispark)


Lesenswert?

na gut ... dann fangen wir mal langsam an ;-)

Du hast ja bereits die absolute Veränderung gegenüber den Vorwerten 
errechnet. Zusätzlich sagst Du, dass Du das Anzeige / Auswert-Interval 
frei wählen kannst.

Dann geh einfach als nächstes her und ermittle den Durchschnitt der 
absoluten Abweichungen innerhalb des Intervals. Den nimmst Du als 
Vergleichswert. Im einfachsten Fall gehst Du jetzt her und suchst 
einfach nach Werten, bei denen die prozentuale Abweichung zwischen 
absoluter und durchschnittlicher Abweichung einen zu definierenden 
Grenzwert überschreitet. Das sind dann Deine Ausreißer. Die 
Schwierigkeit ist die genaue Festlegung des Grenzwertes. Den wirst Du 
erstmal nur durch ausprobieren finden können.

von Tom (Gast)


Lesenswert?

Das Finden des Grenzwertes ist nicht nötig, wenn man die Restpunkte 
ihnbestimmen lässt. Das Problem ist ein klassischer Fall für ein 
Autokorrelationsfilter mit negativer Distanzwirkung.

von Jana F. (montan_88)


Lesenswert?

Wow danke euch allen, das hat super geklappt, ich habs mit einem 
gleitenden Mittelwert noch verfeinert und jz funktionierts! Jz heißt es 
noch sämtliche Sprünge zu zählen, aber das denke ich bekomme ich mit 
einer einfachen "Wenn-funktion" hin! :) Danke Danke auf jeden Fall für 
die so schnelle sowie ausführliche und tolle Hilfe :)

von Jana F. (montan_88)


Lesenswert?

Hmmm hy zusammen ;) nochmals danke für die tolle Hilfe!  So eine frage 
hätte ich jz allerdings doch noch bitte? !? Ich soll jz die Anzahl 
dieser Sprünge, wo dee trend eben plötzlich absackt, im Intervall einmal 
zählen? ! Aber wirklich nur jene vom start des sprungs bis zum tiefsten 
punkt und auch nur die großen! ? Mit einer wenn Funktion sollte das ja 
gut hinhauen aber wie zähle ich die Sprünge? ? Danke glg gsd gibt es so 
viele Brains wie euch die solchen dummies wie mir helfen können!  Und 
auch wollen ;)

von Ingenieur (Gast)


Lesenswert?

Schau Dir am Besten mal ein Lehrbuch über Statistik an. Da werden 
zahlreiche Verfahren beschrieben, wie man solche Daten und Messreihen 
behandelt.

von Amateur (Gast)


Lesenswert?

Manchmal reicht sogar ein digitaler Tiefpass aus. Viele Messsignale 
haben relativ genau definierbare, maximale Anstiegs- bzw. Abfallzeiten. 
Die kann man, vor allem wenn man genügend "Altdaten" hat, recht gut 
ermitteln bzw. festlegen. Auch sind die Algorithmen hierfür gut 
handhabbar, und lassen den Grübler nicht gleich schwitzen.

Bitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.