Was ist Anomalieerkennung?

Die Anomalieerkennung basiert auf zwei grundlegenden Annahmen. Erstens sind Anomalien seltene Vorkommnisse im Vergleich zur überwiegenden Mehrheit der Datenpunkte, die erwartetes oder normales Verhalten zeigen. Zweitens unterscheiden sich die Merkmale dieser Anomalien erheblich von denen der normalen Instanzen, wodurch sie von Erkennungssystemen identifiziert werden können. Dies macht die Auswahl einer geeigneten Anomalieerkennungsmethode entscheidend für die Erzielung genauer Ergebnisse und die Minimierung von Fehlalarmen.

Anomalieerkennung wird häufig in kritischen Bereichen wie Finanzen, Fertigung, Cybersicherheit, Gesundheitswesen oder – wie in unserem Projekt mit der Deutschen Bahn – im Verkehrswesen eingesetzt, wo die Identifizierung von Ausreißern entscheidend für die Aufrechterhaltung der Betriebseffizienz und die Vermeidung potenzieller Fehler ist. Beispielsweise helfen Anomalieerkennungsmethoden im Finanzwesen dabei, betrügerische Aktivitäten zu erkennen, indem sie unregelmäßige Transaktionsmuster überwachen. In der Cybersicherheit nutzen Intrusion Detection Systeme (IDS) Anomalieerkennungsalgorithmen, um unbefugte Zugriffe oder abnormales Netzwerkverhalten zu erkennen. Im Gesundheitswesen können diese Methoden Patientendaten auf abnormale Bedingungen überwachen, die sofortige Aufmerksamkeit erfordern. Im Verkehrswesen möchte ein autonom fahrender Zug gefährliche Objekte oder Anomalien erkennen.

Die Methoden der Anomalieerkennung sind vielfältig und können grob in traditionelle statistische Ansätze und auf maschinellem Lernen basierende Techniken unterteilt werden. Jede Methode eignet sich für bestimmte Arten von Daten und Anwendungsfällen, von einfacher visueller Inspektion bis hin zu komplexeren Erkennungsalgorithmen.

Statistische Methoden

Statistische Anomalieerkennungsmethoden beinhalten den Vergleich beobachteter Datenpunkte mit erwarteten Verteilungen. Ein Beispiel ist der Grubbs-Test, der häufig für univariate Daten verwendet wird, um Ausreißer zu erkennen, indem analysiert wird, wie stark ein Datenpunkt von Mittelwert und Standardabweichung des gesamten Datensatzes abweicht. Eine andere beliebte Methode ist die Z-Score-Analyse, bei der Datenpunkte, die mehrere Standardabweichungen vom Mittelwert entfernt sind, als Anomalien gekennzeichnet werden.

Diese Techniken funktionieren gut bei einfachen Datenmustern, stoßen jedoch bei multivariaten Daten, die mehrere Merkmale oder Variablen umfassen, an ihre Grenzen. Bei multivariaten Datenanalysen wird es schwierig, normales Verhalten zu definieren, da auch die Beziehungen zwischen Variablen berücksichtigt werden müssen. Die multivariate Datenanalyse erfordert oft komplexere Ansätze wie maschinelles Lernen, um komplexe Interaktionen zwischen Variablen zu erfassen.

Methoden auf Basis von maschinellem Lernen

Maschinelles Lernen hat die Anomalieerkennungstechniken erheblich verbessert und bietet automatisierte und skalierbare Lösungen für große Datensätze. Zu den gängigen Methoden des maschinellen Lernens gehören Entscheidungsbäume, k-nächste Nachbarn (k-NN) und Support Vector Machines (SVM). Diese Techniken sind in der Lage, komplexe Datenmuster zu verarbeiten und eignen sich gut für multivariate Anomalieerkennung, was sie auf eine Vielzahl von Bereichen anwendbar macht.

1. Entscheidungsbäume und Isolation Forests: Isolation Forest ist eine speziell für die Anomalieerkennung entwickelte Methode auf Basis von Entscheidungsbäumen. Er isoliert Anomalien, indem er die Daten zufällig partitioniert. Punkte, die weniger Partitionen benötigen, um isoliert zu werden, gelten als Anomalien. Diese Methode ist effizient und besonders effektiv bei hochdimensionalen Datensätzen.

2. k-Nächste Nachbarn (k-NN): Bei dieser Methode wird ein Datenpunkt als Anomalie betrachtet, wenn er weit von seinen nächsten Nachbarn entfernt liegt. k-NN berechnet die Distanz zwischen Datenpunkten und identifiziert diejenigen, die außerhalb der erwarteten Nachbarschaft normaler Instanzen liegen. Es ist einfach, aber effektiv zur Erkennung von Anomalien in Datensätzen, bei denen Nähe normales Verhalten definiert.

3. One-Class Support Vector Machine (SVM): Die One-Class SVM ist ein maschinelles Lernverfahren, das eine Entscheidungsgrenze um normale Datenpunkte lernt. Jeder Datenpunkt, der außerhalb dieser Grenze liegt, wird als Anomalie klassifiziert. One-Class SVM ist besonders nützlich in Szenarien, in denen nur normale Daten für das Training verfügbar sind, was sie für unüberwachte und halbüberwachte Anomalieerkennungsmodelle geeignet macht.

4. Autoencoder: Autoencoder sind auf neuronalen Netzwerken basierende Modelle, die lernen, Daten in einen niedrigdimensionalen Raum zu komprimieren und dann wiederherzustellen. Anomalien werden erkannt, wenn der Rekonstruktionsfehler, also die Differenz zwischen den Originaldaten und den rekonstruierten Daten, einen bestimmten Schwellenwert überschreitet. Autoencoder werden häufig in der Anomalieerkennung von Zeitreihendaten eingesetzt, bei denen die Erkennung von Abweichungen von historischen Mustern entscheidend ist.

5. Local Outlier Factor (LOF): LOF ist eine dichtebasierte Methode, die die lokale Abweichung eines Datenpunkts von seinen Nachbarn misst. Er identifiziert Datenpunkte, die eine signifikant niedrigere Dichte im Vergleich zu ihren Nachbarn aufweisen und kennzeichnet diese als Anomalien. LOF ist besonders effektiv bei der Erkennung lokaler Anomalien in Datensätzen mit variierenden Dichten.
   

Anomalieerkennungsmethoden werden häufig in drei Haupttypen unterteilt: unüberwachte, überwachte und halbüberwachte Anomalieerkennung. Jeder Typ eignet sich für unterschiedliche Szenarien basierend auf der Verfügbarkeit von beschrifteten Trainingsdaten und der Komplexität der Daten.

Unüberwachte Anomalieerkennung

Bei der unüberwachten Anomalieerkennung werden Modelle mit unbeschrifteten Daten trainiert, um Muster und Anomalien autonom zu identifizieren. Dieser Ansatz wird häufig in Situationen verwendet, in denen beschriftete Daten nicht verfügbar oder zu teuer sind. Unüberwachte Maschinenlernmodelle analysieren die zugrunde liegende Struktur der Daten und identifizieren Abweichungen ohne vorheriges Wissen darüber, was eine Anomalie darstellt. Diese Methode erfordert jedoch große Datenmengen und Rechenressourcen, und ihre Leistung hängt stark vom gewählten Erkennungsalgorithmus ab.

Überwachte Anomalieerkennung

Die überwachte Anomalieerkennung basiert auf beschrifteten Trainingsdaten, bei denen sowohl normale als auch anomale Instanzen vordefiniert sind. Modelle werden trainiert, um zwischen den beiden Klassen zu unterscheiden, was zu höherer Genauigkeit führt, wenn ausreichend beschriftete Daten vorhanden sind. Diese Methode ist jedoch weniger verbreitet, da das Erhalten eines ausgewogenen Datensatzes mit genügend beschrifteten Anomalien herausfordernd ist. Dieser Ansatz ist sehr effektiv in spezifischen Anwendungsfällen, in denen genau beschriftete Daten erstellt werden können, wie beispielsweise bei der Betrugserkennung in Finanztransaktionen.

Halbüberwachte Anomalieerkennung

Die halbüberwachte Anomalieerkennung kombiniert die Stärken von überwachten und unüberwachten Methoden. Sie nutzt einen teilweise beschrifteten Datensatz, der typischerweise nur normale Instanzen enthält, um ein Modell zu trainieren, das dann auf einen größeren, unbeschrifteten Datensatz angewendet werden kann. Das Modell verfeinert seine Vorhersagen, während es aus sowohl beschrifteten als auch unbeschrifteten Daten lernt. Die halbüberwachte Anomalieerkennung ist wertvoll, wenn beschriftete Anomalien selten sind, aber normale Daten in großer Menge vorhanden sind.

Trotz ihrer leistungsstarken Fähigkeiten steht die Anomalieerkennung vor mehreren Herausforderungen. Eine der Hauptschwierigkeiten ist das Ungleichgewicht zwischen normalen und anomalen Daten. Die überwiegende Mehrheit der Daten in einem Datensatz stellt normales Verhalten dar, während Anomalien selten sind, was es den Erkennungsalgorithmen erschwert, effektive Entscheidungsgrenzen zu lernen.

Eine weitere Herausforderung ist die Vielfalt der Datenmuster in verschiedenen Bereichen. Anomalieerkennungsmodelle müssen flexibel genug sein, um sich an verschiedene Arten von Daten anzupassen, von Zeitreihendaten in Finanzmärkten bis hin zu multivariaten Daten in Fertigungsprozessen. Darüber hinaus können Fehlalarme – bei denen normale Instanzen fälschlicherweise als Anomalien gekennzeichnet werden – die Effektivität einer Anomalieerkennungslösung beeinträchtigen.

Datenbeschriftung ist eine weitere wesentliche Herausforderung. Bei überwachten und halbüberwachten Methoden sind beschriftete Daten unerlässlich für das Training von Anomalieerkennungsmodellen. Das Erhalten beschrifteter Anomalien ist jedoch schwierig, da sie oft selten sind und möglicherweise Fachwissen zur korrekten Identifizierung erfordern. Darüber hinaus erfordert die Anomalieerkennung in Zeitreihendaten Modelle, die mit zeitlichen Abhängigkeiten umgehen und Abweichungen von Trends über die Zeit hinweg erkennen können.

Anomalieerkennung hat zahlreiche praktische Anwendungen in verschiedenen Branchen. Im Finanzwesen wird Anomalieerkennung verwendet, um betrügerische Transaktionen zu identifizieren, wie z.B. unautorisierte Kreditkartenzahlungen oder unregelmäßige Handelsmuster. Banken und Versicherungsunternehmen verlassen sich auf Anomalieerkennungslösungen, um große Mengen an Transaktionsdaten auf potenzielle Bedrohungen zu überwachen.

In der Cybersicherheit spielt die Anomalieerkennung eine Schlüsselrolle in Intrusion Detection Systemen (IDS), die Netzwerkverkehr auf verdächtige Aktivitäten überwachen. IDS können abnormale Verhaltensmuster erkennen, die auf Cyberangriffe, unbefugte Zugriffe oder Datenlecks hinweisen könnten, und helfen so Organisationen, ihre Systeme vor potenziellen Bedrohungen zu schützen.

In der Fertigung und Qualitätssicherung hilft die Anomalieerkennung, die Produktintegrität zu gewährleisten, indem sie Defekte oder Unregelmäßigkeiten in Produktionsprozessen identifiziert. Durch die Analyse von Sensordaten von Maschinen können Anomalieerkennungsmodelle vorhersagen, wann Ausrüstungen ausfallen könnten, was die Ausfallzeiten minimiert und Wartungspläne optimiert.

Auch im Gesundheitswesen profitieren wir von der Anomalieerkennung durch die Überwachung von Patientendaten auf abnormale Bedingungen. Anomalien in medizinischen Daten können auf kritische Gesundheitsprobleme hinweisen, die sofortige Intervention erfordern. Die Anomalieerkennung bei Zeitreihendaten ist in diesem Kontext besonders nützlich, da sie Vitalzeichen und andere Gesundheitskennzahlen über die Zeit hinweg verfolgt und signifikante Abweichungen von den erwarteten Trends kennzeichnet.

Einzelhandel und E-Commerce-Plattformen nutzen Anomalieerkennung, um das Kundenverhalten zu überwachen und Betrug zu verhindern. Durch die Analyse von Kaufmustern und Benutzerinteraktionen können Anomalieerkennungssysteme ungewöhnliche Aktivitäten identifizieren, die auf betrügerische Transaktionen oder Kontoübernahmen hinweisen könnten.

Bei dida haben wir im Rahmen des Projekts "Erkennung von Gefahren in Bahnabschnitten" für die Deutsche Bahn im Rahmen der Initiative „Digitale Schiene Deutschland“ gearbeitet. Unser Ziel war es, ein System zu entwickeln, das in der Lage ist, anomale Objekte in Zugvideos zu erkennen und zu bewerten, und dabei sowohl annotierte als auch nicht annotierte Daten zu verwenden. Wir haben MonoViT für die monokulare Tiefenschätzung verwendet und es mit nicht annotierten Daten verfeinert, um die Genauigkeit zu verbessern. Diese Tiefeninformation leitete die Objekterkennung durch das Segment Anything Model (SAM), was es uns ermöglichte, hochwertige Masken zu erstellen und Anomalien genau zu identifizieren. Unser Ansatz nutzt Tiefenkarten zur Erkennung von Objekten, die von ihrer Umgebung abweichen, was zur Verbesserung der Sicherheit und Automatisierung im Zugbetrieb beiträgt.

Wenn Ihnen dieser Artikel informativ erscheint, laden wir Sie ein, unseren verwandten Blogbeitrag "Erkennung von Gefahren in Bahnabschnitten" zu lesen. Dieser Artikel bietet zusätzliche Einblicke und praktische Anleitungen zur Nutzung von PyTorch für Aufgaben der Objekterkennung in Videodaten.

Anomalieerkennung ist der Prozess, bei dem seltene oder unerwartete Ereignisse erkannt werden, die von normalen Datenmustern abweichen. Durch die Nutzung einer Vielzahl von Methoden, von traditionellen statistischen Ansätzen bis hin zu fortgeschrittenen Algorithmen des maschinellen Lernens, können Organisationen Anomalien in multivariaten Daten, Zeitreihendaten und anderen komplexen Datensätzen effektiv erkennen. Ob durch unüberwachte, überwachte oder halbüberwachte Modelle, bietet die Anomalieerkennung eine entscheidende Überwachungs- und Schutzschicht in verschiedenen Branchen. Die Herausforderungen der Anomalieerkennung, wie Datenungleichgewicht, Beschriftungsschwierigkeiten und die Komplexität der multivariaten Anomalieerkennung, erfordern jedoch eine sorgfältige Überlegung bei der Gestaltung von Anomalieerkennungslösungen.

Da sich die Branchen weiterentwickeln und zunehmend komplexe Daten erzeugen, wird der Bedarf an robusten und anpassungsfähigen Anomalieerkennungssystemen nur wachsen. Durch die Bewältigung dieser Herausforderungen und die Nutzung der Leistungsfähigkeit des maschinellen Lernens können Organisationen ihre Fähigkeit verbessern, Anomalien zu erkennen, zu analysieren und darauf zu reagieren, was letztendlich die Entscheidungsfindung verbessert und die Zuverlässigkeit ihrer Systeme sicherstellt.

• Industrielle KI-Projekte: Erfahren Sie welche Projekte dida in der Vergangenheit umgesetzt hat und wie diese KI-Lösungen Unternehmen zu effizienteren Prozessen verholfen haben.

• KI-Wissendatenbank: Lernen Sie mehr über diverse Aspekte von KI, KI-Projekten und Prozessautomatisierung

• dida-Team: Lernen Sie die Menschen eines KI-Unternehmen kennen - deren Kernkompetenzen und Profile.