Erkennung von Anomalien in Gleisszenen (Bahnverkehr)

Im Rahmen der Brancheninitiative „Digitale Schiene Deutschland“ entwickelt unser Kunde Deutsche Bahn ein automatisiertes Fahrsystem für Züge. Als Teil der Bemühungen um ein solches System haben wir zusammen mit der Deutschen Bahn eine Machine-Learning-Lösung entwickelt, um anomale und gefährliche Objekte auf und um die Gleise mit Hilfe von Onboard-RGB-Kameras zu erkennen. Dieses System soll nicht nur Objekte innerhalb einer bestimmten Klasse (z. B. Personen, Signale oder Fahrzeuge) erkennen, sondern vielmehr in der Lage sein, jedes beliebige Objekt zu erkennen und danach zu bewerten, wie anormal es ist. In diesem Vortrag werden die Herausforderungen erläutert, verschiedene Ansätze vorgestellt und ein Überblick über die endgültige Lösung gegeben: Um Objekte von möglicherweise unbekannten Klassen zu erkennen, haben wir eine einzigartige Pipeline entwickelt, die mehrere Komponenten des maschinellen Lernens enthält, darunter ein Modell zur monokularen Tiefenschätzung, eine Segmentierungsstufe, Modelle zur Bildeinbettung und ein Modell zur Erkennung von Anomalien. Als Datensatz stellt uns die Digitale Schiene Deutschland OSDAR23 zur Verfügung, ein offener Datensatz, der 45 Szenen enthält. Jede Szene enthält Bilder, die von mehreren RGB-Kameras und Infrarotkameras aufgenommen wurden, sowie Radar- und Lidar-Daten. Dieser Datensatz enthält Annotationen für zwanzig Objektklassen, die wir sowohl für die Feinabstimmung unseres Modells als auch für die Bewertung der Endergebnisse verwenden. Außerdem erhielten wir Zugang zu einer größeren Menge nicht annotierter Daten, die für das selbstüberwachte Lernen verwendet wurden.