Herausforderungen
Es gibt eine Reihe von Schwierigkeiten, die bei diesem Projekt im Vergleich zu anderen Computer-Vision-Projekten besonders sind:
Bimodale Daten: Wir haben zwei disjunkte Datensätze: p-side und facet, die einige, aber nicht alle möglichen Defekte gemeinsam haben.
Umfang der Defekte: Diese können von einigen wenigen Pixeln bis hin zu erheblichen Anteilen des Bildes reichen, die Tausende von Pixeln umfassen können.
Hintergrundstruktur: Insbesondere die p-Seite hat eine ausgeklügelte geätzte Struktur, die die Verwendung klassischer Computer-Vision-Techniken wie Linienerkennung und Schwellenwertbildung schwierig macht. Die Struktur kann sich von Beispiel zu Beispiel ändern, so dass die Entfernung des Hintergrunds mit einer manuell programmierten Pipeline nicht praktikabel ist.
Die Hintergrundfarbe ändert sich: Die Farbe und Helligkeit des Bildes ist abhängig vom verwendeten Material. Zukünftige Bilder können sich von jedem Beispiel im Trainingssatz unterscheiden.
Ortsabhängiger Schweregrad: Der Schweregrad von Defekten ist unterschiedlich, je nachdem, wo sie sich befinden. Einige Defekte, die eine Probe unbrauchbar machen können, wenn sie sich in der aktiven Zone befinden, können vernachlässigt werden, wenn sie weiter vom Emitter entfernt sind.
Bereitstellung: Die fertige Software muss in einer Reihe von verschiedenen Umgebungen eingesetzt werden, einschließlich der Integration mit Systemen wie LabView.
Lösungsansätze
Das Projekt ist noch im Gange und daher ist die Lösung noch nicht fertiggestellt, aber ein allgemeiner Überblick kann hier diskutiert werden. Jede Teilmenge der Daten wird ihr eigenes Modell verwenden, das ein in PyTorch implementiertes Convolutional Neural Net sein wird.
Eine umfangreiche Datenerweiterung (data augmentation) ist erforderlich, um sicherzustellen, dass die Modelle robust gegenüber Änderungen in der Eingangsverteilung sind, da die gleichen Modelle auch auf neue Materialien angewendet werden. Dies beinhaltet geometrische Transformationen (Rotationen / Flips) und Farbtransformationen.
Sobald das Modell auf ein Bild angewendet wurde, wird eine Reihe von regelbasierten Kriterien angewendet. Dadurch wird der Schweregrad eines bestimmten Defekts bestimmt und ob die Probe als Ganzes verwendbar ist.