Computer Vision Case Study

Defekterkennung in der Produktion

Tipp: Wechseln Sie zwischen allgemeinen Informationen und einer eher technischen Sicht auf dieses Projekt

Einleitung

Die drei an diesem Projekt beteiligten industriellen Hersteller von Laserdioden sowie das Ferdinand-Braun-Institut, Leibniz-Institut für Höchstfrequenztechnik (FBH) stehen in ihren Produktionsprozessen vor den typischen Herausforderungen der Halbleiterindustrie. Eine rigide Qualitätskontrolle ist aufgrund der Folgekosten defekter Bauteile zwingend erforderlich. Während Defekte und Fehlertypen über eine visuelle Inspektion eindeutig identifiziert werden können, ist der personelle und finanzielle Aufwand für diese Inspektionen hoch. In weiten Teilen wird eine Inspektion durch einen geschulten Mitarbeiter durchgeführt. Es ist eine Aufgabe, die höchste Konzentration und Sorgfalt erfordert, gleichzeitig aber auch monoton und ermüdend ist. Das Ziel des LaserSKI-Projekts ist es, diese Herausforderungen zu lösen, indem maschinelles Lernen angewendet wird, um die Fehler in verschiedenen Phasen des Produktionsprozesses automatisch zu erkennen und zu klassifizieren. Dies wird die Effizienz und Zuverlässigkeit der Fehlerinspektion erhöhen, die Kosten senken und die Mitarbeiter von monotonen Aufgaben der Qualitätskontrolle entlasten und es den Unternehmen ermöglichen, Muster im Auftreten von Fehlern in Echtzeit zu erkennen.

Die drei an diesem Projekt beteiligten industriellen Hersteller von Laserdioden sowie das Ferdinand-Braun-Institut, Leibniz-Institut für Höchstfrequenztechnik (FBH) stehen in ihren Produktionsprozessen vor den typischen Herausforderungen der Halbleiterindustrie. Eine rigide Qualitätskontrolle ist aufgrund der Folgekosten defekter Bauteile zwingend erforderlich. Während Defekte und Fehlertypen über eine visuelle Inspektion eindeutig identifiziert werden können, ist der personelle und finanzielle Aufwand für diese Inspektionen hoch. In weiten Teilen wird eine Inspektion durch einen geschulten Mitarbeiter durchgeführt. Es ist eine Aufgabe, die höchste Konzentration und Sorgfalt erfordert, gleichzeitig aber auch monoton und ermüdend ist. Das Ziel des LaserSKI-Projekts ist es, diese Herausforderungen zu lösen, indem maschinelles Lernen angewendet wird, um die Fehler in verschiedenen Phasen des Produktionsprozesses automatisch zu erkennen und zu klassifizieren. Dies wird die Effizienz und Zuverlässigkeit der Fehlerinspektion erhöhen, die Kosten senken und die Mitarbeiter von monotonen Aufgaben der Qualitätskontrolle entlasten und es den Unternehmen ermöglichen, Muster im Auftreten von Fehlern in Echtzeit zu erkennen.

Challenges

Die Daten werden in zwei große Kategorien unterteilt: Facettenbilder, die einen Querschnitt des Halbleiters zeigen, und p-Seiten-Bilder, die ihn von oben zeigen (siehe Bild oben und unten). Jede dieser Kategorien birgt eine Reihe von unterschiedlichen Herausforderungen. Insbesondere die p-Seiten-Daten haben eine komplexe geätzte Struktur, die konventionelles Computer-Vision schwierig macht, während in den Facetten-Daten Defekte in Größe und Farbe stark variieren können.

Beispiel einer Laserdioden-Facetteninspektion mit verschiedenen Fehlertypen.

Beispiel einer p-seitigen Inspektion mit unterschiedlichem Schweregrad der Defekte (FBH-Bild).

Es gibt eine Reihe von Schwierigkeiten, die bei diesem Projekt im Vergleich zu anderen Computer-Vision-Projekten einzigartig sind:

  • Bimodale Daten: Wir haben zwei disjunkte Datensätze: p-side und facet, die einige, aber nicht alle möglichen Defekte gemeinsam haben.

  • Umfang der Defekte: Diese können von einigen wenigen Pixeln bis hin zu erheblichen Anteilen des Bildes reichen, die Tausende von Pixeln umfassen können.

  • Hintergrundstruktur: Insbesondere die p-Seite hat eine ausgeklügelte geätzte Struktur, die die Verwendung klassischer Computer-Vision-Techniken wie Linienerkennung und Schwellenwertbildung schwierig macht. Die Struktur kann sich von Beispiel zu Beispiel ändern, so dass die Entfernung mit einer manuell programmierten Pipeline nicht praktikabel ist.

  • Die Hintergrundfarbe ändert sich: Die Farbe und Helligkeit des Bildes ist abhängig vom verwendeten Material. Zukünftige Bilder können sich von jedem Beispiel im Trainingssatz unterscheiden.

  • Ortsabhängiger Schweregrad: Der Schweregrad von Defekten ist unterschiedlich, je nachdem, wo sie sich befinden. Einige Defekte, die eine Probe unbrauchbar machen können, wenn sie sich in der aktiven Zone befinden, können vernachlässigt werden, wenn sie vom Emitter entfernt sind.

  • Bereitstellung: Die fertige Software muss in einer Reihe von verschiedenen Umgebungen eingesetzt werden, einschließlich der Integration mit Systemen wie LabView.

Solution

Wir verwenden für jede Klasse von Daten separate Modelle, die beide auf einem Faltungsneuronalen Netzwerk basieren. Diese Modelle erkennen und klassifizieren die Defekte.

Die Ausgabe der Modelle wird an ein regelbasiertes System weitergegeben, das den Schweregrad der Defekte anhand ihrer Klasse und Position im Bild bestimmt. Das Endergebnis wird sowohl als Bild mit den hervorgehobenen Regionen als auch als csv-Datei mit den Klassen und Positionen der Defekte zurückgegeben.

Das Projekt ist noch im Gange und daher ist die Lösung noch nicht fertiggestellt, aber ein allgemeiner Überblick kann hier diskutiert werden. Jede Teilmenge der Daten wird ihr eigenes Modell verwenden, das ein in pytorch implementiertes neuronales Faltungsnetzwerk sein wird.

Eine umfangreiche Datenerweiterung ist erforderlich, um sicherzustellen, dass die Modelle robust gegenüber Änderungen in der Eingangsverteilung sind, da die gleichen Modelle wahrscheinlich auf neue Materialien angewendet werden. Dies beinhaltet geometrische Transformationen (Rotationen / Flips) und Farbtransformationen.

Sobald das Modell auf ein Bild angewendet wurde, wird eine Reihe von regelbasierten Kriterien angewendet. Dadurch wird der Schweregrad eines bestimmten Defekts bestimmt und ob die Probe als Ganzes verwendbar ist.