dida Logo
Unsere Partner

Defekterkennung in der Produktion

KI-gestützte optische Defekterkennung für die Halbleiterlaser­produktion.

Input:Bilder von Halbleitern
Output:    Typ und Ort von Defekten
Ziel:Effizientere Defektkontrolle

Ausgangspunkt

Die drei an diesem Projekt beteiligten industriellen Hersteller von Laserdioden sowie das Ferdinand-Braun-Institut, Leibniz-Institut für Höchstfrequenztechnik (FBH), stehen in ihren Produktionsprozessen vor den typischen Herausforderungen der Halbleiterindustrie.

Eine rigide Qualitätskontrolle ist aufgrund der Folgekosten defekter Bauteile zwingend erforderlich. Während Defekte und Fehlertypen über eine visuelle Inspektion eindeutig identifiziert werden können, ist der personelle und finanzielle Aufwand für diese Inspektionen hoch. Größtenteils werden Inspektionen durch geschulte Mitarbeiter durchgeführt. Es ist eine Aufgabe, die höchste Konzentration und Sorgfalt erfordert, gleichzeitig aber auch monoton und ermüdend ist.

Das Ziel des LaserSKI-Projekts ist es, diese Herausforderungen zu lösen, indem wir maschinelles Lernen anwenden, um die Fehler in verschiedenen Phasen des Produktionsprozesses automatisch zu erkennen und zu klassifizieren. Was wir erreichen wollen:

  • Die Effizienz und Zuverlässigkeit der Fehlerinspektion erhöhen

  • Die Kosten senken

  • Die Mitarbeiter von monotonen Aufgaben der Qualitätskontrolle entlasten

  • Den Unternehmen ermöglichen, Muster im Auftreten von Fehlern in Echtzeit zu erkennen

Herausforderungen

Die Daten werden in zwei große Kategorien unterteilt:

  • Facettenbilder, die einen Querschnitt des Halbleiters zeigen

  • p-Seiten-Bilder, die ihn von oben zeigen (siehe Bild oben und unten)

Jede dieser Kategorien birgt eine Reihe von unterschiedlichen Herausforderungen. Insbesondere die p-Seiten-Daten haben eine komplexe geätzte Struktur, die konventionelle Computer Vision schwierig macht. In den Facetten-Daten wiederum können Defekte in Größe und Farbe stark variieren.

Lösung

Wir verwenden für jede Klasse von Daten separate Modelle, die beide auf einem Convolutional Neural Network basieren. Diese Modelle erkennen und klassifizieren die Defekte.

Die Ausgabe der Modelle wird an ein regelbasiertes System weitergegeben, das den Schweregrad der Defekte anhand ihrer Klasse und Position im Bild bestimmt. Das Endergebnis wird sowohl als Bild mit den hervorgehobenen Regionen als auch als csv-Datei mit den Klassen und Positionen der Defekte zurückgegeben.

Philipp Jackmuth

Geschäftsführer

p.jackmuth@dida.do

Erzählen Sie uns ein wenig über Ihre Projektanforderungen und wir setzen uns mit Ihnen in Verbindung.

Technische Details

Herausforderungen

Es gibt eine Reihe von Schwierigkeiten, die bei diesem Projekt im Vergleich zu anderen Computer-Vision-Projekten besonders sind:

  • Bimodale Daten: Wir haben zwei disjunkte Datensätze: p-side und facet, die einige, aber nicht alle möglichen Defekte gemeinsam haben.

  • Umfang der Defekte: Diese können von einigen wenigen Pixeln bis hin zu erheblichen Anteilen des Bildes reichen, die Tausende von Pixeln umfassen können.

  • Hintergrundstruktur: Insbesondere die p-Seite hat eine ausgeklügelte geätzte Struktur, die die Verwendung klassischer Computer-Vision-Techniken wie Linienerkennung und Schwellenwertbildung schwierig macht. Die Struktur kann sich von Beispiel zu Beispiel ändern, so dass die Entfernung des Hintergrunds mit einer manuell programmierten Pipeline nicht praktikabel ist.

  • Die Hintergrundfarbe ändert sich: Die Farbe und Helligkeit des Bildes ist abhängig vom verwendeten Material. Zukünftige Bilder können sich von jedem Beispiel im Trainingssatz unterscheiden.

  • Ortsabhängiger Schweregrad: Der Schweregrad von Defekten ist unterschiedlich, je nachdem, wo sie sich befinden. Einige Defekte, die eine Probe unbrauchbar machen können, wenn sie sich in der aktiven Zone befinden, können vernachlässigt werden, wenn sie weiter vom Emitter entfernt sind.

  • Bereitstellung: Die fertige Software muss in einer Reihe von verschiedenen Umgebungen eingesetzt werden, einschließlich der Integration mit Systemen wie LabView.

Lösungsansätze

Das Projekt ist noch im Gange und daher ist die Lösung noch nicht fertiggestellt, aber ein allgemeiner Überblick kann hier diskutiert werden. Jede Teilmenge der Daten wird ihr eigenes Modell verwenden, das ein in PyTorch implementiertes Convolutional Neural Net sein wird.

Eine umfangreiche Datenerweiterung (data augmentation) ist erforderlich, um sicherzustellen, dass die Modelle robust gegenüber Änderungen in der Eingangsverteilung sind, da die gleichen Modelle auch auf neue Materialien angewendet werden. Dies beinhaltet geometrische Transformationen (Rotationen / Flips) und Farbtransformationen.

Sobald das Modell auf ein Bild angewendet wurde, wird eine Reihe von regelbasierten Kriterien angewendet. Dadurch wird der Schweregrad eines bestimmten Defekts bestimmt und ob die Probe als Ganzes verwendbar ist.

Weitere Projekte

Eine Auswahl von Projekten, die wir bereits abgeschlossen haben

Automatische Zugangskontrolle mit Gesichtserkennung

Für eine automatische Zugangskontrolle entwickelten wir ein mehrstufiges Sicherheitssystem mit Gesichtserkennung.

Semantische Suche für die öffentliche Verwaltung

Unser Algorithmus hilft Bürgern durch die Bürokratie einer Gewerbeanmeldung.

Extraktion numerischer Attribute aus Produktbeschreibungen

Automatisches Extrahieren von numerischen Attributen aus Produktbeschreibungen, um die bestehende Datenbank anzureichern.

Erkennung konvektiver Bewölkung

Für den DWD haben wir die Erkennung bestimmter Wolkenarten automatisiert.