© unsplash@thisisengineering
Informationsextraktion aus technischen Handbüchern
Hintergrund
Technische Handbücher bilden die Grundlage für Techniker zur Pflege von Produktionsplänen, Autos oder praktisch jeder Art von Maschinen. Für Ingenieure und Mechaniker ist es oft schwierig, die relevanten Informationen für die jeweilige Aufgabe zu finden, da die meisten Handbücher oder technischen Zeichnungen entweder auf Papier oder als PDF-Dateien vorliegen. Wenn die Dateien im PDF-Format vorliegen, bleibt es eine Herausforderung, relevante Informationen zu extrahieren, da Handbücher oft Dutzende oder Hunderte von Seiten umfassen und die Suche in Dokumenten ohne weiteres semantisches Verständnis stichwortbasiert ist.
Herausforderungen
Die meisten mechanischen Arbeiten setzen die Arbeit mit Maschinen verschiedener Hersteller voraus. Da es kein einheitliches Format und keine einheitliche Terminologie für alle Hersteller gibt, ist es oft schwierig, die gleiche Art von Informationen für Modelle verschiedener Hersteller zu finden. Darüber hinaus können sich selbst bei einem Hersteller Format und Terminologie im Laufe der Zeit ändern, insbesondere wenn es sich um langlebige Maschinen handelt.
Eine weitere Herausforderung besteht darin, dass die Inhalte innerhalb von Handbüchern in sehr unterschiedlichen Formaten vorliegen, wie z.B. tabellarische Daten, Freitext, Aufzählungen oder Zeichnungen. Da die gesuchten Informationen oft in einer Kombination dieser Formate vorliegen, könnte eine Lösung, die ausschließlich auf Natural Language Processing (NLP) Algorithmen basiert, keine zufriedenstellenden Ergebnisse liefern. Darüber hinaus könnten Trainingsdaten knapp sein, da einige Teile möglicherweise nur in einem kleinen Bruchteil der Modelle vorkommen.
Lösungsansatz
Stellen Sie sich vor, der Schwerpunkt liegt auf dem NLP-Teil des Projekts, dann gibt es die Option, ein Modell zu trainieren, das auf generischen kontextualisierten Worteinbettungen wie BERT (Bidirectional Encoder Representations from Transformers) basiert. BERT hat im Vergleich zu traditionellen Worteinbettungen wie Word2Vec und fasttext den Vorteil, Synonyme und Kontext in Freitext und Zeichenketten einzubinden, und ist in modernen NLP-Anwendungen auf dem neuesten Stand der Technik. Es konnte jedoch gezeigt werden, dass für sehr spezifische Bereiche wie die Technik domänenspezifische Worteinbettungen die Modellleistung erhöhen können.
Eine (domänenspezifische) BERT-Einbettung kann dann für die Beantwortung von Fragen trainiert werden, eine Technik, die es Mechanikern erlaubt, Fragen in natürlicher Sprache zu stellen, um hervorgehobene Bereiche des Handbuchs zu erhalten, die diese speziellen Aufgaben betreffen.