Was sind LLM-Halluzinationen ?

Große Sprachmodelle (LLMs) halluzinieren aus mehreren Gründen. Erstens kann eine unspezifische Aufforderung dazu führen, dass das Modell ungenaue oder erfundene Antworten erzeugt, da es versucht, die Lücken mit plausibel klingenden Informationen zu füllen. Zweitens kann begrenztes und veraltetes Fachwissen aufgrund unzureichender Trainingsdaten zu Halluzinationen führen, da das Modell falsche Informationen produziert, wenn es auf Themen stößt, die außerhalb seines Fachwissens und der verfügbaren Informationen liegen. Daher ist es sehr wichtig, sicherzustellen, dass das Modell Zugang zu qualitativ hochwertigen Daten über das relevante Thema und den Bereich hat. Zusammengenommen zeigen diese Faktoren die Punkte auf, die zu beachten sind, um die Zuverlässigkeit der LLM-Ergebnisse zu gewährleisten.

Halluzinationen in Large Language Models (LLMs) werden in Faktizitäts- und Treuehalluzinationen (Factuality und Faithfulness Hallucinations) unterteilt. Faktizitätshalluzinationen entstehen, wenn ein LLM faktisch falsche Inhalte erzeugt. Die Ursache dafür ist in der Regel das begrenzte kontextuelle Verständnis des Modells oder das Rauschen/Fehler in den Trainingsdaten.

Faktizitätshalluzinationen können weiter in zwei Kategorien unterteilt werden: Tatsacheninkonsistenz und Tatsachenfälschung. 

Nehmen wir ein Beispiel, um diese Konzepte besser zu verstehen. Bei faktischer Inkonsistenz geht es darum, dass ein LLM falsche Informationen liefert. Ein Beispiel dafür wäre ein LLM, das behauptet, dass die Chinesische Mauer im 15. Jahrhundert von europäischen Entdeckern erbaut wurde. Im Gegensatz dazu bedeutet Faktenerfindung die Erfindung von völlig unbelegten Informationen, wie z. B. die Erstellung einer Erzählung über eine geheime Gesellschaft von zeitreisenden Mönchen im mittelalterlichen Europa mit fortschrittlicher Technologie. Treuehalluzinationen hingegen treten auf, wenn das Modell Inhalte produziert, die von der angegebenen Quelle abweichen, was eine Unstimmigkeit mit dem Originalmaterial darstellt. Zum Beispiel könnte der Benutzer den Satz „Was ist die Hauptstadt von Deutschland?“ übersetzen wollen und der LLM antwortet mit „Berlin“, was zwar richtig ist, aber nicht die erwartete Antwort.

Die Verringerung von Halluzinationen in großen Sprachmodellen (LLM) erfordert den Einsatz einer Vielzahl von Techniken. Jede dieser Techniken hat ihre eigenen Vorteile. Im Folgenden wird jede Technik kurz beschrieben.

Offene oder zweideutige Aufforderungen einschränken

Entwerfen Sie Prompts mit klaren, spezifischen Anweisungen, um das Risiko zu minimieren, dass das Modell falsche oder irreführende Informationen erzeugt. Dadurch wird sichergestellt, dass das Modell in einem klar definierten Kontext arbeiten kann.

Feinabstimmung des Modells

Bei der Feinabstimmung eines Modells werden bereits trainierte Modelle, die in der Regel auf großen und vielfältigen Datensätzen trainiert wurden, auf kleineren, spezifischen Datensätzen verfeinert, um ihre Leistung bei bestimmten Aufgaben oder in bestimmten Bereichen zu verbessern, z.B. durch Reinforcement Learning oder Präferenzoptimierung. Dieser Prozess nutzt die allgemeinen Fähigkeiten des trainierten Modells und verwandelt es in ein spezialisiertes Modell, das auf bestimmte Anforderungen zugeschnitten ist. Durch das Training des Modells auf einem gezielten Datensatz kann es seine Parameter an die Nuancen und Feinheiten der neuen Aufgabe anpassen und optimieren und so seine Genauigkeit und Effektivität verbessern. Dieser Ansatz ist effizient, da er auf dem umfangreichen Lernprozess aufbaut, der bereits in das vorab trainierte Modell eingebettet ist, und weniger Rechenressourcen und Zeit benötigt als das Training eines Modells von Grund auf.

Retrieval-erweiterte Generierung (RAG)

Implementierung von RAG-Techniken, die die generativen Fähigkeiten von LLMs mit externen Datenbeschaffungsmechanismen kombinieren. Durch den Zugriff auf und die Einbeziehung von relevanten Informationen aus externen Quellen kann das Modell genauere und kontextgerechte Antworten geben.

Einbeziehung von Argumentationsfähigkeiten

Verbessern Sie die Argumentationsfähigkeiten des Modells, indem Sie es auffordern, Beweise für seine Behauptungen zu liefern oder alternative Erklärungen zu entwickeln. In diesem Schritt überprüft das Modell seine Antworten und verbessert die logische Konsistenz seiner Ergebnisse.

Few-Shot-Lernen

Beim Few-Shot-Lernen handelt es sich um eine fortgeschrittene Trainingstechnik, bei der ein Modell lernt, genaue Vorhersagen zu treffen, indem es mit einer sehr kleinen Anzahl von markierten Beispielen trainiert wird. Das Hauptziel in traditionellen few-shot Frameworks ist es, eine Ähnlichkeitsfunktion zu entwickeln, die die Ähnlichkeiten zwischen den Klassen in den Support- und Query-Sets effektiv abbilden kann. Indem dem Modell einige wenige Beispiele oder Demonstrationen zur Verfügung gestellt werden, die sich auf die Aufgabe beziehen, trägt das "few-shot learning" dazu bei, einen klareren Kontext zu schaffen, der das Modell dazu bringt, genauere und relevantere Antworten zu generieren. Dieser Ansatz ist besonders vorteilhaft in Szenarien, in denen es unpraktisch ist, eine große Menge an markierten Daten zu erhalten, da sich das Modell so schnell an neue Aufgaben mit minimalen Daten anpassen kann.

Komplexe Aufgaben zerlegen

Vereinfachen Sie komplexe Aufgaben, indem Sie sie in kleinere, besser handhabbare Komponenten zerlegen. Diese Zerlegung ermöglicht es dem Modell, sich auf bestimmte Aspekte der Aufgabe zu konzentrieren, wodurch die Wahrscheinlichkeit der Erzeugung von Halluzinationen verringert und die allgemeine Zuverlässigkeit verbessert wird.