XAI: Nichts ist sicher (mit einer Wahrscheinlichkeit)

Jede umfassende Diskussion über XAI hebt oft die folgenden Kernprobleme hervor:

Die Black-Box-Natur der KI

Stellen Sie sich vor, wir hätten ein gut funktionierendes Modell auf einem gegebenen Datensatz trainiert (noch nicht persönlich, dazu kommen wir später). Doch in einer fast Frankenstein-ähnlichen Weise bleiben die inneren Abläufe des Modells selbst für seinen Schöpfer ein Rätsel. Wir wissen nicht genau, warum es bestimmte Ausgaben erzeugt. Für diejenigen, die mit dem Husky-Wolf-Klassifikationsmodell nicht vertraut sind, empfehlen wir, es sich anzusehen. Das Erklären des Modells beinhaltet das Verstehen, was eine spezifische Ausgabe des Modells motiviert („lokale Erklärungen“) oder die Beschreibung der Interna des Systems („globale Erklärungen“).

Das Recht auf Erklärung der EU

Die Allgemeine Datenschutzverordnung (GDPR) der EU, insbesondere die Artikel 13-15, gewährt den Bürgern das Recht auf „bedeutsame Informationen über die zugrunde liegende Logik“ automatisierter Entscheidungen, die eine natürliche Person betreffen. Laut dieser Verordnung haben Sie das Recht, eine Erklärung zu verlangen, warum eine Entscheidung getroffen wurde, wenn diese algorithmisch basierend auf Ihren persönlichen Daten getroffen wurde. Zum Beispiel, wenn Ihnen etwas in den sozialen Medien beworben wird oder eine Kreditrisikobewertung Sie auf eine bestimmte Weise kategorisiert.

Die Gemeinschaft der maschinellen Lernens und Forscher aus humanitären Bereichen haben noch keinen Standard etabliert, den eine gute Erklärung erfüllen muss. Für die meisten Menschen würde der bloße Zugang zum zugrunde liegenden Code nicht als Erklärung ausreichen (Goodman und Flaxman, 2017), ganz zu schweigen davon, wie eine solche Erklärung die Geschäftsgeheimnisse eines Unternehmens offenbaren könnte. Verschiedene Methoden wurden entwickelt, einschließlich grafischer Darstellungen der wichtigsten Bereiche für die Entscheidung des Modells (wie Heatmaps) oder der Zuordnung von Wichtigkeitsscores in der Eingabesequenz zum Ergebnis des Modells (wie LIME). Die Tatsache, dass dieses Feld eher menschlich orientiert als ausschließlich leistungsorientiert ist, macht die Forschungsfragen von XAI besonders spannend.

Mehrere Punkte müssen berücksichtigt werden, wenn ein maschinelles Lernmodell erklärbar gemacht werden soll. Die Fragen nach seinem Inhalt, seiner Form und seiner Zielgruppe sind miteinander verknüpft. Die von modernen Systemen produzierten Erklärungen sind weder standardisiert noch systematisch bewertet. Im Folgenden sind einige bemerkenswerte ethische Fragen aufgeführt, die auftreten, wenn eine Form der Erklärung gegenüber einer anderen gewählt wird.

Fairwashing

Ein Papier von Aïvodji et al. untersuchte, wie ein bewusst voreingenommenes maschinelles Lernmodell erklärt werden könnte, um seine Entscheidungen zu rechtfertigen. Ihr Proxy-Modell wurde entwickelt, um Möglichkeiten zu finden, Gegenfaktenerklärungen eines Entscheidungsmodells zu produzieren, die unwahr sind und darauf abzielen, den wahren Grund hinter den Entscheidungen zu verbergen. Menschen, die ihr Recht auf Erklärung ausüben, fehlt oft die Expertise oder die Zeit, um zu überprüfen, ob die Erklärung legitim ist und sie müssen den bereitgestellten Informationen vertrauen. Diese Manipulation wird als Fairwashing bezeichnet (Aïvodji et al., 2019).

Überzeugende vs. transparente Erklärungen

Dieses Problem ist sowohl für menschliche als auch für menschlich-maschinelle Interaktionen relevant und wird in verschiedenen philosophischen Papieren diskutiert. Das Endziel jeder Erklärung, ein menschliches Wesen, ist voreingenommen gegenüber einfacheren Beschreibungen. Sowohl in der menschlichen Kommunikation als auch in der Modellerklärung können die bereitgestellten Informationen manipuliert werden, um jemanden von ihrer Richtigkeit zu überzeugen, anstatt ihm den gesamten Faktenumfang bereitzustellen (manchmal sogar ohne es zu merken). Laut den Autoren von „Explaining Explanations: An Overview of Interpretability of Machine Learning“, „...ist es grundsätzlich unethisch, eine vereinfachte Beschreibung eines komplexen Systems zu präsentieren, um das Vertrauen in das System zu erhöhen, wenn die Einschränkungen der vereinfachten Beschreibung von den Benutzern nicht verstanden werden können und schlimmer, wenn die Erklärung darauf optimiert ist, unerwünschte Attribute des Systems zu verbergen“ (Gilpin et al., 2018).

Abwägung zwischen Vollständigkeit und Interpretierbarkeit

Natürlich kann ein hohes Maß an Transparenz erreicht werden, wenn alle zugänglichen Informationen bereitgestellt werden. Zum Beispiel, wenn wir alle Pfade ausgeben würden, die ein Entscheidungsbaum-Modell zur Erreichung seiner Schlussfolgerung eingeschlagen hat, wäre die Erklärung in der Tat so vollständig wie möglich. Andererseits, wie in „A Survey of Methods for Explaining Black Box Models“ erwähnt, „...könnte die Güte der Erklärung durch ihre Größe und Komplexität ungültig werden. Zum Beispiel, wenn das lineare Modell hochdimensional ist, könnte die Erklärung überwältigend sein. Darüber hinaus, wenn eine zu große Regelmenge oder ein zu tiefer und breiter Baum zurückgegeben wird, könnten sie menschlich nicht handhabbar sein, auch wenn sie die interne Logik der Black Box für die Klassifikation perfekt erfassen“ (Guidotti et al., 2018). Diese Abwägung zwischen Vollständigkeit und Interpretierbarkeit wird in der wissenschaftlichen Literatur weit diskutiert und die Lösung hängt oft von der Zielgruppe ab, die die Erklärung erhalten wird.

Laut einer Umfrage zu Erklärungen „ist das Ziel der Interpretierbarkeit, die Interna eines Systems so zu beschreiben, dass sie für Menschen verständlich sind. Der Erfolg dieses Ziels ist an die Kognition, das Wissen und die Voreingenommenheit des Nutzers gebunden: Damit ein System interpretierbar ist, muss es Beschreibungen produzieren, die einfach genug sind, dass eine Person sie mit einem Vokabular versteht, das für den Benutzer bedeutungsvoll ist“ (Gilpin et al., 2018). Mit anderen Worten, wem erklären wir das? Muss eine Erklärung eine andere Form annehmen, je nach Endbenutzer? Die Autoren von „Explainability for Artificial Intelligence in Healthcare: A Multidisciplinary Perspective“ und „Solving the Explainable AI Conundrum by Bridging Clinicians’ Needs and Developers’ Goals“ führten eine Studie zur künstlichen Intelligenz im medizinischen Bereich durch, in dem es ebenfalls von entscheidender Bedeutung ist, dass die Ergebnisse erklärbar sind und stellten sich genau die oben genannten Fragen. Hier sind einige Auszüge aus diesen Studien:

Wie fangen wir an?

Medizinische Fachkräfte benötigen Erklärbarkeit aufgrund der hochsensiblen Natur ihrer Arbeit und der damit verbundenen Risiken. Zufällige Fehler müssen leicht identifizierbar sein. Weniger offensichtlich ist, dass auch Patienten das Modell erklärbar brauchen. „Um eine informierte Einwilligung für diagnostische Verfahren oder Eingriffe zu erhalten, erfordert das Gesetz individuelle und umfassende Informationen über und das Verständnis dieser Prozesse. Im Falle der KI-gestützten Entscheidungsunterstützung müssen daher die zugrunde liegenden Prozesse und Algorithmen dem einzelnen Patienten erklärt werden… Zum Beispiel könnten KI-Systeme, die auf „Überleben“ als Ergebnis ausgerichtet sind, nicht mit den Werten von Patienten übereinstimmen, für die eine „Reduktion des Leidens“ wichtiger ist“ (Tonekaboni et al. 2019). Dies führt uns direkt zum nächsten Punkt.

Doppelschneidiges Schwert

Werden beide Seiten mit der gleichen Erklärbarkeitsmethode zufrieden sein? Nicht unbedingt. Wenn ein hypothetisches Modell eine Diagnose basierend auf einem hypothetischen Bluttest vorschlagen würde, würde ein Gesundheitsdienstleister wissen wollen, was die relevantesten Indikationen dafür waren, anstatt die genauen Prinzipien des Modells, da er nicht die Fähigkeiten und Ressourcen hat, es zu bewerten. Ein Patient hingegen könnte zusätzliche Informationen darüber benötigen, wie das Modell das Ergebnis berechnet hat und was die Kernprinzipien und Risiken sind, die der Arzt möglicherweise nicht liefern kann.

Dritte Partei

Die zweite Studie führte eine Reihe von Interviews mit Klinikern und Entwicklern durch und enthüllte mehrere Themen, darunter die „Entgegengesetzten Ziele für XAI“. Die Forscher entdeckten einen drastischen Unterschied zwischen dem Verständnis der Entwickler und der Kliniker über den grundlegenden Zweck von XAI: Entwickler glaubten, dass das Ziel von XAI darin besteht, die Aktionen des Modells verständlich zu machen. "Sie versuchten dies zu erreichen, indem sie beispielsweise Shapley-Werte statischer und dynamischer Risikobeiträge einführten, um die lokale Logik des Modells zu jedem Zeitpunkt zu erklären", während Kliniker diese Informationen als nicht hilfreich empfanden, um ihr Verständnis und Vertrauen in das System zu erhöhen. Für sie war „XAI mit der Fähigkeit eines Systems verbunden, die Plausibilität der Ergebnisse im klinischen Kontext zu demonstrieren“. Sie bevorzugten, dass das System Informationen darüber liefert, welche Tests und/oder Maßnahmen an diesem Tag durchgeführt wurden, die zu der gegebenen Risikobewertung führten (Rudin 2019).

Obwohl dies nur einen kleinen Teil der Fragen abdeckt, die bei XAI-Anwendungen auftreten, glauben wir, dass es ein gutes Verständnis dafür vermittelt, warum das Ziel einer Erklärung sehr mehrdeutig sein kann und die Zusammenarbeit sowohl der erzeugenden als auch der empfangenden Seiten des algorithmischen Entscheidungsträgers erfordert, mit einigen Konsultationen von Experten der Sozialwissenschaften. Derzeit gibt es mehrere Anwendungsbeispiele, bei denen Erklärbarkeit entscheidend ist. Neben der Medizin umfassen sie Systeme in öffentlichen und staatlichen Institutionen (z.B. zur Erkennung von generierten Texten oder Fake News), im Justizsektor (z.B. zur Bereitstellung von Quellen für automatisierte Entscheidungshilfesysteme) oder im Finanzsektor für die Risikobewertung von Kreditanträgen (kleine Erinnerung: Hier spielt das „Recht auf Erklärung“ seine Rolle).

Mit diesem Blogpost wollten wir XAI als ein menschlicher orientiertes Feld des maschinellen Lernens einführen. Während wir weniger auf den neuesten Stand der Technik fokussierten, erklärten wir, warum keiner dieser als perfekt angesehen werden kann. XAI kann nicht ausschließlich durch die Messung seiner Genauigkeit quantifiziert werden; stattdessen muss der Fokus auf die persönlichen Anforderungen jeder Benutzerkategorie gelegt werden, die bei jeder aufkommenden Technologie berücksichtigt werden sollten.

Abschließend präsentiert das aufstrebende Feld der eXplainable Artificial Intelligence (XAI) eine nuancierte Landschaft, in der das Streben nach Transparenz auf ethische Überlegungen und die unterschiedlichen Bedürfnisse seiner Zielgruppen trifft. Wie in diesem Beitrag hervorgehoben, hat die Black-Box-Natur von KI-Systemen die Notwendigkeit von Erklärungen hervorgebracht, die nicht nur durch regulatorische Anforderungen wie das Recht auf Erklärung der EU, sondern auch durch die grundlegenden Prinzipien der Verantwortlichkeit und des Vertrauens in automatisierte Entscheidungsprozesse angetrieben werden.

Im Gesundheitswesen, wo die Einsätze besonders hoch sind, übernimmt XAI eine entscheidende Rolle, indem es nicht nur Einblicke in algorithmische Entscheidungen gibt, sondern auch ein tieferes Verständnis bei medizinischen Fachkräften und Patienten gleichermaßen fördert. Doch wie durch die unterschiedlichen Perspektiven zwischen Entwicklern und Klinikern deutlich wird, liegt die Herausforderung nicht nur darin, KI verständlich zu machen, sondern auch ihre Erklärungen mit den spezifischen Informationsbedürfnissen jeder Zielgruppe in Einklang zu bringen.