Ethik im Natural Language Processing

Natürlich würden wir gerne erwarten, dass Modelle für maschinelles Lernen objektiv und neutral sind, losgelöst von subjektiven Ansichten und Meinungen. Tatsächlich gibt es aber viele Möglichkeiten, dass unsere Weltanschauungen, Meinungen, Stereotypen usw. in den Kern unserer Modelle einfließen. In ihrem Artikel A Framework for Understanding Sources of Harm throughout the Machine Learning Life Cycle stellen Suresh und Guttag einen schönen Rahmen vor, wie wir die verschiedenen Bias (Verzerrungen) verstehen können, die wahrscheinlich ihren Weg in die meisten maschinellen Lernmodelle (einschließlich NLP) finden. Zunächst werfen wir einen Blick auf die Datenerzeugung, wie in der Abbildung unten gezeigt, und gehen die verschiedenen Arten von Bias durch (jeweils mit einem Beispiel am Ende):

Historischer Bias

Selbst wenn wir davon ausgehen, dass die Daten aus der realen Welt perfekt abgetastet und gemessen werden, spiegeln die Daten den Zustand der Welt wider, d. h. Stereotypen und andere repräsentative Fehler sind bereits vorhanden. Garg et al. untersuchten Worteinbettungen, die aus großen Textkorpora gelernt wurden, und wiesen Bias und Stereotypen gegen Frauen und verschiedene ethnische Minderheiten nach, die aus den Daten gelernt wurden. So werden beispielsweise geschlechtsspezifische Berufswörter wie "Krankenschwester" oder "Ingenieur" in hohem Maße mit Wörtern assoziiert, die Frauen bzw. Männer repräsentieren.

Repräsentationsbias

Diese Verzerrung tritt auf, wenn die entwickelte Stichprobenstrategie einige Teile der Grundgesamtheit unterrepräsentiert und in der Folge für eine Teilmenge der gesamten Grundgesamtheit nicht gut verallgemeinert werden kann. Ein sehr auffälliges Beispiel für diese Verzerrung ist das weit verbreitete ImageNet mit etwa 1,2 Millionen gelabelten Bildern. Wie Shankar et al. feststellten, enthält ImageNet keine gleichmäßige Stichprobe aus der weltweiten Zielpopulation. Ungefähr 45 % der Bilder im ImageNet wurden in den Vereinigten Staaten aufgenommen, und die Mehrheit der übrigen Bilder stammt aus Nordamerika oder Westeuropa. Nur 1 % und 2,1 % der Bilder stammen aus China und Indien.

Messungsbias

Beim Auswählen, Sammeln oder Berechnen von Merkmalen und Labels zur Verwendung in einem Vorhersageproblem ist die Messung nicht eindeutig. Ein Merkmal oder ein Label ist ein Proxy (ein konkretes Maß), das zur Annäherung an ein Konstrukt (eine Idee oder ein Konzept) gewählt wird, das nicht direkt kodiert oder beobachtbar ist. In den meisten Fällen ist ein Proxy eine zu starke Vereinfachung eines komplexeren Konstrukts, was zu falschen Schlussfolgerungen führen kann. Darüber hinaus kann die Methode oder die Genauigkeit der Messung zwischen verschiedenen Gruppen variieren. Im Jahr 2016 untersuchten Angwin et al. Risikobewertungen, die an verschiedenen Stellen im Bereich der Strafjustiz eingesetzt werden. COMPAS von Northpointe beispielsweise sagt die Wahrscheinlichkeit voraus, dass ein Angeklagter erneut straffällig wird, und kann von Richtern oder Bewährungshelfern verwendet werden, um Entscheidungen über die Entlassung aus der Untersuchungshaft zu treffen. COMPAS verwendet "Verhaftungen" als Stellvertreter für die Messung von "Kriminalität". Da schwarze Gemeinden stark von der Polizei überwacht werden, ist dieser Proxy-Wert verzerrt, was dazu führt, dass das resultierende Modell eine deutlich höhere Falsch-Positiv-Rate für schwarze Angeklagte aufweist als für weiße Angeklagte.

Leider sind dies nicht alle möglichen Wege, auf denen Verzerrungen in unsere Modelle gelangen können. Daher fahren wir mit Schritten fort, nachdem die Daten generiert wurden.

Lernbias

Diese Verzerrung entsteht, wenn Modellierungsentscheidungen Leistungsunterschiede zwischen verschiedenen Beispielen in den Daten verstärken, z. B. die Wahl der Zielfunktion. Ein Ziel, z. B. die Gesamtgenauigkeit, kann einem anderen Ziel schaden. Wie von Bagdasaryan et al. erörtert, führt die Optimierung für differentielle Privatsphäre (Verhinderung der Preisgabe von Informationen über einzelne Trainingsbeispiele) zu einer Verringerung der Modellgenauigkeit. Dies betrifft jedoch nicht alle Gruppen innerhalb des Datensatzes gleichermaßen, sondern unverhältnismäßig stark unterrepräsentierte und komplexe Klassen und Untergruppen. Die Autoren nennen folgende Beispiele:

• "die Geschlechterklassifizierung - die bereits für Verzerrungen in den bestehenden Modellen berüchtigt ist - und die Altersklassifizierung auf Gesichtsbildern, bei denen der differentielle private stochastische Gradientenabstieg (DP-SGD) die Genauigkeit für dunkelhäutige Gesichter mehr verschlechtert als für hellhäutige",

• "die Stimmungsanalyse von Tweets, bei der DP-SGD die Genauigkeit für Nutzer, die in afroamerikanischem Englisch schreiben, überproportional verschlechtert",

• "Artenklassifizierung auf dem iNaturalist-Datensatz, bei der DP-SGD die Genauigkeit für die unterrepräsentierten Klassen überproportional verschlechtert" und

• "föderiertes Lernen von Sprachmodellen, bei dem DP-SGD die Genauigkeit für Nutzer mit größerem Wortschatz überproportional verschlechtert".

Evaluationsbias

Dies kann der Fall sein, wenn die für eine bestimmte Aufgabe verwendeten Benchmark-Daten nicht die Anwendungspopulation repräsentieren. In ihrer Analyse stellten Buolamwini und Gebru fest, dass kommerzielle Algorithmen zur Gesichtsanalyse von Microsoft, IBM und Face++ zwar eine gute Gesamtleistung aufweisen, aber bei männlichen und weißen Gesichtern besser und bei dunkleren weiblichen Gesichtern schlechter abschneiden, da sie deutlich häufiger mit weißen männlichen Gesichtern getestet wurden.

Aggregationsbias

Entsteht, wenn ein Einheitsmodell verwendet wird, während die zugrunde liegenden Gruppen oder Typen unterschiedlich betrachtet werden sollten.

Bender et al. erörterten, dass große Internetkorpora toxische Sprache enthalten. Um mit toxischer Sprache umzugehen, werden die Datensätze nach einer Liste "schmutziger Wörter" gefiltert. Das Problem dabei ist (neben der Tatsache, dass dies definitiv kein State-of-the-Art-Filteransatz ist), dass viele Wörter auf dieser Liste in bestimmten Gemeinschaften umgedeutet wurden.

So wurden beispielsweise einige Wörter, die mit Sex zu tun haben, von der LGBTQ+-Gemeinschaft positiv aufgenommen. Durch das Herausfiltern von Passagen, die diese Wörter enthalten, werden im Grunde die Stimmen dieser Gemeinschaften herausgefiltert.

Anwendungsbias

Der Anwendungsbias tritt auf, wenn es eine Diskrepanz zwischen dem Problem, das ein Modell lösen soll, und der Art und Weise, wie es tatsächlich verwendet wird, gibt.

In ihrem Buch Weapons of Math Destruction führt O'Neil folgendes Beispiel an. In Dutzenden von Städten in den USA wird eine Software namens PredPol verwendet, eine Art Wettervorhersage für Verbrechen. Dieses Programm unterteilt Orte in Blöcke von 500 mal 500 Fuß und aktualisiert seine Vorhersagen im Laufe des Tages. Die Nutzer (die Polizeidienststellen) können sich entweder auf die so genannten Teil-1-Verbrechen konzentrieren, bei denen es sich um Gewaltverbrechen wie z. B. Tötungsdelikte handelt. Oder sie können sich auf Verbrechen der Kategorie 2 konzentrieren, z. B. den Konsum geringer Mengen von Drogen oder Landstreicherei. Während die Entwickler auf Verbrechen der Kategorie 1 abzielten, konzentrierten sich viele Polizeidienststellen stark auf die Kategorie 2. So kam es zu immer mehr Polizeieinsätzen in armen Vierteln, in denen diese kleineren Straftaten häufiger vorkamen, wodurch die Software immer mehr Daten aus diesen Vierteln erhielt. Letztendlich führt dies zu einer starken Rückkopplungsschleife, bei der arme Viertel noch stärker überwacht werden und reiche Viertel oder schwere Straftaten im Allgemeinen aus dem Raster fallen.

Puh, wie Sie sehen, kann bei der "einfachen" Erstellung eines Modells eine Menge schief gehen. Modelle sind keineswegs objektive Maschinen, sondern spiegeln immer die Weltanschauung ihrer Datenauswahl und die subjektiven Entscheidungen wider, die bei ihrer Entwicklung und Verwendung getroffen werden. Nun sind wir soweit, dass wir uns großen Sprachmodellen zuwenden können.

In den letzten fünf Jahren ist die Größe von Sprachmodellen sprunghaft angestiegen. Um Ihnen einen kleinen Eindruck zu vermitteln, können wir uns drei große Sprachmodelle ansehen, die in den letzten drei Jahren veröffentlicht wurden und in den Bestenlisten spezifischer Benchmarks für Englisch auftauchen (z. B. GLUE, SQuAD or SWAG).

Sie werden wahrscheinlich mehrere Dinge bemerken. Sowohl die Anzahl der verwendeten Parameter als auch die Größe der Datensätze, auf denen die Modelle trainiert werden, sind enorm gestiegen. Außerdem sind Sie wahrscheinlich nicht überrascht, dass zwei Unternehmen mit einem enormen Budget diese Modelle einsetzen, da das Training dieser Modelle enorme Rechenkosten verursacht.

In ihrem vieldiskutierten Aufsatz Über die Gefahren von stochastischen Papageien: Can Language Models Be Too Big? erörtern Bender, Gebru, McMillan-Major und Mitchell kritisch diesen "Je größer, desto besser"-Trend und seine Auswirkungen und fordern die Forscher sogar auf, diesen Weg nicht zu beschreiten, sondern aufschlussreichere Ansätze zum Verständnis natürlicher Sprache zu verfolgen.

Wie bereits angedeutet, haben solch große Modelle große Kosten. In Energy and Policy Considerations for Deep Learning in NLP schätzten Strubell et al., dass das Training (nicht die Inferenz) eines großen Transformer-Modells etwa 1 bis 3 Millionen Dollar an Cloud-Rechenkosten nach sich zieht. Damit sind kleinere Unternehmen - mit geringerem Budget als Google und OpenAI + Microsoft - von diesem Wettrüsten mit immer größeren Modellen im Grunde ausgeschlossen. (Neben den finanziellen Kosten gibt es natürlich auch Umweltkosten. Zwar sind Modelle des maschinellen Lernens noch kein dominanter Faktor, wenn es um den Klimawandel geht, aber sie könnten zu einem solchen werden, wenn diese steile Entwicklung der Größe anhält).

Glücklicherweise sind einige der genannten Modelle, z. B. BERT, in ihrer vortrainierten Version verfügbar und somit auch für kleinere Unternehmen oder sogar private Unternehmungen nutzbar. Allerdings ist es für kleine bis mittlere Unternehmen oft kaum möglich, einige der großen Sprachmodelle selbst nur für die Inferenz zu verwenden.

Nichtsdestotrotz scheinen große Sprachmodelle eine Lösung für Natural Language Understanding zu sein, und wenn wir sie zumindest (potenziell) kostenlos nutzen können, ist doch alles in Ordnung, oder? Nicht ganz.

Ein weiteres Problem bei großen Sprachmodellen ist, dass sie die Sprache rein von der Form her lernen. In der Sprache sind im Allgemeinen Form und Bedeutung miteinander verwoben, d.h. Wörter und ihre jeweilige Verankerung in der Realität, z.B. in Bildern, Empfindungen oder Situationen. Diese Verankerung fehlt beim Training großer Sprachmodelle. Zur Veranschaulichung dieses mangelnden Verständnisses verwenden Bender und Koller eine schwache Form des Turing-Tests, den so genannten "Oktopus-Test":

Nehmen wir an, A und B, die beide fließend Englisch sprechen, sind unabhängig voneinander auf zwei unbewohnten Inseln gestrandet. Sie entdecken bald, dass frühere Besucher dieser Inseln Telegrafen zurückgelassen haben und dass sie über ein Unterwasserkabel miteinander kommunizieren können. A und B beginnen fröhlich, sich gegenseitig Nachrichten zu tippen. In der Zwischenzeit entdeckt O, ein hyperintelligenter Tiefseekrake, der die beiden Inseln nicht besuchen oder beobachten kann, eine Möglichkeit, das Unterwasserkabel anzuzapfen und die Gespräche von A und B zu belauschen. O versteht zunächst nichts von der englischen Sprache, ist aber sehr gut darin, statistische Muster zu erkennen.

Aus diesem Grund bezeichnen Bender et al. große Sprachmodelle als "stochastische Papageien" 🦜. Sie verwenden weiterhin dieses Bild:

Irgendwann beginnt O, sich einsam zu fühlen. Er kappt das Unterwasserkabel und mischt sich in das Gespräch ein, indem er vorgibt, B zu sein und auf die Nachrichten von A zu antworten. Kann O sich erfolgreich als B ausgeben, ohne dass A Verdacht schöpft?

Bender and Koller argumentieren:

Ohne die Möglichkeit, Hypothesen aufzustellen und die zugrundeliegenden kommunikativen Absichten zu testen, ist es hoffnungslos, sie allein aus den Formen zu rekonstruieren, und O's Sprachgebrauch wird schließlich vom Sprachgebrauch eines Agenten abweichen, der seine Sprache auf kohärente kommunikative Absichten gründen kann.

This conclusion in fact is noted in GPT-3's model card, describing it as follows:

Diese Schlussfolgerung ist in der Modelcard von GPT-3 vermerkt und wird wie folgt beschrieben:

Fehlender Bezug zur Welt: GPT-3, wie auch andere große vortrainierte Sprachmodelle, basiert nicht auf anderen Erfahrungsmodalitäten, wie z. B. Video, reale physische Interaktion oder menschliches Feedback, und daher fehlt ihm eine große Menge an Kontext über die Welt.

Während es Stimmen gibt, die dieser Argumentation widersprechen, gibt es auch Versuche, die Idee der Erdung einzubeziehen. Einer davon - auch von OpenAI - ist CLIP, wo nicht nur reiner Text zum Lernen verwendet wird, sondern auch Bilddaten.

Okay, aber wenn wir nur daran interessiert sind, "willkürlich Sequenzen sprachlicher Formen zusammenzufügen", d.h. scheinbar kohärente Texte zu produzieren und uns nicht wirklich darum kümmern, ob es eine tiefere Verankerung in der Realität gibt, können wir doch ohne weitere Probleme große Sprachmodelle verwenden, oder?

Sie haben es erraten.

Große Sprachmodelle verwenden riesige Textkorpora wie Common Crawl, WebText Dataset und (die englische) Wikipedia. Die ersten beiden Datensätze basieren auf einem Algorithmus, der das World Wide Web durchkrabbelt und fast alle Texte, die er finden kann, ausliest, bevor er dem nächsten Link zu einer anderen Website folgt. Da das Lernen dieser Modelle auf unbeaufsichtigte Weise erfolgt, gilt auch hier: je mehr, desto besser. Das ist der Grund, warum wir vorhin diese riesigen Datensätze gesehen haben. Diese Datenmengen spiegeln jedoch höchstwahrscheinlich nicht die objektive Sprache aller Englisch sprechenden Menschen auf der Welt wider. Aber wer ist in den Trainingsdaten vertreten? In der Abbildung unten sehen Sie eine Karte der Personen, die das Internet in % der jeweiligen Bevölkerung nutzen, was Ihnen vielleicht eine Vorstellung davon gibt, wer in den Daten mit seiner eigenen Stimme vertreten ist.

Es gibt umfangreiche Studien, die sich mit viel mehr Dimensionen als der geographischen Lage befassen (z. B. Geschlecht, Rasse, Klasse, Einkommen, Alter, Behinderung usw.), wobei die meisten von ihnen leider zu dem Ergebnis führen, dass diejenigen, die in einer dieser Dimensionen am privilegiertesten sind, am besten dargestellt werden - oder mit anderen Worten - im besten Licht erscheinen. Ein Projekt, das dies sehr deutlich zeigt, ist der StereoSet-Datensatz. StereoSet wurde entwickelt, um festzustellen, ob in Sprachmodellen Stereotypen kodiert sind. Nachfolgend sind einige Beispiele von der StereoSet-Homepage aufgeführt, die mit dem ENSEMBLE-Modell (das später im Text erläutert wird) ausgewertet wurden. Ausgehend von einem Zielbegriff (und zusätzlich einem Kontext, wenn ein ganzer Satz vorhergesagt werden soll) sagt das Sprachmodell die Wahrscheinlichkeit (hier Sprachmodell (LM)-Score) voraus, dass ein Stereotyp, ein Anti-Stereotyp oder ein nicht verwandtes Wort/Satz folgen würde.

Dies sind natürlich nur Beispiele, und glücklicherweise gibt es auch positive Beispiele. Nadeem, Bethke und Reddy, die das StereoSet eingeführt haben, definierten folgende Metriken zur Messung stereotyper Vorurteile:

Language Modeling Score (lms) Bei der Sprachmodellierung muss bei einem Zielbegriffskontext und zwei möglichen Assoziationen des Kontexts, einer sinnvollen und einer nicht sinnvollen, das Modell die sinnvolle Assoziation höher einstufen als die nicht sinnvolle. Die sinnvolle Assoziation entspricht entweder dem Stereotyp oder der Anti-Stereotyp-Option. Wir definieren den Sprachmodellierungs-Score (lms) eines Zielbegriffs als den Prozentsatz der Fälle, in denen ein Sprachmodell die bedeutungsvolle Assoziation gegenüber der bedeutungslosen bevorzugt. [...] Der lms eines idealen Sprachmodells ist 100, d.h. für jeden Zielterm in einem Datensatz bevorzugt das Modell immer die sinnvolle Assoziation des Terms.

Stereotype Score (ss) Analog dazu definieren wir den Stereotype Score (ss) eines Zielbegriffs als den Prozentsatz der Beispiele, in denen ein Modell eine stereotype Assoziation gegenüber einer anti-stereotypischen Assoziation bevorzugt. [...] Der ss eines idealen Sprachmodells ist 50, für jeden Zielbegriff bevorzugt das Modell weder stereotype noch anti-stereotype Assoziationen.

Interessanterweise weisen "alle Modelle eine starke Korrelation zwischen lms und ss auf", d. h. je besser sie Sprache verstehen, desto voreingenommener werden sie. Wir werden zwar nicht auf jedes in dem Papier erwähnte Modell eingehen, wollen aber zumindest einen Blick auf das so genannte ENSEMBLE-Modell werfen, das "eine linear gewichtete Kombination aus BERT-large, GPT2-medium und GPT2-large verwendet". Für dieses Modell fanden Nadeem, Bethke und Reddy die folgenden Ergebnisse (das großgeschriebene Wort ist die Domäne und das kleingeschriebene Wort das am meisten und am wenigsten stereotype Wort dieser Domäne):

Leider weisen alle Modelle Stereotypen auf. Und noch bedauerlicher ist die Tatsache, dass die Modelle, die als die besten in Bezug auf die Erzeugung aussagekräftiger Ergebnisse gelten, diejenigen sind, die die stärksten stereotypen Vorurteile aufweisen. Einige Entwickler haben diese Tatsache anerkannt und gehen offen mit den Vorurteilen des Modells um, wie zum Beispiel in der Modellkarte von GPT-3:

Vorurteile: Wie alle großen Sprachmodelle, die auf Internet-Korpora trainiert werden, erzeugt auch GPT-3 stereotype oder voreingenommene Inhalte. Das Modell neigt dazu, Vorurteile beizubehalten und zu verstärken, die es von jedem Teil seines Trainings übernommen hat, von den ausgewählten Datensätzen bis hin zu den gewählten Trainingstechniken. Dies ist besorgniserregend, da die Voreingenommenheit des Modells den Menschen in den betreffenden Gruppen auf unterschiedliche Weise schaden könnte, indem es bestehende Stereotypen verfestigt und neben anderen potenziellen Schäden auch erniedrigende Darstellungen erzeugt.

Wenn Sie also die Ergebnisse großer Sprachmodelle verwenden, können Sie schädliche Stereotypen und Vorurteile gegenüber marginalisierten Gruppen reproduzieren.

Im Jahr 2016 (was angesichts des Tempos, in dem sich das maschinelle Lernen entwickelt, eine Ewigkeit her ist) veröffentlichte Cathy O'Neil ihr Buch Weapons of Math Destruction, in dem sie die gesellschaftlichen Auswirkungen von Algorithmen im Allgemeinen erörtert. Sie veranschaulicht, wie Big Data und Algorithmen - selbst wenn sie mit den besten Absichten eingesetzt werden - katastrophale Auswirkungen auf marginalisierte Gruppen haben können (die oft am wenigsten von diesen Maschinen profitieren). Sie beschreibt drei wesentliche Eigenschaften, die einen Algorithmus/Modell als "Weapon of Math Destruction" qualifizieren: Undurchsichtigkeit (das Modell ist nicht transparent, z. B. in Bezug auf seine Datenquelle oder die Art und Weise, wie Entscheidungen getroffen werden), Schaden (Schaden, der angerichtet wird/auf gefährdete Gruppen abzielt) und Ausmaß (nicht nur lokal, sondern landesweit oder sogar global eingesetzt, wodurch das Leben vieler Menschen beeinflusst wird). Wie wir gesehen haben, können große Sprachmodelle in allen drei Bereichen punkten. Aufgrund der unüberschaubaren Menge an Trainingsdaten sind sie sehr undurchsichtig. Sie zielen (meist unbeabsichtigt) auf Randgruppen ab und reproduzieren schädliche Stereotypen. Und sie werden auf globaler Ebene eingesetzt.

Das scheint schlecht zu sein. Heißt das, dass wir generell keine großen Sprachmodelle verwenden sollten? Nein, Sie sollten große Sprachmodelle verwenden, aber Sie sollten sich der Nebenwirkungen bewusst sein und sie verantwortungsvoll einsetzen. Erwarten Sie keine "objektive" oder "neutrale" Ausgabe und werfen Sie einen Blick unter die Haube. Ein guter Ausgangspunkt sind die bereits erwähnten Modellkarten der Modelle, die Sie verwenden möchten. Modellkarten, wie sie von Mitchell et al. eingeführt wurden, sind wie Packungsbeilagen von Medikamenten für Machine-Learning-Modelle. Sie sind für viele gängige Machine-Learning-Modelle verfügbar, wie sie z.B. in diesem Repository gesammelt sind. Und wenn keine Modellkarte verfügbar ist, können Sie Ihre eigene Forschung mit Tools wie dem bereits erwähnten StereoSet durchführen. Dieser Schritt ist nicht nur für Ihren persönlichen ethischen Kompass wichtig, sondern stellt auch sicher, dass die Modelle, die Sie für Ihre Kunden erstellen, in einem professionellen und ethischen Zustand sind. Sie können diese Überlegungen als eine zusätzliche Metrik Ihres Modells betrachten (in einigen Modellkarten wird es sogar so dargestellt).

GPT-3 und Co. sind wirklich hilfreiche Werkzeuge. Aber betrachten Sie sie wie ein Medikament für ein bestimmtes Problem: Verwenden Sie es mit Vorsicht, achten Sie auf Nebenwirkungen und lesen Sie bitte die Packungsbeilage.