Gesetzgebung für KI – Was macht sie so schwierig? – Ein genauerer Blick auf den AI Act

Im AI Act wird KI nach dem Risiko geregelt, das eine bestimmte Anwendung darstellt. Die vier Kategorien sind inakzeptables Risiko, hohes Risiko, Transparenzrisiko und geringes Risiko, wobei für sehr große Modelle separate Regeln gelten, die als allgemeine KI-Modelle bezeichnet werden. Lassen Sie uns die Modelle nach Risiko ordnen und mit der Kategorie des inakzeptablen Risikos beginnen.

Die Modelle, die ein inakzeptables Risiko darstellen, sind im Allgemeinen verboten. Grob gesagt handelt es sich dabei um KI-Systeme, die als schädlich angesehen werden, insbesondere solche, die die Unabhängigkeit und Würde des Menschen beeinträchtigen können.

Die erste Kategorie von KI-Systemen, die gemäß dem AI Act der EU verboten sind, umfasst solche, die darauf abzielen, Menschen unterschwellig zu manipulieren oder ihre Schwächen auszunutzen und dadurch die Entscheidungsfindung oder das Verhalten in einer Weise zu verändern, die erheblichen Schaden verursachen könnte. Die Auswirkungen dieser Bestimmung sind schwer vorhersehbar, da es auf die Schwelle ankommt, ab der ein signifikanter Schaden festgestellt wird.

Anschließend werden Systeme angesprochen, die Personen nach ihrem sozialen Verhalten oder ihren Persönlichkeitsmerkmalen klassifizieren – sei es bekannt, vorhergesagt oder abgeleitet – und ihnen eine soziale Bewertung zuweisen. Dies wird insbesondere dann problematisch, wenn diese Bewertungen zu Diskriminierung führen, die über den Kontext hinausgeht, in dem die Daten erhoben wurden oder wenn die Diskriminierung unverhältnismäßig im Verhältnis zum bewerteten sozialen Verhalten steht. Ein Beispiel wäre, wenn es zwar erlaubt ist, von einer Gruppe, die als wahrscheinlicher für das Hinterlassen von Müll identifiziert wird, geringfügig höhere Eintrittspreise für einen Park zu verlangen, es jedoch nicht akzeptabel ist, diese Gruppe vollständig auszuschließen.

Eine weitere verbotene Kategorie umfasst Systeme, die kriminelle Aktivitäten oder das Risiko krimineller Aktivitäten vorhersagen, was ein effektives Verbot der prädiktiven Polizeiarbeit darstellt, wie es in der Geschichte „Minority Report“ beschrieben wird.

Der Act verbietet die Emotionserkennung am Arbeitsplatz oder in der Schule, außer aus Sicherheitsgründen, wie beispielsweise der Überwachung von Piloten auf Ermüdungserscheinungen. Zudem konzentriert er sich darauf, den Einsatz von Biometrie einzuschränken, indem das Sammeln von Gesichtserkennungsdaten aus dem Internet oder von CCTV sowie die Fernbiometrische Identifizierung in öffentlich zugänglichen Räumen und die biometrische Kategorisierung von Personen zu Strafverfolgungszwecken untersagt werden. Es gibt jedoch Ausnahmen für die Terrorismus- oder Menschenhandelsprävention.

Die nächste Kategorie betrifft Anwendungen mit hohem Risiko, die erlaubt, aber stark reguliert sind. Diese Anwendungen beinhalten entweder Modelle, die in Sicherheitskomponenten oder sicherheitskritischen Produkten verwendet werden oder fallen in eine von acht anderen Klassen, die als besonders risikobehaftet gelten.

Sicherheitskritische Produkte sind definiert als alle Produkte, die bereits unter das EU-Sicherheitsrecht fallen (z.B. Spielzeug oder Medizinprodukte). Die acht Kategorien, die als besonders risikoreich angesehen werden, sind:

1. Biometrie, wie die Verwendung eines Modells zur Emotionserkennung oder zur Kategorisierung von Menschen nach geschützten Merkmalen (z.B. Alter, Geschlecht oder Herkunft)

2. Kritische Infrastrukturen

3. Bildung und berufliche Ausbildung

4. Beschäftigung, Arbeitsmanagement und Zugang zur Selbstständigkeit

5. Zugang zu und Nutzung von wesentlichen privaten Dienstleistungen sowie öffentlichen Dienstleistungen und Leistungen

6. Strafverfolgung

7. Migration, Asyl und Grenzmanagement

8. Verwaltung von Justiz- und demokratischen Prozessen

Diese Kategorie wird jedoch durch eine wichtige Ausnahme abgeschwächt:

Systeme, die in die zweite Kategorie fallen, aber kein signifikantes Risiko für die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen darstellen, sind keine Systeme mit hohem Risiko. (AI Act, Artikel 6 Absatz 3)

Diese Ausnahme gilt, wenn das System eine enge prozedurale Aufgabe erfüllt, das Ergebnis einer von Menschen bereits durchgeführten Handlung verbessert, menschliche Entscheidungsfindung überwacht, sie jedoch nicht ersetzt oder ohne menschliche Überprüfung beeinflusst oder wenn das System lediglich eine vorbereitende Aufgabe für eine Bewertung übernimmt.

Insgesamt führt dies zu einer sehr hohen Schwelle, damit ein System als hochriskant angesehen wird. Am ehesten an ein Hochrisikosystem heran kommt von den bisherigen dida-Anwendungsfällen unser Projekt zur Automatische Zugangskontrolle mit Gesichtserkennung.

Dieses System verwendet zwar biometrische Daten, die durchgeführte Aufgabe ist jedoch sehr eng gefasst, nämlich der Abgleich der Datenbank registrierter Nutzer mit den Gesichtsaufnahmen. Es stellt kein Risiko für grundlegende Rechte dar, weshalb das System selbst als risikoarm eingestuft wird.

Systeme, die in die Kategorie des hohen Risikos fallen, müssen ein Konformitätsbewertungsverfahren durchlaufen, bevor sie in der EU verkauft oder verwendet werden können. Anbieter müssen eine Reihe von Anforderungen erfüllen, angefangen bei der Datenqualität (z.B. keine urheberrechtsverletzenden Materialien, faire Repräsentation relevanter Gruppen in den Daten usw.) bis hin zur Robustheit und den Cybersicherheitsmaßnahmen des Systems. In einigen Fällen müssen Anbieter auch eine Grundrechtsfolgenabschätzung durchführen, um zu belegen, dass das System mit dem EU-Recht konform ist.

Die genauen Details dieser Anforderungen werden von einem Beratungsgremium festgelegt, das auch harmonisierte Standards entwickelt. Die Einhaltung dieser Standards gewährt den Anbietern eine Konformitätsvermutung. Sobald ein System auf dem Markt ist, müssen die Anbieter es weiterhin überwachen und bei Bedarf Korrekturmaßnahmen ergreifen.

Dieses Risikomanagementsystem muss den gesamten Lebenszyklus des hochriskanten KI-Systems abdecken und bekannte und vorhersehbare Risiken erfassen, die das System für die Gesundheit, Sicherheit oder Grundrechte darstellen kann.

Die Kategorie des Transparenzrisikos betrifft hauptsächlich Chatbots, wie sie heute häufig im Kundenservice eingesetzt werden. Obwohl das Risiko für Personen, die mit diesen Chatbots interagieren, in der Regel gering ist, bleibt es wichtig, dass Menschen wissen, wann sie mit einem Modell und nicht mit einem Menschen interagieren. Um dies sicherzustellen, schreibt der AI Act vor, dass Nutzer informiert werden müssen, wenn sie mit einem Chatbot interagieren und dass alle KI-generierten und -manipulierten Inhalte klar als solche gekennzeichnet werden müssen. Anbieter sind für diese Kennzeichnung verantwortlich und müssen auch Erkennungsmethoden bereitstellen.

Man könnte argumentieren, dass dieses Gesetz darauf hindeutet, dass LLMs (Large Language Models) den Turing-Test bestanden haben; andernfalls wäre es nicht notwendig, dass Chatbots offenlegen, dass sie keine Menschen sind, da die Nutzer dies erkennen könnten. Bei dida entwickeln wir Chatbots und Retrieval-Augmented Generation (RAG)-Systeme (weitere Informationen zu RAG-Systemen finden Sie auf unserer LLM-Übersichtsseite oder diesem Blogartikel), wobei wir sicherstellen, dass alle Datenquellen den Nutzern transparent offengelegt werden.

Alles, was nicht in eine der oben genannten Kategorien fällt, wird als geringes Risiko eingestuft und unterliegt nicht direkt der Regulierung. Tatsächlich sollten die meisten bestehenden Anwendungen von KI in diese Kategorie fallen. Viele der Anforderungen, wie gute Datenverwaltung, robuste Programmierung und Cybersicherheit, sind jedoch Merkmale gut entwickelter Modelle. Daher werden KI-EntwicklerInnen ermutigt, sich freiwillig an die harmonisierten Standards zu halten, selbst wenn sie gering riskante Systeme entwickeln.

Jenseits aller Risikokategorien definiert die EU allgemeine KI-Modelle,

[…] ein KI-Modell, einschließlich eines KI-Modells, das mit einer großen Menge an Daten und Selbstüberwachung im großen Maßstab trainiert wurde, das signifikante Allgemeingültigkeit aufweist und in der Lage ist, eine breite Palette unterschiedlicher Aufgaben kompetent auszuführen […] (AI Act, Artikel 3, Absatz 63)

Die EU-Kommission geht davon aus, dass diese sehr großen Modelle das Potenzial haben, systemische Risiken zu verursachen. Sie legt die Schwelle fest, dass ein Modell, das mit mehr als 10²⁵ FLOPS an Rechenzeit trainiert wurde, als systemisches Risiko angesehen wird und daher müssen Anbieter die EU-Kommission über das Modell informieren. Alle Modelle mit allgemeiner Zweckbestimmung müssen Dokumentationsstandards erfüllen, die sicherstellen, dass bestimmte Informationen der KI-Behörde auf Anfrage sowie Anbietern, die das System in ihre KI-Frameworks integrieren möchten, zur Verfügung stehen.

Sie müssen auch alle geltenden EU-Urheberrechtsgesetze einhalten. Diese Vorschriften entfallen jedoch, wenn das Modell kein systemisches Risiko darstellt und unter einer Open-Source-Lizenz veröffentlicht wird, die Wiederverwendung und Modifikationen erlaubt. Anbieter von Modellen, die als systemisch risikobehaftet gelten, sind außerdem verpflichtet, die Risiken, die ihr Modell darstellt, kontinuierlich zu bewerten und zu mindern.

Insgesamt ist der AI Act der EU ein Versuch, ein schnell wachsendes Feld zu regulieren, das den Menschen immens nützen, aber auch schaden kann – oft gleichzeitig. Der AI Act zielt darauf ab, eine schwierige Balance zwischen Strenge, um Einzelpersonen zu schützen und Flexibilität, um die Entwicklung nicht zu ersticken, zu finden. Wie gut dieses Gleichgewicht erreicht wird, hängt von vielen Beispielen ab, die noch ausgearbeitet werden und davon, wie die Gerichte das Gesetz anwenden. Der AI Act verspricht auch in Zukunft konkretere Beispiele, wobei Expertengruppen wie der EU AI Pact zusammengestellt werden, um diese Details zu liefern.

Ein weiterer wichtiger Aspekt des Gesetzes ist die Frage, wer für ein bestimmtes KI-Modell verantwortlich ist. Der AI Act teilt diese Verantwortung zwischen Anbietern und Anwendern. Anbieter sind diejenigen, die KI entwickeln oder entwickeln lassen und das System dann unter ihrem eigenen Namen in Betrieb nehmen. Anwender hingegen sind diejenigen, die ein KI-System nutzen. Diese Trennung ist etwas subtil, da ein Unternehmen, das eine maßgeschneiderte Lösung (z.B. eine von dida entwickelte) einsetzt, als Anbieter angesehen würde, während der Kauf einer Standardlösung, die ähnliche Funktionen erfüllt, sie lediglich zu einem Anwender machen würde.

Bei dida folgen wir vielen der im AI Act festgelegten Erwartungen bereits aus Prinzip. Wir verstehen, dass Transparenz darüber, warum ein Modell bestimmte Vorhersagen trifft, für unsere Kunden wichtig ist. Obwohl es hier Einschränkungen gibt, sind wir stets begeistert, die Grenzen weiter zu verschieben. Wir arbeiten hauptsächlich mit Open-Source-Modellen oder Modellen, die wir selbst trainieren, was sicherstellt, dass der Kunde die volle Kontrolle hat.

Wo immer möglich, stammen die Daten, die wir verwenden, direkt vom Kunden, was das Modell nicht nur perfekt auf Ihren Anwendungsfall zuschneidet, sondern auch sicherstellt, dass wir uns über Urheberrechtsinformationen und andere potenzielle Probleme im Klaren sind, die durch aus dem Internet gesammelte Daten entstehen könnten. Wir laden Sie ein, unseren Blogpost „Datenschutz: Machine Learning und die DSGVO“ zu lesen, um mehr darüber zu erfahren, wie wir mit Datenschutz und Compliance in unserer Praxis umgehen.

• Industrielle KI-Projekte: Erfahren Sie, welche Projekte dida in der Vergangenheit umgesetzt hat und wie diese KI-Lösungen Unternehmen zu effizienteren Prozessen verholfen haben.

• KI-Wissendatenbank: Lernen Sie mehr über diverse Aspekte von KI, KI-Projekten und Prozessautomatisierung.

• dida-Team: Lernen Sie die Menschen eines KI-Unternehmen kennen - deren Kernkompetenzen und Profile.