Inhalt

Digitale Verwaltung: Intuitiver Online-Zugang durch KI

Natural Language Processing BERT Artificial Intelligence Word Embeddings Public Administration

Der folgende Artikel beschreibt, wie KI bei der Etablierung digitaler Verwaltungsdienstleistungen helfen kann. Dabei wird zunächst ein grundsätzliches Problem beschrieben, das KI an dieser Stelle lösen kann: Behörden sprechen häufig eine von der Umgangssprache sehr verschiedene Sprache. Anhand des Beispiels von Gewerbeanmeldungen und des KI-Modells "BERT" werden ein möglicher Lösungsweg erklärt und Ideen für weitere Einsatzgebiete aufgezeigt.

Einleitung 

Digitale Verwaltung muss niederschwellig sein

Die Digitalisierung der öffentlichen Verwaltung nimmt in Deutschland zunehmend Fahrt auf. Der einheitliche Zugang zu Verwaltungsdienstleistungen, wie ihn das neue Onlinezugangsgesetz vorsieht, wird dabei ein wichtiger Meilenstein sein.


Ein zentrales Anliegen des hierfür entwickelten Servicestandards ist die einfache und intuitive Inanspruchnahme der digitalen Dienstleistungen durch alle Bürgerinnen und Bürger. Eine einfache Bedienung digitaler Produkte wird nicht nur durch eine intuitive Benutzeroberfläche ermöglicht, sondern auch durch eine einfache Kommunikation zwischen Anwender und Dienstleister. So müssen Antragstellende bei vielen Verwaltungsdienstleistungen Begriffe aus der Verwaltungsfachsprache verwenden, die sich von den Begrifflichkeiten der Umgangssprache stark unterscheiden.


Bei digitalen Anwendungen ist zudem die Rücksprache mit der zuständigen Behörde deutlich aufwändiger als bei einem Behördenbesuch vor Ort. Daher kann hier schnell eine Sprachbarriere entstehen, die auf Seiten der Antragstellenden zu Frust und im schlimmsten Fall zu mangelnder Akzeptanz der digitalen Dienstleistung führt.

KI als Spachbrücke zwischen Alltags- und Verwaltungssprache

KI-basierte Algorithmen können hier Abhilfe schaffen, indem sie eine Sprachbrücke zwischen Alltags- und Verwaltungssprache bauen: Bürgerinnen und Bürger können ihre Anliegen oder Fragestellungen in gewohnter Sprache formulieren, die KI übernimmt dann die Übersetzung in die entsprechenden Fachtermini. So können auch komplexe Antragsverfahren auf nutzerfreundliche Art und Weise digital abgewickelt werden.


Ein Beispiel für den gelungenen Einsatz von KI als Sprachbrücke in der Verwaltung ist die Ermittlung des Branchen-Codes bei Gewerbeanmeldungen.

Anwendungsbeispiel: Gewerbeanmeldung

Der richtige Wirtschaftszweig ist schwer zu finden

Bei jedem Antrag zur Gewerbeanmeldung soll ein Branchen-Code angegeben werden, der den Wirtschaftszweig des Gewerbes beschreibt. Diese Klassifikation der Wirtschaftszweige in insgesamt 839 verschiedene Branchen-Codes wird durch das statistische Bundesamt (destatis) bereitgestellt. Die Zuordnung des richtigen Codes zum eigenen Gewerbe kann aber aus verschiedenen Gründen sehr schwierig sein:

  • Die Sprache der destatis-Beschreibung unterscheidet sich sehr stark von der Alltagssprache (z.B. "Kraftwagen mit einem Gesamtgewicht von weniger als 3,5 t” statt "Auto").
  • Die Klassifikation in Unterklassen ist sehr feingliedrig und die richtige Zuordnung daher teilweise unklar.
Die KI erspart mühsame Recherche

Um Gewerbeämter zu unterstützen, hat dida daher mit einem Kooperationspartner die KI für ein Chatbot-Interface entwickelt, in dem eine Beschreibung des eigenen Gewerbes angegeben werden kann, woraufhin man Vorschläge für relevante Branchen-Codes mit Beschreibung erhält (siehe Abbildung). Hierfür vergleicht ein KI-Algorithmus den eingegebenen Fließtext mit den von destatis zur Verfügung gestellten Beschreibungen und Beispielen für einzelne Branchen-Codes, um die Kategorien mit der höchsten Übereinstimmung zu ermitteln. Dadurch wird der Bedarf an Rücksprachen mit der Behörde während der Antragstellung und damit der Aufwand für Bürgerinnen und Bürger verringert. Gleichzeitig werden die Behörden entlastet. Da der Algorithmus nur Vorschläge liefert, aber keine endgültige Auswahl trifft, liegt die volle Kontrolle über den Prozess immer noch beim Menschen.

Eine vielseitige Technologie im Hintergrund: BERT

Möglich wird das Bauen solch einer Sprachbrücke durch den Einsatz einer auf Sprachverarbeitung spezialisierten KI-Architektur, dem von Google entwickelten Neuronalen Netz BERT.


Das Besondere von BERT ist, dass es in der Lage ist, die Bedeutung hinter verschiedenen Worten zu erfassen und ihren Kontext mit in die Berechnung seiner Ergebnisse einzubeziehen. Für das Beispiel der Branchen-Codes heißt das unter anderem,dass BERT selbstständig den Suchausdruck "Bedrucken von Stofftaschen" dem passenden Branchen-Code "Veredelung von Textilien" zuordnet, obwohl weder "Stofftasche" noch "bedrucken" im zugehörigen Beschreibungstext vorkommen. Andere Textverarbeitungsalgorithmen wären mit solch einer Zuordnung überfordert. So benötigt zum Beispiel die klassische Volltextsuche mit Hilfe von Synonym-Listen eine aufwändige manuelle Pflege dieser Listen, um ein vergleichbares Ergebnis zu erlangen. Aktuell werden häufig fortgeschrittenere Verfahren als Suchmethode verwendet,die eine statistische Gewichtung einzelner Wörter vornehmen (z. B. TF-IDF). Derartige Suchmethoden kommen beispielsweise in der Wikipedia zum Einsatz.Allerdings können auch diese Methoden weder synonyme Wörter und Ausdrücke eigenständig erkennen noch den Kontext von Suchbegriffen miteinbeziehen. Das sind aber wichtige Voraussetzungen,um Sprachbarrieren zu überwinden.


Damit BERT seine besondere Art von Sprachfähigkeit entwickeln kann, wird es in einem zweischrittigen Verfahren trainiert.

Aufbau eines Sprachverständnisses

Zunächst erlernt das Modell eine Art generelles Verständnis für eine bestimmte Sprache: Hierfür können große, frei verfügbare Datensätze wie zum Beispiel Wikipedia-Artikel oder Buchsammlungen verwendet werden. BERT lernt hierbei nach der Maxime "Worte werden durch ihre Begleitung charakterisiert", denn die Bedeutung eines Wortes wird stark durch seinen Kontext beeinflusst (auch bekannt als "distributional hypothesis"). Auf Basis der großen Textsammlungen kann BERT somit lernen semantisch ähnliche Wörter und Ausdrücke zu erkennen, indem es ihren Kontext mitbetrachtet. Dies ist ein relativ aufwendiger Prozess, der lange dauert und teure Ressourcen in Anspruch nimmt (unter Zuhilfenahme sehr leistungsfähiger und genau für diese Aufgabe spezialisierter Hardware dauern die Berechnungen mehrere Tage). Der Vorteil ist, dass dieser Teil des Trainings für jede Sprache nur einmal durchgeführt werden muss: Ist dieses Training einmal für eine Sprache geschehen, können alle Lösungsansätze für konkrete Probleme in dieser Sprache auf dem vorhandenen Trainingsstand aufbauen. Da die entsprechenden Modelle frei verfügbar sind, muss man diesen aufwändigen Schritt normalerweise nicht selbst durchführen.

Spezialisierung auf konkrete Aufgabe

Im zweiten Schritt wird nun das Modell auf eine bestimmte Problemstellung spezialisiert: Hierfür werden dann auch problemspezifische, annotierte Datensätze benötigt. Im Falle der oben beschriebenen Anwendung für die Branchen-Code-Ermittlung war dies zum Beispiel ein großer Datensatz, der aus historischen Gewerbeanmeldungen mit den zugehörigen Branchen-Codes bestand. Das Modell wurde dann darauf trainiert, einzelnen Gewerbeanmeldungen den entsprechenden Branchen-Code zuzuordnen.


Dieser Spezialisierungs-Schritt muss für jedes Problem neu durchgeführt werden, allerdings geht das Training deutlich schneller als im ersten Schritt und benötigt auch weniger Ressourcen. Dies liegt daran, dass BERT hierbei stark von dem im ersten Schritt angeeigneten generellen "Sprachverständnis" profitieren kann. Dadurch wird BERT zu einem sehr vielseitigen Modell, welches für verschiedene Sprachverarbeitungsprobleme eingesetzt werden kann.

Limitierungen und Alternativen

Es gibt allerdings auch Faktoren, die dazu führen können, dass BERT nicht das optimale Modell ist und andere Machine Learning-Modelle oder Methoden ein bestimmtes Problem besser lösen:

  • Datensatzgröße: Da auch der zweite Trainingsschritt von BERT auf Methoden des Deep Learnings basiert, wird ein gewisses Mindestmaß an annotierten Daten benötigt. Sind nur sehr wenige annotierte Daten verfügbar, kann es sinnvoll sein auf Methoden, die nicht zwangsläufig mit annotierten Daten trainiert werden müssen (z. B. TF-IDF, word2vec, fasttext) oder regelbasierte Algorithmen (z. B. boolsche Suche, Fuzzy-Matching) zurückzugreifen.
  • Anzahl der zu durchsuchenden Dokumente: BERT benötigt eine gewisse Zeit um Berechnungen für einzelne Dokumente durchzuführen. Wenn die Anzahl an zu durchsuchenden Dokumenten oder Datenbankeinträgen sehr groß wird, kann es sinnvoll sein BERT mit einer anderen Machine Learning-Methode zu kombinieren. Mit Hilfe einer wesentlich schnelleren, aber auch ungenaueren Methode könnte eine Vorauswahl getroffen werden, deren Ergebnisse dann mittels BERT verbessert werden. Dies gilt insbesondere, wenn die Geschwindigkeit des Algorithmus eine wichtige Rolle spielt.

Viele Bereiche in der digitalen Verwaltung bergen ein großes Nutzungspotential für KI

Die Anwendungsmöglichkeiten von KI als Sprachbrücke sind selbstverständlich nicht auf die Gewerbeanmeldung beschränkt. Weitere Felder, in denen eine Unterstützung einer Verwaltungsdienstleistung durch KI denkbar ist, sind beispielsweise:

  • Suche nach Informationen
  • Beantwortung von Fragen
  • Extraktion von Informationen aus Anträgen

Bei Fragen zum Artikel oder zum Thema KI in der Verwaltung kontaktieren Sie uns!