HEGEMON: Holis­­tische Eva­lua­­tion Genera­tiver Foun­­dation-Modelle im Sicher­heits­kontext

In der modernen digitalen Landschaft sind Geoinformationen zu einer unverzichtbaren Informationsquelle des öffentlichen Dienstes und der nationalen Verteidigung geworden. Sicherheitsakteure wie das Zentrum für Geoinformationswesen der Bundeswehr (ZGeoBw), die Zentrale Stelle für Informationstechnik im Sicherheitsbereich (ZITiS) oder das Bundesamt für Sicherheit in der Informationstechnik (BSI) stehen vor der Aufgabe, kontinuierlich riesige Mengen heterogener Daten auszuwerten, um essenzielle Aufklärungsprodukte zu erstellen. Dazu gehören topografische Karten und Geoinformationsdossiers (Aktuelle Geoinformationen). Derzeit sind diese Prozesse weitgehend manuell oder halbautomatisch, was in zeitkritischen Situationen einen erheblichen Engpass darstellt. Das HEGEMON-Programm adressiert dies durch die Untersuchung, wie moderne Foundation-Modelle die Generierung von Geoinformationen sicher und effektiv automatisieren können.

Unser Projekt ist Teil eines mehrjährigen „Science-to-Application“-Programms, das von der Agentur für Innovation in der Cybersicherheit GmbH (Cyberagentur) initiiert wurde. Im Gegensatz zu traditionellen Initiativen schafft dieses Programm ein einzigartiges Wettbewerbsumfeld, in dem mehrere Teams verschiedene Foundation-Modelle und Evaluations-Frameworks entwickeln und vergleichen. In Zusammenarbeit mit der Universität der Bundeswehr München (UniBw M) hat dida die Herausforderung angenommen, vertrauenswürdige KI-Anwendungen im Bereich der Cybersicherheit und Geoinformatik zu entwickeln.

Primäres Ziel des HEGEMON-Projekts ist die Entwicklung eines ganzheitlichen Benchmarking-Frameworks für Foundation-Modelle, das systematisch auf den sicherheitsrelevanten Geoinformationskontext zugeschnitten ist. Um Beispiel-Use-Cases zum Testen des Benchmarking-Frameworks bereitzustellen und die Anforderungen der oben genannten Sicherheitsakteure zu erfüllen, entwickeln wir zusätzlich drei spezifische Anwendungsdemonstratoren im Bereich der Geoinformationsverarbeitung:

1. Automatisierte Länderdossiers: Dieser Use Case konzentriert sich auf die Erstellung nachvollziehbarer, natürlichsprachlicher Zusammenfassungen zu länderspezifischen Sicherheitsthemen. Durch den Einsatz von Supervised Fine-tuning auf LLMs kann das System Informationen aus dutzenden heterogenen Quellen zu strukturierten, zuverlässigen Berichten synthetisieren, was den manuellen Aufwand für die Analyse erheblich reduziert.

2. Ableitung von Vektorkarten: Dieser Use Case widmet sich der technischen Herausforderung, Luftbilder in standardisierte Vektordaten zu transformieren. Ein zweiter Fokus liegt auf der automatisierten kartografischen Generalisierung - dem Prozess der Überführung detaillierter, nicht standardisierter geografischer Merkmale in das streng regulierte ATKIS-DLM50-Format, das von nationalen Sicherheitsbehörden verwendet wird.

3. Intelligenter Karten-Chatbot: Zudem implementieren wir ein multimodales System, das es Nutzenden ermöglicht, digitale Karten mittels natürlicher Sprache zu explorieren. Der Chatbot kann komplexe räumliche Abfragen verarbeiten - etwa nach dem Vorhandensein und den Koordinaten spezifischer medizinischer Einrichtungen oder Infrastrukturen auf einer Karte - und liefert intelligente, textbasierte Antworten, die direkt mit den Geodaten verknüpft sind.

Das ganzheitliche Benchmarking-Framework und die daraus abgeleiteten Use Cases werden nicht nur anhand rein technischer Leistungsmaße, sondern nach einem umfassenden Kriterienkatalog bewertet:

1. Technische Performance: Bewertung der aufgabenspezifischen Leistung und Robustheit.

2. Sicherheit: Widerstandsfähigkeit gegen gezielte Manipulationsversuche, einschließlich Prompt Injection und Jailbreaking (Adversarial Robustness).

3. Vertrauenswürdigkeit: Bewertung von Output-Konsistenz, Erklärbarkeit, Fairness, Usability und Compliance.

4. Kosten: Evaluierung der Ressourceneffizienz, die sowohl monetäre (z. B. Betriebskosten) als auch nicht-monetäre Aspekte (z. B. Inference-Zeit und Energieverbrauch) abdeckt.

5. Strategie: Für die nationale Sicherheit relevante Kriterien wie technologische Souveränität und Resilienz (die Fähigkeit, das Modell unabhängig von ausländischer Infrastruktur zu betreiben und anzupassen).

Die Integration von Generative AI in Sicherheitskontexte stößt auf Hürden, die bei kommerziellen Standardanwendungen nicht auftreten. Die meisten State-of-the-Art Foundation-Modelle werden von privaten Unternehmen in den USA oder China unter Verwendung nicht-öffentlicher Architekturen trainiert, was zu einer hohen technologischen Abhängigkeit führt. 

Zudem können diese Modelle - ohne angemessenes Benchmarking - anfällig für Angriffe wie Prompt Injection oder Jailbreaking sein, welche die Integrität von Sicherheitsberichten gefährden könnten. Unsere Herausforderung besteht darin, (1) die Nutzung solcher extern trainierten Modelle so sicher wie möglich zu gestalten und (2) intelligente Benchmarks zu entwerfen, die aufzeigen, ob ein Modell für den Einsatz zu unsicher ist. 

Aus technischer Sicht bleibt die Aufgabe der kartografischen Generalisierung ein komplexes, weitgehend ungelöstes Problem, da die KI die topologische Konsistenz wahren muss, während sie massive Mengen nicht standardisierter Daten für professionelle Kartenstandards vereinfacht.

Das Projekt startete im November 2025 und befindet sich derzeit in der Entwicklungsphase. Wir werden diesen Abschnitt regelmäßig aktualisieren, sobald Meilensteine erreicht wurden (voraussichtlich im Juli 2026).

• Die Laufzeit des Projekts ist auf drei Jahre angesetzt, von 2025 bis 2028.

• Finanziert durch die Agentur für Innovation in der Cybersicherheit GmbH (Cyberagentur) im Rahmen des Forschungsprogramms HEGEMON.

• Es handelt sich um eine Kooperation zwischen dida und den Fachgruppen für Earth Observation (EO) sowie für Artificial Intelligence and Machine Learning (AIML) der Universität der Bundeswehr München (UniBw M).

Für weitere Anfragen zum Projekt kontaktieren Sie bitte Dr. Jan Macdonald, Project Lead HEGEMON, über das untenstehende Kontaktformular.