FABIAN Pressemitteilung

InfAI startet Projekt „FABIAN“: Neue Benchmarks für verlässliche multimodale KI in sicherheitskritischen Anwendungen

Leipzig, 18. Dezember 2025 – Das Institut für Angewandte Informatik (InfAI) e. V. in Leipzig startet das Forschungsprojekt  FABIAN („Foundation model Assessment via Benchmarks and Interactive Analysis with Natural Dialogue“). Ziel ist es, Verfahren und Testumgebungen zu entwickeln, mit denen generative KI-Systeme – insbesondere multimodale Modelle für Text- und Bildinformationen – systematisch bewertet, verglichen und in ihrem Einsatz zuverlässiger gemacht werden können. FABIAN ist im Umfeld des Programms HEGEMON der Agentur für Innovation in der Cybersicherheit GmbH (Cyberagentur) verortet, das die Bewertung und Anpassung generativer Foundation Models für sicherheitskritische Anwendungen adressiert.

Ganzheitliche Evaluation statt Einzeltests

Generative Foundation Models entwickeln sich rasant – gleichzeitig steigen die Anforderungen an Nachvollziehbarkeit, Robustheit und Faktentreue, gerade dort, wo Ergebnisse in sensiblen Kontexten genutzt werden. FABIAN setzt hier an: Im Projekt entstehen holistische Benchmarks, die nicht nur isolierte Modellfähigkeiten testen, sondern die Leistungsfähigkeit und Grenzen von Foundation Models in realistischen Nutzungsszenarien abbilden. Dazu gehören auch multimodale Aufgaben, in denen Text- und Bildinformationen gemeinsam verarbeitet werden.

Fokus auf Multimodalität: Text, Bild – und domänenspezifisches Wissen

Ein Schwerpunkt von FABIAN liegt auf Anwendungsfällen, in denen KI nicht nur Texte verarbeitet, sondern auch visuelle Informationen interpretieren muss. Das betrifft unter anderem die Arbeit mit Karten- und Geodaten. Ziel ist es, Bewertungskriterien, Datensätze und Testmethoden zu entwickeln, die solche multimodalen Aufgaben abdecken – von der Qualitätsmessung einzelner Komponenten bis hin zur Bewertung eines integrierten Systems.

Was im Projekt entsteht: Benchmarks, Datenbasis und ein Demonstrator

Im Projekt werden mehrere Bausteine zusammengeführt:

  • Benchmark-Suite und Metriken: FABIAN entwickelt Messgrößen und Tests, um u. a. Faktentreue, Robustheit und Zuverlässigkeit generativer Modelle bewerten zu können – auch in multimodalen Aufgabenstellungen.
  • Reproduzierbare Daten- und Evaluationspipelines: Eine kuratierte Datenbasis mit Ground-Truth-Anteilen sowie dokumentierte Abläufe sollen sicherstellen, dass Ergebnisse nachvollziehbar und wiederholbar sind.
  • Integrierter Demonstrator: Ergänzend entsteht ein Prototyp, der Modelle und Datenquellen über Schnittstellen anbindet und die entwickelten Benchmarks zur kontinuierlichen Evaluation nutzt.

Strukturierte Entwicklung mit Review-Meilensteinen

FABIAN ist als iteratives Vorhaben angelegt, das seine Ergebnisse schrittweise entwickelt, erweitert und validiert. Vorgesehen sind definierte Review-Zeitpunkte, an denen Zwischenstände geprüft und weiterentwickelt werden.

Prof. Dr. Gerhard Heyer, Projektleitung, InfAI e. V.

„Unser Ziel ist es, die Leistungsfähigkeit multimodaler Foundation Models nicht nur punktuell, sondern ganzheitlich und nachvollziehbar zu bewerten – und damit Grundlagen für einen verlässlicheren Einsatz in sicherheitskritischen Kontexten zu schaffen.“

Dr. Daniel Gille, Leiter Cybersicherheit für KI und durch KI, Cyberagentur

„Die Entwicklung ganzheitlicher Bewertungsmechanismen für multimodale Foundation Models soll den verlässlichen Einsatz der jeweils neuesten und leistungsfähigsten Modelle im Sicherheitsbereich ermöglichen. Projekte wie FABIAN leisten hierzu einen wichtigen Beitrag.“

Key Facts

  • Projektname: FABIAN – Foundation model Assessment via Benchmarks and Interactive Analysis with Natural dialogue
  • Ziel: Entwicklung holistischer Benchmarks und Evaluationsmethoden für (multi)modale Foundation Models in sicherheitskritischen Kontexten
  • Ort: Leipzig
  • Leitung: Prof. Dr. Gerhard Heyer (InfAI e. V.) 
  • Beteiligte Gruppen des InfAI e. V.: NLP (Prof. Dr. Gerhard Heyer), BSV (Prof. Dr. Gerik Scheuermann), KI-Manufaktur (Prof. Dr. Bogdan Franzcyk), Data Privacy und Security (Prof. Dr. Erik Buchmann)
  • Programm: HEGEMON (Cyberagentur)

Über das InfAI e. V.

Das Institut für Angewandte Informatik (InfAI) e. V. mit Sitz in Leipzig entwickelt anwendungsnahe Lösungen in zentralen Bereichen der Digitalisierung – von Datenanalyse und KI bis zu sicheren und skalierbaren Software- und Dateninfrastrukturen. Das InfAI verbindet Forschung und Transfer und arbeitet eng mit Wissenschaft, Verwaltung und Wirtschaft zusammen.

Über HEGEMON / Cyberagentur

Das Programm HEGEMON der Cyberagentur adressiert die Bewertung und Anpassung generativer Foundation Models für sicherheitskritische Anwendungen und setzt dabei auf ganzheitliche Benchmarks, Testdatensätze und Evaluationsmethoden.

Presse- und Projektkontakt

Institut für Angewandte Informatik (InfAI) e. V.

Projektleitung:
Prof. Dr. Gerhard Heyer

heyer@infai.org

 

Pressekontakt:
Nina Ssymank

pr@infai.org