RDF-Wissensgraphen: Benchmark evaluiert Large Language Models automatisch
Das Benchmarksystem LLM-KG-Bench überprüft automatisch, wie gut Large Language Models Aufgaben rund um RDF-Wissensgraphen erfüllen. Es ist das erste System für diesen Anwendungsfall. Es kann Unternehmen dabei helfen, Chatbots zuverlässig einzusetzen.
Ein Forschungsteam des Instituts für Angewandte Informatik (InfAI) e.V. in Leipzig hat ein Benchmarksystem entwickelt, um zu überprüfen, wie gut große Sprachmodelle (engl. Large Language Model – LLM) Aufgaben in Bezug auf RDF-Wissensgraphen erfüllen.
Der LLM-KG-Bench ist das erste System für diesen Anwendungsbereich. Es evaluiert vorgegebene Aufgaben automatisiert. Dadurch ist es geeignet langfristig zu überprüfen, wie Sprachmodelle in RDF-Wissensgraph-spezifischen Aufgaben abschneiden. Das kann den sicheren Einsatz von Chatbots unterstützen, die auf LLMs basieren.
In Bezug auf RDF-Wissensgraphen hat das Team drei Sprachmodelle getestet: Claude-1.3 von Anthropic sowie ChatGPT-3.5 und ChatGPT-4 von OpenAI. Weitere Modelle lassen sich bei Bedarf ergänzen. Die Modelle sollten je drei Aufgaben lösen: Fehlerbehebung in vorhandenen kleinen Wissensgraphen; Extraktion von Datenblättern; Erstellung von Datensätzen. Alle drei Aufgaben gehören zur Entwicklung von Wissensgraphen.
Im Ergebnis hat sich gezeigt, dass die getesteten LLMs noch deutlichen Verbesserungsbedarf für eine zuverlässige Verwendung haben, wie Lars-Peter Meyer vom Institut für Angewandte Informatik (InfAI) e.V. einordnet: “Wir sind noch nicht an dem Punkt, Wissensgraph-spezifische Aufgaben ungeprüft an Sprachmodelle abzugeben. Zurzeit liefern sie noch nicht zuverlässig richtige Ergebnisse. Aber wenn sie so weit sind, bekommen wir es durch den LLM-KG-Bench mit.” Der LLM-KG-Bench ist erstmals im Poster-Track der Semantics-Konferenz 2023 vorgestellt worden.
Mit dem RDF-Standard werden Daten durch ihre Beziehungen zueinander beschrieben. Dadurch sind sie für KI-Systeme besonders gut lesbar.
Über das InfAI
Das Institut für Angewandte Informatik (InfAI) e.V. ist ein An-Institut der Universität Leipzig und dient als Transferinstitut dem Zweck der Forschungsförderung auf den Gebieten der Informatik und Wirtschaftsinformatik. Ein besonderer Themenschwerpunkt des InfAI sind die Bereiche Wissensgraphen und Open Data. In nationalen und internationalen Forschungsprojekten hat das Institut bereits zahlreiche Lösungen für die semantische Datenverarbeitung entwickelt. Es hat den Lead des Forschungsprojekts KISS.
Forschungsprojekt KISS (KI-gestütztes Rapid Supply Network)
Das Projekt beschäftigt sich mit der Frage, ob sich Ontologien als Basis für B2B-Matching-Plattformen eignen. Dazu wird die KI-gestützte Plattform “Semper-KI” entwickelt. Anwendungsgebiet ist der 3D-Druck. Ziel ist, mit der Plattform zu einer krisenresilienten Infrastruktur in Deutschland beizutragen. Web: magazin.semper-ki.org
Pressekontakt
Forschungsprojekt KISS/Semper-KI
Nadja Häse
E-Mail: haese@infai.org
Projektleitung
Dr. Christian Zinke-Wehlmann
Leiter Kompetenzzentrum „Künstlich Menschlich Intelligent“
E-Mail: zinke@infai.org
Prof. Dr. Michael Martin
Leiter Kompetenzzentrum „Effiziente Technologieintegration“
E-Mail: martin@infai.org
Insitut für Angewandte Informatik (InfAI) e. V.
An-Institut der Universität Leipzig
Goerdelerring 9 ⎥ 04109 Leipzig