LLM-basierte Extraktion klimapolitischer Maßnahmen aus NDCs

  • Im Pariser Klimaabkommen legen die Vertragsstaaten ihre Klimaschutzbeiträge in Nationally Determined Contributions (NDCs) fest. Für den Verkehrssektor werten Analystinnen und Analysten diese Dokumente aus und überführen die enthaltenen Ziele und Maßnahmen in den NDC Transport Tracker. Die auszuwertenden Dokumente sind dabei heterogen aufgebaut und in vielen verschiedenen Sprachen verfasst, die Analyse ist zeitaufwändig und über viele Länder hinweg schwer konsistent zu halten. Diese Auswertung erfolgte lange manuell.

    In einer vorangegangenen Abschlussarbeit wurde hierfür eine Pipeline entwickelt, die Large Language Models (LLMs) ohne Finetuning einsetzt. Die Dokumente werden geparst und in Abschnitte zerlegt, relevante Abschnitte werden per semantischer Suche abgerufen, daraus werden wörtliche Zitate extrahiert und diese anschließend mit strukturiertem Zero- und Few-Shot-Prompting klassifiziert. Die Evaluation zeigt, dass der Ansatz grundsätzlich funktioniert. Offen ist, wie viel sich durch Alternativen in den einzelnen Stufen gewinnen lässt, etwa durch eine gezieltere semantische Suche, eine präzisere Zitatextraktion oder eine bessere Erkennung von Bedingungen, und wie verlässlich eine einzelne Extraktion ist.

    Im Rahmen dieser Abschlussarbeit soll deshalb untersucht werden, welche Konfiguration der Pipeline die Übereinstimmung mit analystenkuratierten Referenzdaten maximiert, zu welchen Kosten (Laufzeit, Token-Verbrauch) dies gelingt und wie sich für jeden extrahierten Eintrag eine kalibrierte Konfidenz ermitteln lässt. Ziel ist ein reproduzierbarer Benchmark auf Basis der Referenzdaten, eine komponentenweise Evaluation alternativer Verfahren für Suche, Extraktion und Klassifikation sowie ein Konfidenzmaß, mit dem sich die manuelle Prüfung auf die unsicheren Fälle konzentrieren lässt. Die Arbeit ist in ein Kooperationsprojekt mit der Deutschen Gesellschaft für Internationale Zusammenarbeit (GIZ) eingebettet. Die Ergebnisse fließen in die im Projekt eingesetzte Pipeline ein.

    Die Arbeit soll dabei die folgenden Schritte abdecken:

    • Recherche: Zunächst wird eine gezielte Recherche durchgeführt, um bestehende Ansätze zur Evaluation von Retrieval-Augmented-Generation-Pipelines, zur LLM-basierten Informationsextraktion aus Fachdokumenten sowie zur Konfidenzschätzung und Kalibrierung von LLM-Ausgaben zu erfassen. Hierbei sollen auch die bestehende Pipeline, ihre Evaluation und die Referenzdaten im Detail aufgearbeitet werden. Die Recherche bildet die Grundlage für Konzeption und Evaluation; der Schwerpunkt der Arbeit liegt auf der konstruktiven Umsetzung, nicht auf einer systematischen Literaturübersicht.
    • Analyse: Es soll analysiert werden, in welchen Stufen der Pipeline welche Fehlerarten entstehen (z. B. nicht gefundene Abschnitte, abgeschnittene oder nicht wörtlich belegbare Zitate, Verwechslung benachbarter Indikatoren, übersehene Bedingungen) und wie sich diese Fehler bis zum Endergebnis fortpflanzen. Darauf aufbauend soll ein Benchmark konstruiert werden, der aus den Referenzdaten je Dokument die relevanten Abschnitte, die belegenden Zitate und die zugehörigen Labels ableitet und je Stufe sowie durchgängig geeignete Metriken definiert.
    • Konzeption: Basierend auf der Analyse wird die Pipeline in ein Framework mit austauschbaren Komponenten überführt, und es werden Verbesserungsvarianten für die einzelnen Stufen konzipiert, etwa hybride und mehrstufige Suche, eine angepasste Zerlegung der Dokumente, eine robustere Zitatverifikation, die dynamische Auswahl von Beispielen aus den Referenzdaten, eine dokumentweite Erkennung von Bedingungen sowie der Einsatz offener Modelle. Ergänzend sollen Verfahren zur Konfidenzschätzung entworfen werden, z. B. auf Basis von Selbstkonsistenz, Übereinstimmung mehrerer Modelle oder Token-Wahrscheinlichkeiten, einschließlich ihrer Kalibrierung.
    • Implementierung & Evaluation: Abschließend sollen die Varianten implementiert und auf dem Benchmark gegen die bestehende Pipeline evaluiert werden, einschließlich der Kosten je Dokument. Für die Konfidenzschätzung soll gezeigt werden, wie gut sie Fehler vorhersagt und wie viel manuellen Prüfaufwand sie bei vorgegebener Qualität einspart. Die Ergebnisse sollen zeigen, welche Konfiguration sich für den Einsatz im Projekt empfiehlt, und praxisorientierte Empfehlungen für den Aufbau LLM-basierter Extraktionspipelines für Fachdokumente ableiten.

    Bitte bewerben Sie sich bei Interesse über den folgenden Link: https://portal.wiwi.kit.edu/forms/form/Bewerbung_Abschlussarbeit_AIFB-BIS