Rybinski, Fabian

Large Language Models (LLMs) werden zunehmend eingesetzt, um bestehende Prozessmodelle zu analysieren, zu dokumentieren und zu interpretieren. Diese Aufgaben setzen voraus, dass das LLM das konkret vorliegende Modell korrekt erfasst. LLMs verfügen jedoch durch ihr Training über umfangreiches implizites Wissen darüber, wie typische Geschäftsprozesse – etwa Bestell-, Genehmigungs- oder Rechnungsprozesse – üblicherweise ablaufen. Aus der LLM-gestützten Prozessmodellgenerierung ist das Phänomen der knowledge-driven Hallucination bekannt: LLMs ergänzen oder verändern Prozessinhalte auf Basis ihres vortrainierten Domänenwissens, statt sich strikt an die gegebene Eingabe zu halten.

Für die Analyse bestehender Prozessmodelle ist dieses Phänomen bislang kaum untersucht, birgt aber erhebliche Risiken: Weicht ein reales Prozessmodell vom „typischen" Schema ab – etwa durch unternehmensspezifische Reihenfolgen, bewusst fehlende Prüfschritte oder ungewöhnliche Verantwortlichkeiten –, könnte ein LLM diese Abweichungen unbemerkt „korrigieren", übersehen oder als Fehler deklarieren. Die Analyseergebnisse würden dann nicht das tatsächliche Modell widerspiegeln, sondern eine Mischung aus Modellinhalt und Vorwissen. Es ist unklar, unter welchen Bedingungen LLMs bei der Modellinterpretation auf vortrainierte Prozessschemata zurückfallen, wie sich dieser Effekt zuverlässig messen lässt und welche Gegenmaßnahmen (z. B. Prompting-Strategien, Repräsentationsformen) ihn reduzieren können.

Im Rahmen dieser Abschlussarbeit soll deshalb untersucht werden, ob und in welchem Ausmaß knowledge-driven Hallucination bei der LLM-basierten Analyse bestehender Prozessmodelle auftritt. Ziel ist es, durch systematische Experimente mit gezielt manipulierten Prozessmodellen – etwa durch kontrollierte Abweichungen von domänentypischen Abläufen – zu ermitteln, wann LLMs das vorliegende Modell treu interpretieren und wann sie auf ihr Vorwissen zurückgreifen.

Die Arbeit soll dabei die folgenden Schritte abdecken:

Recherche: Zunächst wird eine initiale Recherche durchgeführt, um bestehende Ansätze in der Literatur zu Halluzinationen in LLMs, insbesondere zur knowledge-driven Hallucination in der Prozessmodellierung, sowie zu Methoden der Halluzinationsmessung und -detektion zu erfassen. Hierbei sollen auch geeignete Prozessmodell-Datensätze recherchiert werden.

Analyse: Es soll analysiert werden, welche Arten von Modellabweichungen (z. B. untypische Aktivitätsreihenfolgen, fehlende Standardschritte, vertauschte Verantwortlichkeiten) besonders anfällig für wissensgetriebene Fehlinterpretationen sind. Darauf aufbauend soll eine Systematik konstruiert werden, die Halluzinationstypen bei der Modellinterpretation klassifiziert und von anderen Fehlerarten (z. B. rein syntaktischen Lesefehlern) abgrenzt.

Konzeption: Basierend auf der Analyse wird ein experimentelles Framework entwickelt, das knowledge-driven Hallucination systematisch provoziert und misst. Hierbei sollen geeignete Metriken zur Quantifizierung der Interpretationstreue erarbeitet werden.

Implementierung & Evaluation: Abschließend soll eine Pipeline implementiert werden, welche die Durchführung der Experimente mit verschiedenen Konfigurationen ermöglicht. Die Ergebnisse sollen zeigen, unter welchen Bedingungen LLMs Prozessmodelle treu interpretieren, und praxisorientierte Empfehlungen liefern, wie wissensgetriebene Fehlinterpretationen in LLM-gestützten BPM-Werkzeugen reduziert werden können.

Bitte bewerben Sie sich bei Interesse über den folgenden Link: https://portal.wiwi.kit.edu/forms/form/Bewerbung_Abschlussarbeit_AIFB-BIS