Knowledge-driven Hallucination – Interpretieren LLMs Prozessmodelle oder ihr Vorwissen?

  • Large Language Models (LLMs) are increasingly being used to analyze, document, and interpret existing process models. These tasks require that the LLM accurately capture the specific model at hand. However, due to their training, LLMs possess extensive implicit knowledge about how typical business processes—such as ordering, approval, or invoicing processes—usually unfold. A well-known phenomenon in LLM-supported process model generation is “knowledge-driven hallucination”: LLMs supplement or alter process content based on their pre-trained domain knowledge rather than strictly adhering to the given input.

    This phenomenon has hardly been studied in the context of analyzing existing process models, yet it poses significant risks: If a real-world process model deviates from the “typical” schema—for example, due to company-specific sequences, intentionally omitted verification steps, or unusual responsibilities—an LLM could “correct” these deviations unnoticed, overlook them, or declare them as errors. The analysis results would then not reflect the actual model, but rather a mixture of model content and prior knowledge. It is unclear under what conditions LLMs fall back on pre-trained process schemas when interpreting models, how this effect can be reliably measured, and what countermeasures (e.g., prompting strategies, forms of representation) can reduce it.

    This thesis therefore aims to investigate whether and to what extent knowledge-driven hallucination occurs in LLM-based analysis of existing process models. The target is to determine, through systematic experiments with specifically manipulated process models—such as controlled deviations from domain-typical workflows—when LLMs interpret the given model faithfully and when they rely on their prior knowledge.

    The thesis will cover the following steps:

    Literature Review: First, an initial literature review will be conducted to identify existing approaches in the literature on hallucinations in LLMs—particularly knowledge-driven hallucinations in process modeling—as well as methods for measuring and detecting hallucinations. This will also involve identifying suitable process model datasets.

    Analysis: The study will analyze which types of model deviations (e.g., atypical activity sequences, missing standard steps, reversed responsibilities) are particularly prone to knowledge-driven misinterpretations. Building on this, a classification system will be developed to categorize types of hallucinations in model interpretation and distinguish them from other types of errors (e.g., purely syntactic reading errors).

    Design: Based on the analysis, an experimental framework will be developed that systematically induces and measures knowledge-driven hallucinations. In this process, suitable metrics for quantifying interpretation fidelity will be developed.

    Implementation & Evaluation: Finally, a pipeline will be implemented that enables the experiments to be conducted with various configurations. The results are expected to reveal the conditions under which LLMs interpret process models faithfully and to provide practical recommendations on how to reduce knowledge-driven misinterpretations in LLM-based BPM tools.

     

    Please apply via the following link: https://portal.wiwi.kit.edu/forms/form/Bewerbung_Abschlussarbeit_AIFB-BIS

Beschreibung

Large Language Models (LLMs) werden zunehmend eingesetzt, um bestehende Prozessmodelle zu analysieren, zu dokumentieren und zu interpretieren. Diese Aufgaben setzen voraus, dass das LLM das konkret vorliegende Modell korrekt erfasst. LLMs verfügen jedoch durch ihr Training über umfangreiches implizites Wissen darüber, wie typische Geschäftsprozesse – etwa Bestell-, Genehmigungs- oder Rechnungsprozesse – üblicherweise ablaufen. Aus der LLM-gestützten Prozessmodellgenerierung ist das Phänomen der knowledge-driven Hallucination bekannt: LLMs ergänzen oder verändern Prozessinhalte auf Basis ihres vortrainierten Domänenwissens, statt sich strikt an die gegebene Eingabe zu halten.

Für die Analyse bestehender Prozessmodelle ist dieses Phänomen bislang kaum untersucht, birgt aber erhebliche Risiken: Weicht ein reales Prozessmodell vom „typischen" Schema ab – etwa durch unternehmensspezifische Reihenfolgen, bewusst fehlende Prüfschritte oder ungewöhnliche Verantwortlichkeiten –, könnte ein LLM diese Abweichungen unbemerkt „korrigieren", übersehen oder als Fehler deklarieren. Die Analyseergebnisse würden dann nicht das tatsächliche Modell widerspiegeln, sondern eine Mischung aus Modellinhalt und Vorwissen. Es ist unklar, unter welchen Bedingungen LLMs bei der Modellinterpretation auf vortrainierte Prozessschemata zurückfallen, wie sich dieser Effekt zuverlässig messen lässt und welche Gegenmaßnahmen (z. B. Prompting-Strategien, Repräsentationsformen) ihn reduzieren können.

Im Rahmen dieser Abschlussarbeit soll deshalb untersucht werden, ob und in welchem Ausmaß knowledge-driven Hallucination bei der LLM-basierten Analyse bestehender Prozessmodelle auftritt. Ziel ist es, durch systematische Experimente mit gezielt manipulierten Prozessmodellen – etwa durch kontrollierte Abweichungen von domänentypischen Abläufen – zu ermitteln, wann LLMs das vorliegende Modell treu interpretieren und wann sie auf ihr Vorwissen zurückgreifen.

Die Arbeit soll dabei die folgenden Schritte abdecken:

  • Recherche: Zunächst wird eine initiale Recherche durchgeführt, um bestehende Ansätze in der Literatur zu Halluzinationen in LLMs, insbesondere zur knowledge-driven Hallucination in der Prozessmodellierung, sowie zu Methoden der Halluzinationsmessung und -detektion zu erfassen. Hierbei sollen auch geeignete Prozessmodell-Datensätze recherchiert werden.
  • Analyse: Es soll analysiert werden, welche Arten von Modellabweichungen (z. B. untypische Aktivitätsreihenfolgen, fehlende Standardschritte, vertauschte Verantwortlichkeiten) besonders anfällig für wissensgetriebene Fehlinterpretationen sind. Darauf aufbauend soll eine Systematik konstruiert werden, die Halluzinationstypen bei der Modellinterpretation klassifiziert und von anderen Fehlerarten (z. B. rein syntaktischen Lesefehlern) abgrenzt.
  • Konzeption: Basierend auf der Analyse wird ein experimentelles Framework entwickelt, das knowledge-driven Hallucination systematisch provoziert und misst. Hierbei sollen geeignete Metriken zur Quantifizierung der Interpretationstreue erarbeitet werden.
  • Implementierung & Evaluation: Abschließend soll eine Pipeline implementiert werden, welche die Durchführung der Experimente mit verschiedenen Konfigurationen ermöglicht. Die Ergebnisse sollen zeigen, unter welchen Bedingungen LLMs Prozessmodelle treu interpretieren, und praxisorientierte Empfehlungen liefern, wie wissensgetriebene Fehlinterpretationen in LLM-gestützten BPM-Werkzeugen reduziert werden können.


Bitte bewerben Sie sich bei Interesse über den folgenden Link: https://portal.wiwi.kit.edu/forms/form/Bewerbung_Abschlussarbeit_AIFB-BIS