Alexandra Wins

Rybinski, Fabian

Large Language Models (LLMs) werden zunehmend eingesetzt, um bestehende Prozessmodelle zu analysieren, zu dokumentieren und zu interpretieren. Diese Aufgaben setzen voraus, dass das LLM das konkret vorliegende Modell korrekt erfasst. LLMs verfügen jedoch durch ihr Training über umfangreiches implizites Wissen darüber, wie typische Geschäftsprozesse – etwa Bestell-, Genehmigungs- oder Rechnungsprozesse – üblicherweise ablaufen. Aus der LLM-gestützten Prozessmodellgenerierung ist das Phänomen der knowledge-driven Hallucination bekannt: LLMs ergänzen oder verändern Prozessinhalte auf Basis ihres vortrainierten Domänenwissens, statt sich strikt an die gegebene Eingabe zu halten.

Für die Analyse bestehender Prozessmodelle ist dieses Phänomen bislang kaum untersucht, birgt aber erhebliche Risiken: Weicht ein reales Prozessmodell vom „typischen" Schema ab – etwa durch unternehmensspezifische Reihenfolgen, bewusst fehlende Prüfschritte oder ungewöhnliche Verantwortlichkeiten –, könnte ein LLM diese Abweichungen unbemerkt „korrigieren", übersehen oder als Fehler deklarieren. Die Analyseergebnisse würden dann nicht das tatsächliche Modell widerspiegeln, sondern eine Mischung aus Modellinhalt und Vorwissen. Es ist unklar, unter welchen Bedingungen LLMs bei der Modellinterpretation auf vortrainierte Prozessschemata zurückfallen, wie sich dieser Effekt zuverlässig messen lässt und welche Gegenmaßnahmen (z. B. Prompting-Strategien, Repräsentationsformen) ihn reduzieren können.

Im Rahmen dieser Abschlussarbeit soll deshalb untersucht werden, ob und in welchem Ausmaß knowledge-driven Hallucination bei der LLM-basierten Analyse bestehender Prozessmodelle auftritt. Ziel ist es, durch systematische Experimente mit gezielt manipulierten Prozessmodellen – etwa durch kontrollierte Abweichungen von domänentypischen Abläufen – zu ermitteln, wann LLMs das vorliegende Modell treu interpretieren und wann sie auf ihr Vorwissen zurückgreifen.

Die Arbeit soll dabei die folgenden Schritte abdecken:

Recherche: Zunächst wird eine initiale Recherche durchgeführt, um bestehende Ansätze in der Literatur zu Halluzinationen in LLMs, insbesondere zur knowledge-driven Hallucination in der Prozessmodellierung, sowie zu Methoden der Halluzinationsmessung und -detektion zu erfassen. Hierbei sollen auch geeignete Prozessmodell-Datensätze recherchiert werden.

Analyse: Es soll analysiert werden, welche Arten von Modellabweichungen (z. B. untypische Aktivitätsreihenfolgen, fehlende Standardschritte, vertauschte Verantwortlichkeiten) besonders anfällig für wissensgetriebene Fehlinterpretationen sind. Darauf aufbauend soll eine Systematik konstruiert werden, die Halluzinationstypen bei der Modellinterpretation klassifiziert und von anderen Fehlerarten (z. B. rein syntaktischen Lesefehlern) abgrenzt.

Konzeption: Basierend auf der Analyse wird ein experimentelles Framework entwickelt, das knowledge-driven Hallucination systematisch provoziert und misst. Hierbei sollen geeignete Metriken zur Quantifizierung der Interpretationstreue erarbeitet werden.

Implementierung & Evaluation: Abschließend soll eine Pipeline implementiert werden, welche die Durchführung der Experimente mit verschiedenen Konfigurationen ermöglicht. Die Ergebnisse sollen zeigen, unter welchen Bedingungen LLMs Prozessmodelle treu interpretieren, und praxisorientierte Empfehlungen liefern, wie wissensgetriebene Fehlinterpretationen in LLM-gestützten BPM-Werkzeugen reduziert werden können.

Bitte bewerben Sie sich bei Interesse über den folgenden Link: https://portal.wiwi.kit.edu/forms/form/Bewerbung_Abschlussarbeit_AIFB-BIS

Rybinski, Fabian

Large Language Models (LLMs) werden zunehmend im Business Process Management (BPM) eingesetzt, um Prozessmodelle zu erstellen, zu analysieren und zu interpretieren. Aktuelle Forschung zeigt, dass die Repräsentationsform eines Prozessmodells – etwa als textuelle Beschreibung, gerendertes Diagramm oder strukturierte Serialisierung – einen erheblichen Einfluss auf die Interpretationsqualität von LLMs hat. Diese Untersuchungen halten jedoch die zugrunde liegende Modellierungssprache konstant und variieren lediglich die Darstellungsform desselben Modells.

In der Praxis existiert allerdings eine Vielzahl von Prozessmodellierungssprachen – von Petri-Netzen über UML-Aktivitätsdiagramme bis hin zu BPMN. Jede Sprache besitzt eigene syntaktische Konstrukte, formale Semantiken und Ausdrucksmächtigkeiten: Petri-Netze bieten eine mathematisch präzise Ausführungssemantik, während BPMN einen umfangreichen, praxisorientierten Elementkatalog bereitstellt. Es ist bislang unklar, ob und wie die Wahl der Modellierungssprache das Prozessverständnis von LLMs beeinflusst und ob dieser Effekt von der Aufgabenart (z. B. Strukturfragen, Trace-Validierung, Deadlock-Erkennung) abhängt.

Im Rahmen dieser Abschlussarbeit soll deshalb systematisch untersucht werden, wie sich verschiedene Prozessmodellierungssprachen als Eingabe für LLMs auf das Prozessmodellverständnis auswirken. Ziel ist es, durch kontrollierte Experimente mit inhaltlich äquivalenten Modellen in unterschiedlichen Sprachen zu ermitteln, welche Modellierungssprachen für welche Analyseaufgaben das beste LLM-Verständnis ermöglichen.

Die Arbeit soll dabei die folgenden Schritte abdecken:

Recherche: Zunächst wird eine initiale Recherche durchgeführt, um bestehende Ansätze in der Literatur im Bereich LLM-basierter Prozessmodellanalyse sowie zu Eigenschaften und Vergleichbarkeit gängiger Prozessmodellierungssprachen zu erfassen. Hierbei sollen auch verfügbare Datensätze sowie Verfahren zur semantikerhaltenden Überführung zwischen Modellierungssprachen recherchiert werden.

Analyse: Die ausgewählten Modellierungssprachen sollen anhand definierter Kriterien auf ihre Eignung als LLM-Eingabe untersucht und bewertet werden. Dabei ist insbesondere sicherzustellen, dass die verglichenen Modelle informationsäquivalent sind, sodass beobachtete Unterschiede der Sprache und nicht dem Inhalt zuzuschreiben sind.

Konzeption: Basierend auf der Analyse wird ein experimentelles Framework entwickelt, das die systematische Evaluation des Prozessmodellverständnisses über verschiedene Modellierungssprachen hinweg ermöglicht. Hierbei sollen geeignete Aufgabentypen und Metriken erarbeitet werden, die unterschiedliche Verständnisebenen (syntaktisch, semantisch, inferentiell) operationalisieren.

Implementierung & Evaluation: Abschließend soll eine Pipeline implementiert werden, welche die Durchführung der Experimente mit verschiedenen Konfigurationen ermöglicht. Die Ergebnisse sollen Aufschluss darüber geben, welche Modellierungssprachen sich für LLM-gestützte Prozessanalyse besonders eignen und welche Implikationen sich für die Wahl der Modellierungssprache in der Praxis ergeben.

Bitte bewerben Sie sich bei Interesse über den folgenden Link: https://portal.wiwi.kit.edu/forms/form/Bewerbung_Abschlussarbeit_AIFB-BIS

Kruse, Nadja

Kruse, Nadja

Alexander Dregger

Beschreibung

Ein Chatbot soll basierend auf dem Modell künstlicher Persönlichkeit (Dregger, 2023) mithilfe von einem Large Language Modell implementiert werden. Hierbei können Methoden wie z.B. die Personality Infusion (Kovacevic, 2024) zum Einsatz kommen. Nutzer sollen hierbei z.B. mithilfe von Schiebereglern die Persönlichkeit bei einem Chatbot, den sie anschließend nutzen, anpassen können. Auf Basis der Persönlichkeitseinstellung soll die Sprache des Systems variieren, um den Eindruck einer anpassbaren künstlichen Persönlichkeit zu erzeugen (Dregger, Seifermann & Oberweis, 2024). Anschließend müssen die Nutzer zwei unterschiedliche Aufgaben bewältigen und die Persönlichkeit mittels des Fragebogens zur Messung von künstlicher Persönlichkeit (Dregger et al., in press) bewerten. Hierbei soll die Auswirkungen der angepassten künstlichen Persönlichkeit auf die User Experience näher untersucht werden. In diesem Zusammenhang kann die Ähnlichkeitshypothese betrachtet werden, die annimmt, dass Menschen gerne mit sozialen Akteuren interagieren, die ihnen ähnlich z.B. in ihrer Persönlichkeit sind. Diese Hypothese wird jedoch auch kritisiert und es ist zu prüfen, ob die Erwartungen an eine Persönlichkeit auch durch die soziale Rolle unabhängig von der Ähnlichkeit beeinflusst wird.

Vorgehen

• Prüfung der Literatur zur Gestaltung und Anpassung von Persönlichkeit bei Conversational Agents
• Entwicklung eines Ansatzes zur Anpassung von künstlicher Persönlichkeit bei Conversational Agents
• Entwicklung eines Experiments zur Messung z.B. mittels eines LLM-basierten Chatbots
• Durchführung des Experiments mit Nutzern
• Auswertung des Experiments mithilfe von statistischen Methoden
   

Das bringst du mit

• Du studierst Informatik, Wirtschaftsinformatik, Wirtschaftsingenieurwesen, Wirtschaftswissenschaften oder einen vergleichbaren Studiengang
• Du hast Interesse am Thema UX und Gestaltung von Conversational Agents
• Du hast Freude am selbstständigen Arbeiten
• Du besitzt idealerweise Grundkenntnisse im Bereich Literaturrecherche
• Du besitzt idealerweise Grundkenntnisse bei der Konstruktion von Fragebögen
• Du besitzt idealerweise Grundkenntnisse im Bereich von LLM und Chatbotentwicklung
• Du verfügst über sehr gute Kenntnisse der deutschen und englischen Sprache in Wort und Schrift
• Du verfügst über Grundlagenkenntnisse der Statistik und einschlägiger Software z.B. R oder SPSS
• Du bist motiviert und engagiert
   

Was wir dir bieten:

• Eine motivierte und kompetente Betreuung ist uns wichtig. Dazu zählt für uns: sich ausreichend Zeit für Dich nehmen und Dich mit hilfreichem Feedback unterstützen.
• Du bekommst spannende Einblicke in interdisziplinäres Forschungsthema.
• Du kannst flexibel die Umsetzung gestalten (Arbeitszeit, Remote)
   

Bewerbungen bitte an dregger@fzi.de mit Lebenslauf und aktuellem Notenauszug.
 

Literatur

Dregger, A. More than Big Five? Towards Modelling and Defining Artificial Personality for Conversational Agents. Conversations, Oslo, 2023

Dregger, A. (2025). Artificial Personality: Model and Questionnaire Development (unveröffentlichtes Manuskript).

Dregger, A., Seifermann, M., & Oberweis, A. (2024). Language Cues for Expressing Artificial Personality: A Systematic Literature Review for Conversational Agents. Proceedings of the 6th ACM Conference on Conversational User Interfaces, 1–17. https://doi.org/10.1145/3640794.3665559 

Kovacevic, N., Boschung, T., Holz, C. Gross, M., & Wampfler, R. (2024). Chatbots with Attitude: Enhancing Chatbot Interactions through Dynamic Personality Infusion, Proceedings of the 6th ACM Conference on Conversational User Interfaces, 1-16. https://doi.org/10.1145/3640794.3665543

Kathrin Janowski, Hannes Ritschel, and Elisabeth André. 2022. Adaptive Artificial Personalities. In The Handbook on Socially Interactive Agents (1st ed.), Birgit Lugrin, Catherine Pelachaud and David Traum (eds.). ACM, New York, NY, USA, 155–194. https://doi.org/10.1145/3563659.3563666

Jiang, G., Xu, M., Zhu, S.-C., Han, W., Zhang, C., & Zhu, Y. (2023). Evaluating and Inducing Personality in Pre-trained Language Models. https://doi.org/10.48550/  arXiv.2206.07550

Sebastian Schneider and Franz Kummert. 2021. Comparing Robot and Human guided Personalization: Adaptive Exercise Robots are Perceived as more Competent and Trustworthy. Int J of Soc Robotics 13, 2 (April 2021), 169–185. https://doi.org/10.1007/s12369-020-00629-w

Völkel, S. T. & Kaya, L. (2021). Examining User Preference for Agreeableness in Chatbots. In CUI 2021 - 3rd Conference on Conversational User Interfaces (S. 1–6). ACM. https://doi.org/10.1145/3469595.3469633

Völkel, S. T., Schödel, R., Buschek, D., Stachl, C., Winterhalter, V., Bühner, M., & Hussmann, H. (2020). Developing a Personality Model for Speech-based Conversational Agents Using the Psycholexical Approach. Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, 1–14. https://doi.org/10.1145/3313831.3376210

Ullrich, Meike

Clemens Schreiber

Folgende drei Themen stehen für die externe Abschlussarbeit zur Auswahl:

THEMA 1: Entwicklung und Anwendung einer intuitiven Root Cause Analysis für nicht-technische Nutzer im Kontext von Process Mining

Root Cause Analysis (RCA) ist ein zentraler Bestandteil moderner Process-Mining-Technologien und ermöglicht es, auf prozessuale Fragestellungen wie "Warum tritt ein Problem auf?" konkrete Antworten und Ansatzpunkte zur Verbesserung oder Vermeidung zu liefern. Aktuelle Ansätze konzentrieren sich jedoch häufig auf technisch versierte Anwender und setzen ein hohes Maß an Fachwissen über Dashboarding, Datenanalyse sowie Algorithmen voraus oder sind so einfach gehalten, dass die Ergebnisse nur begrenzte Relevanz zur Problemlösung haben. Ziel dieser Forschungsarbeit ist es daher, die Essenz des Process Minings für nichttechnische Fachanwender intuitiv und werthaltig zugänglich zu machen. Im Rahmen dieser Masterarbeit soll untersucht werden, wie eine anwenderfreundliche Root Cause Analysis gestaltet werden kann.

THEMA 2: Entwicklung und Anwendung von Semantic Conformance Checking in Audit- und Compliance-Szenarien

Conformance Checking wird derzeit primär zur Überprüfung des Kontrollflusses eines Prozesses eingesetzt, indem Soll-Prozessvarianten mit Ist-Prozessvarianten verglichen werden. Diese rein syntaktische Betrachtung
beschränkt sich jedoch auf die Struktur der Prozessabläufe und lässt inhaltliche Aspekte wie Kosten, Zeiten oder Ressourcenzuweisungen unberücksichtigt. Das Konzept des Semantic Conformance Checking erweitert diese Methodik um eine ganzheitliche Soll-Ist-Analyse, die zusätzliche Dimensionen wie Sollund Ist-Kosten, Soll- und Ist-Zeiten sowie Ressourcenzuweisungen einbezieht. Im Rahmen dieser Masterarbeit soll untersucht werden, wie Semantic Conformance Checking technisch und methodisch umgesetzt werden kann.

THEMA 3: Optimized Data Models for Object Centric Process Mining

Object-Centric Process Mining gewinnt zunehmend an Bedeutung, da es eine differenzierte und umfassende Analyse komplexer Prozesse ermöglicht. Um OCPM als neuen Standard in kommerziellen Process Mining Werkzeugen zu implementieren, werden alle Software Vendoren die traditionellen Process Mining Datenmodelle bestehend aus Event-Log und Case-Tabelle auf Objekt-zentrierte Sichten anpassen müssen. Als führende Process-Mining-Plattform haben wir das Ziel, Branchenstandards aktiv zu fördern und die Nutzung von OCPM bei unseren Kunden zu etablieren. Bisher nutzen wir dafür ein sehr stark am traditionellen Log-Case-Datenmodell
angelehntes OCPM-Datenmodell. Im Rahmen dieser Masterarbeit soll untersucht werden, wie ein OCPMDatenmodell aufgebaut sein sollte um (1.) die technischen Möglichkeiten der Process-Mining-Lösung optimal hinsichtlich Performance und Filtermöglichkeiten zu nutzen, (2.) die Erstellung eines solchen Datenmodells für self-service Process Mining maximal einfach zu machen und (3.) die Nutzung und Wiederverwendung des Datenmodells für self-service Analytics und AI-Initiativen transparent und einfach zu gestalten.