Rybinski, Fabian

Large Language Models (LLMs) werden zunehmend im Business Process Management (BPM) eingesetzt, um Prozessmodelle zu erstellen, zu analysieren und zu interpretieren. Aktuelle Forschung zeigt, dass die Repräsentationsform eines Prozessmodells – etwa als textuelle Beschreibung, gerendertes Diagramm oder strukturierte Serialisierung – einen erheblichen Einfluss auf die Interpretationsqualität von LLMs hat. Diese Untersuchungen halten jedoch die zugrunde liegende Modellierungssprache konstant und variieren lediglich die Darstellungsform desselben Modells.

In der Praxis existiert allerdings eine Vielzahl von Prozessmodellierungssprachen – von Petri-Netzen über UML-Aktivitätsdiagramme bis hin zu BPMN. Jede Sprache besitzt eigene syntaktische Konstrukte, formale Semantiken und Ausdrucksmächtigkeiten: Petri-Netze bieten eine mathematisch präzise Ausführungssemantik, während BPMN einen umfangreichen, praxisorientierten Elementkatalog bereitstellt. Es ist bislang unklar, ob und wie die Wahl der Modellierungssprache das Prozessverständnis von LLMs beeinflusst und ob dieser Effekt von der Aufgabenart (z. B. Strukturfragen, Trace-Validierung, Deadlock-Erkennung) abhängt.

Im Rahmen dieser Abschlussarbeit soll deshalb systematisch untersucht werden, wie sich verschiedene Prozessmodellierungssprachen als Eingabe für LLMs auf das Prozessmodellverständnis auswirken. Ziel ist es, durch kontrollierte Experimente mit inhaltlich äquivalenten Modellen in unterschiedlichen Sprachen zu ermitteln, welche Modellierungssprachen für welche Analyseaufgaben das beste LLM-Verständnis ermöglichen.

Die Arbeit soll dabei die folgenden Schritte abdecken:

Recherche: Zunächst wird eine initiale Recherche durchgeführt, um bestehende Ansätze in der Literatur im Bereich LLM-basierter Prozessmodellanalyse sowie zu Eigenschaften und Vergleichbarkeit gängiger Prozessmodellierungssprachen zu erfassen. Hierbei sollen auch verfügbare Datensätze sowie Verfahren zur semantikerhaltenden Überführung zwischen Modellierungssprachen recherchiert werden.

Analyse: Die ausgewählten Modellierungssprachen sollen anhand definierter Kriterien auf ihre Eignung als LLM-Eingabe untersucht und bewertet werden. Dabei ist insbesondere sicherzustellen, dass die verglichenen Modelle informationsäquivalent sind, sodass beobachtete Unterschiede der Sprache und nicht dem Inhalt zuzuschreiben sind.

Konzeption: Basierend auf der Analyse wird ein experimentelles Framework entwickelt, das die systematische Evaluation des Prozessmodellverständnisses über verschiedene Modellierungssprachen hinweg ermöglicht. Hierbei sollen geeignete Aufgabentypen und Metriken erarbeitet werden, die unterschiedliche Verständnisebenen (syntaktisch, semantisch, inferentiell) operationalisieren.

Implementierung & Evaluation: Abschließend soll eine Pipeline implementiert werden, welche die Durchführung der Experimente mit verschiedenen Konfigurationen ermöglicht. Die Ergebnisse sollen Aufschluss darüber geben, welche Modellierungssprachen sich für LLM-gestützte Prozessanalyse besonders eignen und welche Implikationen sich für die Wahl der Modellierungssprache in der Praxis ergeben.

Bitte bewerben Sie sich bei Interesse über den folgenden Link: https://portal.wiwi.kit.edu/forms/form/Bewerbung_Abschlussarbeit_AIFB-BIS