Einfluss der Prozessmodellierungssprache auf das Prozessverständnis von LLMs

  • Large Language Models (LLMs) are increasingly being used in Business Process Management (BPM) to create, analyze, and interpret process models. Current research shows that the form of representation of a process model—such as a textual description, a rendered diagram, or structured serialization—has a significant impact on the quality of interpretation by LLMs. However, these studies keep the underlying modeling language constant and vary only the representation of the same model.

    In practice, however, there is a wide variety of process modeling languages—ranging from Petri nets to UML activity diagrams to BPMN. Each language has its own syntactic constructs, formal semantics, and expressive power: Petri nets offer a mathematically precise execution semantics, while BPMN provides a comprehensive, practice-oriented catalog of elements. It remains unclear whether and how the choice of modeling language influences LLMs’ understanding of processes and whether this effect depends on the type of task (e.g., structural questions, trace validation, deadlock detection).

    This thesis will therefore systematically investigate how different process modeling languages, when used as input for LLMs, affect the understanding of process models. The target is to determine, through controlled experiments with substantively equivalent models in different languages, which modeling languages enable the best LLM understanding for which analysis tasks.

    The thesis will cover the following steps:

    Literature Review: First, an initial literature review will be conducted to identify existing approaches in the LLM-based division of process model analysis, as well as the characteristics and comparability of common process modeling languages. This will also involve researching available datasets as well as methods for semantically preserving conversions between modeling languages.

    Analysis: The selected modeling languages will be examined and evaluated based on defined criteria to assess their suitability as LLM input. In particular, it must be ensured that the compared models are information-equivalent, so that any observed differences can be attributed to the language rather than the content.

    Design: Based on the analysis, an experimental framework will be developed that enables the systematic evaluation of process model understanding across different modeling languages. In this process, suitable task types and metrics will be developed to operationalize different levels of understanding (syntactic, semantic, inferential).

    Implementation & Evaluation: Finally, a pipeline will be implemented to enable the execution of experiments with various configurations. The results will provide insights into which modeling languages are particularly suitable for LLM-based process analysis and what implications this has for the choice of modeling language in practice.

    If you are interested, please apply via the following link: https://portal.wiwi.kit.edu/forms/form/Bewerbung_Abschlussarbeit_AIFB-BIS

Beschreibung

Large Language Models (LLMs) werden zunehmend im Business Process Management (BPM) eingesetzt, um Prozessmodelle zu erstellen, zu analysieren und zu interpretieren. Aktuelle Forschung zeigt, dass die Repräsentationsform eines Prozessmodells – etwa als textuelle Beschreibung, gerendertes Diagramm oder strukturierte Serialisierung – einen erheblichen Einfluss auf die Interpretationsqualität von LLMs hat. Diese Untersuchungen halten jedoch die zugrunde liegende Modellierungssprache konstant und variieren lediglich die Darstellungsform desselben Modells.

In der Praxis existiert allerdings eine Vielzahl von Prozessmodellierungssprachen – von Petri-Netzen über UML-Aktivitätsdiagramme bis hin zu BPMN. Jede Sprache besitzt eigene syntaktische Konstrukte, formale Semantiken und Ausdrucksmächtigkeiten: Petri-Netze bieten eine mathematisch präzise Ausführungssemantik, während BPMN einen umfangreichen, praxisorientierten Elementkatalog bereitstellt. Es ist bislang unklar, ob und wie die Wahl der Modellierungssprache das Prozessverständnis von LLMs beeinflusst und ob dieser Effekt von der Aufgabenart (z. B. Strukturfragen, Trace-Validierung, Deadlock-Erkennung) abhängt.

Im Rahmen dieser Abschlussarbeit soll deshalb systematisch untersucht werden, wie sich verschiedene Prozessmodellierungssprachen als Eingabe für LLMs auf das Prozessmodellverständnis auswirken. Ziel ist es, durch kontrollierte Experimente mit inhaltlich äquivalenten Modellen in unterschiedlichen Sprachen zu ermitteln, welche Modellierungssprachen für welche Analyseaufgaben das beste LLM-Verständnis ermöglichen.

Die Arbeit soll dabei die folgenden Schritte abdecken:

  • Recherche: Zunächst wird eine initiale Recherche durchgeführt, um bestehende Ansätze in der Literatur im Bereich LLM-basierter Prozessmodellanalyse sowie zu Eigenschaften und Vergleichbarkeit gängiger Prozessmodellierungssprachen zu erfassen. Hierbei sollen auch verfügbare Datensätze sowie Verfahren zur semantikerhaltenden Überführung zwischen Modellierungssprachen recherchiert werden.
  • Analyse: Die ausgewählten Modellierungssprachen sollen anhand definierter Kriterien auf ihre Eignung als LLM-Eingabe untersucht und bewertet werden. Dabei ist insbesondere sicherzustellen, dass die verglichenen Modelle informationsäquivalent sind, sodass beobachtete Unterschiede der Sprache und nicht dem Inhalt zuzuschreiben sind.
  • Konzeption: Basierend auf der Analyse wird ein experimentelles Framework entwickelt, das die systematische Evaluation des Prozessmodellverständnisses über verschiedene Modellierungssprachen hinweg ermöglicht. Hierbei sollen geeignete Aufgabentypen und Metriken erarbeitet werden, die unterschiedliche Verständnisebenen (syntaktisch, semantisch, inferentiell) operationalisieren.
  • Implementierung & Evaluation: Abschließend soll eine Pipeline implementiert werden, welche die Durchführung der Experimente mit verschiedenen Konfigurationen ermöglicht. Die Ergebnisse sollen Aufschluss darüber geben, welche Modellierungssprachen sich für LLM-gestützte Prozessanalyse besonders eignen und welche Implikationen sich für die Wahl der Modellierungssprache in der Praxis ergeben.


Bitte bewerben Sie sich bei Interesse über den folgenden Link: https://portal.wiwi.kit.edu/forms/form/Bewerbung_Abschlussarbeit_AIFB-BIS