Weitere Informationen

Hintergrund

KI-Assistenten wie GitHub Copilot erzeugen einen wachsenden Anteil des Produktivcodes. Damit verschiebt sich der Engpass der Qualitätssicherung vom Schreiben zum Testen: Entwickler:innen übernehmen generierten Code, ohne dessen Randfälle und implizite Annahmen vollständig zu durchdringen. Klassische Testmethoden – von Unit- und Property-Based-Testing über Mutationstests bis zu End-to-End-Tests – wurden jedoch für menschlich geschriebenen Code entwickelt. Welche dieser Verfahren die typischen Fehlermuster KI-generierten Codes tatsächlich aufdecken, ist bislang unklar. Zugleich eröffnen agentische Werkzeuge die Möglichkeit, die Testauswahl selbst zu automatisieren: Ein Testagent könnte neu entstandenen Code analysieren, den notwendigen Testbedarf ableiten und daraus passende Testfälle erzeugen.

Aufgabenstellung

Ziel der Arbeit ist es, existierende Testmethoden systematisch hinsichtlich ihrer Eignung für KI-generierten Code aufzuarbeiten und die Erkenntnisse in einem prototypischen Testagenten zu operationalisieren. Der Agent soll aus neu geschriebenem bzw. generiertem Code den Testbedarf ableiten, prüfbare Testanforderungen formalisieren und daraus Testfälle erzeugen. Mögliche Schwerpunkte umfassen:

• Systematisierung: Aufarbeitung aktueller Testmethoden und Entwicklung eines Kriterienkatalogs zu ihrer Eignung für KI-generierten Code
• Fehlermusteranalyse: Identifikation typischer Fehlerarten KI-generierten Codes und deren Zuordnung zu geeigneten Testverfahren
• Agentenkonzeption: Entwurf und prototypische Umsetzung eines Copilot-basierten Testagenten (Codeextraktion, Ableitung des Testbedarfs, Generierung von Testfällen)
• Integration: Erweiterung um eine End-to-End-Testausführung inklusive automatisierter Auswertung der Testergebnisse