Best In-Practice Paper Award zu KI-generierten Softwaretests

Vekil Bekmyradov, Absolvent des Masterstudiengangs Automation & IT der TH Köln, hat gemeinsam mit seinen Co-Autoren vom Campus Gummersbach den „Best In-Practice Paper Award“ der internationalen Konferenz ESEM 2026 erhalten. Die ESEM ist ein internationales Symposium für empirische Softwareentwicklung und Messung.

Die Veröffentlichung basiert auf Bekmyradovs Masterarbeit, die in Zusammenarbeit mit dem Unternehmen SAP entstand: Er untersuchte, wie zuverlässig große KI-Sprachmodelle automatisch Softwaretests für das industrielle Datenbanksystem SAP HANA erstellen können. SAP HANA ist ein proprietäres Datenbanksystem mit rund 40 Millionen Codezeilen. Bei proprietären Datenbanksystemen ist der Quellcode nicht öffentlich einsehbar. Der 25-jährige Bekmyradov führte eine groß angelegte empirische Bewertung modernster großer Sprachmodelle anhand einer industriellen Softwareentwicklungsaufgabe durch.

Softwaretests sind derzeit ein heißes Thema in der KI-Community. Große Sprachmodelle werden zunehmend zur Generierung von Unit-Tests eingesetzt, und die bislang veröffentlichten Ergebnisse zu Open-Source-Projekten sehen vielversprechend aus. Vekil Bekmyradov und seine Mitautoren stellten die Frage, ob dies auch für eine große, Closed-Source-C++-Codebasis gilt, die den Modellen bisher unbekannt war.

Das Ergebnis: Die generierten Tests blieben deutlich hinter der Qualität zurück, die die Modelle bei der öffentlich zugänglichen Vergleichssoftware LevelDB erreicht hatten. Auch wiederholte Korrekturen von Übersetzungsfehlern führten häufig zu technisch ausführbaren, aber wenig aussagekräftigen Tests. Die Studie zeigt damit, dass sich Erfolge aus öffentlich verfügbaren Testumgebungen nicht ohne Weiteres auf industrielle Software übertragen lassen.

„Fundierte, reproduzierbare Ergebnisse in einer Codebasis dieser Größenordnung zu erzielen erfordert methodische Disziplin, Systemkompetenz und ein Gespür dafür, was tatsächlich gemessen werden kann“, sagt Prof. Dr. Bartz-Beielstein, der die Masterarbeit betreut hat. „Vekil bewies alle drei Eigenschaften mit einem Maß an Selbstständigkeit, das ich auf Masterstufe selten sehe. Er gehört zu den besten Studierenden, mit denen ich in den letzten Jahren zusammengearbeitet habe.“

Bekmyradov promoviert inzwischen an der TU Delft in den Niederlanden.
Als Co-Autoren mit ausgezeichnet für den Award wurden Thomas Bach, Alexander Berndt, Noah C. Pütz, Bartosz Bogacz und Thomas Batz-Beielstein.