"Datenninja"-Promotion für Raphael Engelhardt

Promotionsstudent Raphael Engelhardt, Mitglied im Graduiertenkolleg „Dataninja – Trustworthy AI for Seamless Problem Solving in Kooperation mit der Ruhr-Uni Bochum (RUB). (Bild: TH Köln)

In seiner Promotion gelang es Raphael Engelhardt, mit komplexen Deep-Learning-Agenten als Vorlage, wesentlich einfachere Entscheidungsbäume zu erzeugen. Man braucht also nicht unbedingt große, komplizierte Modelle neuronaler Netze des Deep Reinforcement Learnings, um gute Entscheidungen zu treffen. Es lassen sich einfachere Modelle nutzen, die weniger Parameter benötigen und Ressourcen brauchen und trotzdem sehr leistungsfähig sind. Das ist besonders nützlich, wenn solche Programme zum Beispiel auf kleinen Chips laufen sollen, statt auf leistungsstarken Rechnern.

Als Promotionsstudent der TH Köln in Kooperation mit der Ruhr-Uni Bochum (RUB) war Engelhardt Mitglied im Graduiertenkolleg „Dataninja – Trustworthy AI for Seamless Problem Solving. Im Projekt „Next Generation Intelligence Joins Robust Data Analysis”, erforschte er im Bereich XAI (eXplainable AI) und hier im Speziellen im Bereich Explainable Reinforcement Learning (RL).

Konkret wurde untersucht, wie intelligente Computerprogramme nicht nur sehr gut lernen und Entscheidungen treffen können, sondern sich auch besser verstehen und erklären lassen. Das Projekt (RL)^3 steht für drei verschiedene Aspekte: Representation Learning (wie ein Programm wichtige Informationen erkennt), Reinforcement Learning (wie ein Programm durch Versuch und Fehler lernt) und Rule Learning (wie ein Programm klare Regeln aufstellt).

(v.l.) Prof. Dr. Laurenz Wiskott (RUB), Dr. Raphael Engelhardt, Prof. Dr. Wolfgang Konen, Dr. Moritz Lange (RUB) (Bild: TH Köln)

Das Besondere an dieser Arbeit ist, dass Engelhardt es geschafft hat, sehr komplexe und oft schwer durchsichtige Modelle (sogenannte Deep-Learning-Agenten) in einfachere Entscheidungsbäume umzuwandeln. Diese Entscheidungsbäume sind wie klare und leichte Entscheidungsregeln, die man sich gut vorstellen und nachvollziehen kann. Überraschenderweise waren diese einfachen Entscheidungsbäume oft genauso gut oder sogar besser darin, Probleme zu lösen als die komplizierten Programme.

Diese Entscheidungsbäume lassen sich gut nutzen, um zu erklären, warum das Programm eine bestimmte Entscheidung getroffen hat. Das ist wichtig, wenn man verstehen will, wie künstliche Intelligenz funktioniert, besonders in kritischen Anwendungen.

Raphael Engelhardt testete diese Methoden an verschiedenen Aufgaben, die meist in Computersimulationen abliefen. Für die Experimente nutzte er die Probleme der sogenannten "Gymnasium"-Testsuite. Dort sind Simulationen einfacher Kontrollprobleme implementiert. Beispielsweise muss einen Stab auf einem kleinen Fahrzeug balancieren, ein Pendel stabil gehalten werden oder eine virtuelle Mondfähre sicher landen.

Ein weiterer Schritt war, diese erlernten Entscheidungsbäume nicht nur in der Simulation, sondern auch in der echten Welt zu erproben. Dank der Unterstützung des Labors für Angewandte KI von Prof. Dr. Patrick Tichelmann am Campus Gummersbach konnte Engelhardt demonstrieren, dass die Programme auch an realen Geräten funktionieren.

Betreut wurde die Promotion durch Prof. Dr. Laurenz Wiskott (RUB) und Prof. Dr. Wolfgang Konen (TH Köln). Das (RL)^3-Projekt ist ein Forschungsquartett – zwei Professoren, zwei Doktoranden – bestehend aus Prof. Dr. Laurenz Wiskott, Institut für Neuroinformatik, Fakultät Informatik (RUB), Prof. Dr. Wolfgang Konen, Institut für Informatik, F10 (THK) als Betreuer und den früheren Doktoranden, jetzt Doktoren, Moritz Lange (RUB).

Insgesamt 7 solcher Forschungsquartetts waren im Graduiertenkolleg „Dataninja“ versammelt. Die meisten als Kombination von Uni- und HAW-Partnern. „Das ist ein Beispiel für eine sehr gelungene Forschungszusammenarbeit zwischen Universitäten und HAWs im Bereich KI,“ so Prof. Dr. Wolfgang Konen.