Skilled - Sozioempathische KI-basierte Dialoge

Skilled Projekt (Bild: Skilled)

Kommerzielle Sprachsysteme haben in unserem Alltag an Relevanz gewonnen. In Form virtueller Assistenten in Smartphones und Smart Home-Systemen, als Chat- oder Voicebots, digitaler Avatare oder soziale Roboter, verstehen sie Befehle und einfache Anfragen, führen jedoch keine qualitativen Dialoge mit den Nutzer:innen. Stattdessen werden primär Frage-Antwort-Sequenzen etabliert, die Eingaben erkennen und abwickeln: Ein Dialog zwischen Nutzer:innen und System kommt dabei nicht zustande, da diese kurzen Sequenzen nicht geeignet sind, Kommunikation auf Augenhöhe entstehen zu lassen.

Im Rahmen des durch das Bundesministerium für Bildung und Forschung (BMBF) geförderten kooperativ Projekts Skilled erforscht das Cologne Cobots Lab, mit der Unterstützung seiner Kooperationspartner, sozioempathische Mensch-Maschine-Interaktion. Wissenschaftlicher Kern und übergeordnetes Ziel des Vorhabens ist es, eine Conversational Artificial Intelligence (CAI) zu entwickeln, die Kommunikation auf Augenhöhe mit Nutzer:innen ermöglicht.

Das entwickelte System soll die Fähigkeit haben, empathisch auf Nutzer:innen einzugehen und als gleichberechtigter Dialogpartner dazu beitragen, gemeinsam und dialogisch Problemlösungen zu entwickeln. Um dieses Ziel zu erreichen, werden in Skilled existierende Multiturn-Dialogsteuerungen weiterentwickelt und integrativ psychologische und soziale Einflussfaktoren in der Nutzung soziotechnischer Dialogsysteme erforscht. Für Nutzer:innen soll hierdurch ein qualitatives Nutzererlebnis geschaffen werden, das geeignet ist, multipluralen Ansprüchen gerecht zu werden. Aus diesem Grund liegt der Fokus auf dem Erkenntnisgewinn über den Einfluss verschiedener Modalitäten in Interaktionen, die Kommunikation auf Augenhöhe und damit die Nutzerzufriedenheit beeinflussen können. Dadurch trägt das Vorhaben dazu bei, sozioempathische Mensch-Maschine-Interaktion durch Emotionserkennung, Fehlerkultur und empathische Reaktionen zu etablieren.

Relevante Fragestellungen, sind daher wie psychologische Nähe zwischen Menschen und sozio-technischem System entstehen kann und durch welche Faktoren eine langfristige Bindung zu einem solchen System etabliert werden kann. Das übergeordnete Ziel des Vorhabens, eine sozio-empathische, multilinguale natürlichsprachliche KI-Plattform zu entwickeln, wird durch ein interdisziplinäres Team mit Expertise auf den Gebieten des Maschinenbaus, der Informatik, der Techniksoziologie und der Psychologie unterstützt.

Die im Rahmen der integrativen und agilen Forschung und Entwicklung gewonnenen Erkenntnisse werden in den Innovationslaboren des Cologne Cobots Labs, Reallaboren und in Langzeit-Feldsettings an Verkehrsknotenpunkten und in Museen evaluiert und stetig verbessert, um Interaktionen, Wahrnehmung und Akzeptanz seitens der Nutzer:innen zu stärken.

Neben dem Kooperationspartner DB Systel GmbH, deren Software u.a. für die Anbindung der Front Ends genutzt wird, konnte auch die Hamburger Hochbahn AG, die Fraport AG, das Deutsche Meeresmuseum Stralsund und das Deutsche Museum Bonn für das Projekt begeistert und als assoziierter Partner für Feldversuche gewonnen werden. Zusätzlich unterstütz ein Wissenschafts- und Praxisbeirat sowie externe Beratungen auf den Gebieten Datenschutz, Ethik sowie Sprache und Kultur das Vorhaben.

Oliver Chojnowski, Alexander Eberhard, Michael Schiffmann, Ana Müller, and Anja Richert. 2025. Human-like Nonverbal Behavior with MetaHumans in Real-World Interaction Studies: An Architecture Using Generative Methods and Motion Capture. In Proceedings of the 2025 ACM/IEEE International Conference on Human-Robot Interaction (HRI '25). IEEE Press, 1279–1283.

Michael Schiffmann, Oliver Chojnowski, and Anja Richert. 2025. Predicting User Satisfaction in a Public Space HRI-Scenario. In Proceedings of the 2025 ACM/IEEE International Conference on Human-Robot Interaction (HRI '25). IEEE Press, 1598–1602.

Bensch C, Müller A, Chojnowski O, Richert A. Beyond Binary Dialogues: Research and Development of a Linguistically Nuanced Conversation Design for Social Robots in Group–Robot Interactions. Applied Sciences. 2024; 14(22):10316. https://doi.org/10.3390/app142210316

A. Müller and A. Richert, "Connecting the Dots: Advancing the Understanding of Group-Robot Interactions in Public Spaces Through Ego Network Analysis *," 2024 33rd IEEE International Conference on Robot and Human Interactive Communication (ROMAN), Pasadena, CA, USA, 2024, pp. 2169-2174, doi: 10.1109/RO-MAN60168.2024.10731467.

M. Schiffmann and A. Richert, "Evaluation of Social Robots with Social Signals in Public Spaces," 2024 33rd IEEE International Conference on Robot and Human Interactive Communication (ROMAN), Pasadena, CA, USA, 2024, pp. 56-61, doi: 10.1109/RO-MAN60168.2024.10731307.

Müller, A., & Richert, A. (2024). Egocentric robots in a human-centric world? Exploring group-robot-interaction in public spaces. arXiv preprint arXiv:2407.18009. Accepted at the workshop on advancing group understanding and robots‘ adaptive behavior (GROUND), held at the Robotics Science and Systems (RSS) Conference, 2024. Winner Best Poster Award

A. Müller and A. Richert, "No One is an Island - Investigating the Need for Social Robots (and Researchers) to Handle Multi-Party Interactions in Public Spaces," 2023 32nd IEEE International Conference on Robot and Human Interactive Communication (RO-MAN), Busan, Korea, Republic of, 2023, pp. 1772-1777, doi: 10.1109/RO-MAN57019.2023.10309383.

Müller, A., Schiffmann, M., Neumeister, A., & Richert, A. (2023) Exploring beyond the exhibits – creating knowledge for social robots in museums. In S. Thiel & J. Bernhardt (Eds.), AI in Museums. transcript Verlag.

A. Müller, L. Penkert, S. Schneider and A. Richert, "Investigating gender-stereotyped interactions with virtual agents in public spaces," 2022 31st IEEE International Conference on Robot and Human Interactive Communication (RO-MAN), Napoli, Italy, 2022, pp. 1592-1597, doi: 10.1109/RO-MAN53752.2022.9900529.

Die DB Systel GmbH ist eine Tochter der Deutsche Bahn AG und Digitalpartner des Konzerns. Sie entwickelt Lösungen zu innovativen Themen und begleitet den Prozess der digitalen Transformation des Mutterkonzerns. Das Venture der Conversational-AI-Plattform SEMMI dient als eine der Technologien der in Skilled entwickelten CAI. Dabei profitiert Skilled von den Vorarbeiten und Erfahrungen des Partners, besonders im Bereich der Konzeption und Programmierung des Back Ends.

Die Hamburger Hochbahn AG, die selbst die Conversational-AI-Plattform SEMMI der DB Systel GmbH einsetzte, ermöglichte dem SKILLED Team erste Versuche im Feld. Während Beobachtungen und durch Interviews konnten Eindrücke und Erfahrungen von Nutzer:innen evaluiert werden, die wichtige Erkenntnisse über Anforderungen der Nutzer:innen an das SKILLED System lieferten. Zudem konnten Einblicke über die Beziehung zwischen Pendler:innen und digitalen Avataren gewonnen werden und zusätzlich in Bezug auf die Beziehung zu unterschiedlich gestalteten Front Ends ergründet werden.

Die Fraport AG fungiert als assoziierter Partner des Vorhabens SKILLED. Durch die Zusammenarbeit kann das entwickelte System am Frankfurter Flughafen evaluiert werden und die Interaktion hinsichtlich kultureller Unterschiede optimiert werden. Zudem sollen standortbezogene Vorteile des intermodalen Reisens genutzt werden, um die Bindung Nutzer:innen zu unterschiedlichen phänotypischen Erscheinungsformen der Front Ends tiefgreifend untersuchen zu können.

Im Rahmen der Kooperation mit dem am OZEANEUM Stralsund ansässigen Teilprojekt (Digital) MEER erleben des Verbundprojekts museum4Punkt0 wird das in SKILLED entwickelte Multi-Turn-Dialogsystem im Museum eingesetzt und erprobt. Durch die Versuche können Multi-User-Anforderungen an das System in einem freizeitorientierten Kontext untersucht werden. Ein besonderer Fokus liegt auf der Verbesserung des SKILLED Prototypens in Einzel- und Gruppeninteraktionen und dem Erkenntnisgewinn über Bedürfnisse und Erwartungen der Nutzer:innen abseits des Travel und Information Kontextes.