Kontakt & Service

Projektleitung

Prof. Dr. Arnulph Fuhrmann

Prof. Dr. Arnulph Fuhrmann

  • Telefon+49 221-8275-2614

Mitarbeiter

Martin Misiak

  • Telefon+49 221-8275-4552

Kristoffer Waldow

  • Telefon+49 221-8275-4232

Verbundprojekt AVASAG – gemeinsam für digitale, barrierefreie Kommunikation

Gebärdensprach-Avatar (Bild: Kristoffer Waldow / TH Köln)

Weltweit gibt es etwa 70 Millionen gehörlose Menschen. Für viele von ihnen ist Textsprache eine Fremdsprache; sie bedienen sich stattdessen der Gebärdensprache. In dem vom Bundesministerium für Bildung und Forschung (BMBF) unterstützten Projekt „AVASAG“ erarbeiten Experten gemeinsam einen 3D-Gebärdensprach-Avatar.

Digitale Kommunikation unterliegt einem schnelllebigen Wandel. Nimmt sie aber jeden mit? Weltweit leben ca. 70 Millionen Gehörlose. Für die meisten ist Textsprache eine Fremdsprache. Der Gesetzgeber hat auf den spezifischen Informationsbedarf von Menschen mit Handicap reagiert und verpflichtet in Deutschland Behörden und öffentliche Stellen zu barrierefreier digitaler Kommunikation. Digitale Barrierefreiheit wird immer wichtiger, um Inhalte dynamisch und für alle Zielgruppen richtig aufbereitet zu kommunizieren. Automatisierte Instrumente helfen bei einer barrierefreien Kommunikation.

Im Projekt wird eine neuartige Gebärdenanimations-Methode für 3D-Avatare geschaffen. Sie kombiniert Methoden des maschinellen Lernens mit regel-basierten Synthesemethoden, die Text in Gebärden abbilden. Dabei werden zeitliche und räumliche Abhängigkeiten der Gebärdenelemente sehr genau aufgelöst.

Das Ziel des Verbundprojekts AVASAG (Avatar-basierter Sprachassistent zur automatisierten Gebärdenübersetzung) wird ein echtzeitgesteuerter 3D-Gebärdensprach-Avatar zur automatischen Übersetzung deutscher Texte in Gebärdensprache sein. Hierdurch soll eine qualitativ realistische Darstellung eines 3D-Gebärdensprach-Avatars eine digitale und barrierefreie Kommunikation ermöglichen, um so einen Mehrwert für Gehörlose zu bieten, die besser an der Digitalen Gesellschaft teilhaben können. Unternehmen bietet AVASAG die Möglichkeit, Inhalte automatisiert und dynamisch generieren zu können und so die Interaktion und Kommunikation auf digitalen Kanälen zu optimieren. Als Demonstrator wird ein Gebärdensprach-Avatar zur automatisierten Übersetzung im Bereich Reiseinformation und -service mit Fokus auf Verkehr und Tourismus realisiert.

Unter Leitung von Charamel arbeiten folgende Forscher und Entwickler aus Deutschland die nächsten drei Jahre zusammen: yomma GmbH – Experten für Gebärdensprache in Hamburg; Ergosign GmbH, Pionier für User Experience Design in Saarbrücken; DFKI GmbH – Kognitive Assistenzsysteme und Language Technology (DFKI), in Saarbrücken, Technische Hochschule Köln / Institut für Medien- und Phototechnik, Köln sowie die Universität Augsburg / Human Centered Multimedia (HCM) in Augsburg.

Die Technische Hochschule Köln bearbeitet das Teilvorhaben "Automatisierte Erfassung von Gebärden mittels simultaner Aufnahme von Körper-, Finger-, und Gesichtsbewegungen" und wird dabei folgende Aspekte und technische Herausforderungen im Rahmen des Projektes näher untersuchen:

  • Neuartige Aufnahmetechniken mittels Sensorfusion
  • Umsetzung geeigneter Verfahren zur Abbildung von detaillierten Gesichtsausdrücken
  • Umsetzung und Evaluierung von Verfahren zur synchronen Aufnahme von Körper- und Fingerbewegungen
  • Erstellen eines umfangreichen Motion-Capture Datensatzes zur Animation eines 3D-Gebärdensprach-Avatars

Auf einen Blick

Kategorie Beschreibung
Forschungsprojekt AVASAG 
Leitung Prof. Dr.-Ing. Arnulph Fuhrmann 
Fakultät Fakultät für Informations-, Medien- und Elektrotechnik  
Institut Institut für Medien- und Phototechnik (IMP)  
Beteiligte Kristoffer Waldow, Martin Misiak 
Projektpartner Charamel GmbH, yomma GmbH, Ergosign GmbH, DFKI GmbH, Universität Augsburg 
Fördermittelgeber Bundesministerium für Bildung und Forschung (BMBF) 
Laufzeit 36 Monate (01.05.2020 – 30.04.2023) 
Website
BMBF und VDI Logos Fördermittelgeber und Projektträger (Bild: BMBF, VDI)
Gebärdensprach-Avatar Gebärdensprach-Avatar (Bild: Charamel GmbH)
M
M