GhostVision – Real-time Holographic Communication System

Ziel war es, eine Kommunikationsform zu schaffen, die weit über klassische, zweidimensionale Videokonferenzen hinausgeht. GhostVision projiziert das virtuelle Abbild (einen Avatar) einer Person so in eine gläserne Pyramide, dass man sie von allen Seiten betrachten kann. Dadurch entsteht für die Betrachter der Eindruck, die Person stünde physisch im selben Raum.

Eine eigens konstruierte Pyramide aus teilreflektierendem Acrylglas, die auf zwei flach liegenden Mini-LED-Displays platziert ist, bildet die visuelle Grundlage. Durch den physikalischen Pepper’s-Ghost-Effekt wird das Bild der Displays so gespiegelt, dass eine räumliche, dreidimensionale Illusion entsteht. Der Effekt wird heutzutage als „Hologramm“ bezeichnet und wurde im 19. Jahrhundert berühmt, um auf Theaterbühnen „Geister“ scheinbar aus dem Nichts auftauchen zu lassen.

Um die Bewegungen der sprechenden Person in Echtzeit auf das virtuelle Abbild zu übertragen, nutzt GhostVision zwei unterschiedliche Ansätze zur Bewegungserfassung (Motion Capture). Für höchste Detailgenauigkeit sorgt ein professionelles, markerbasiertes Tracking aus dem OptiTrack-Studio der TH Köln via NatNet-Streaming. Als alltagstaugliche und kostengünstige Alternative entwickelte das Team zudem ein markerloses System: Zwei einfache Webcams erfassen die Person gleichzeitig aus unterschiedlichen Winkeln. Mithilfe von Googles MediaPipe-Framework und mathematischer Triangulation berechnet das System die Gelenkpositionen im Raum direkt aus den Videobildern.

Die erfassten Positionsdaten werden sofort an die Unity-Spielengine übertragen und dort auf ein realistisches 3D-Modell der Person angewendet. Damit die Bewegungen flüssig wirken, nutzt das System prozedurale Animationen und eine intelligente Interpolation der Daten, so bewegt sich der Avatar selbst bei einfachen Webcams ruckelfrei mit über 60 Bildern pro Sekunde. Parallel dazu sorgt eine eigenständig entwickelte Audio-Streaming-Architektur in Python für eine lippensynchrone, beidseitige Tonübertragung.

GhostVision zeigt anschauliche Möglichkeiten auf, wie sich moderne Bildverarbeitung, klassische optische Eigenschaften und Echtzeit-3D-Rendering kreativ einsetzen lassen, um digitalen Begegnungen in Zukunft eine räumliche Dimension zu verleihen.