VolumanXR - Volumetric Capture System
Ist die Entwicklung eines Multicamera-Rigs für unter 10.000 € möglich? Definitiv – und das sogar innerhalb eines Semesters.
Im Rahmen des Masterprojekts im Studiengang Medientechnologie an der TH Köln wurde unter dem Titel VolumanXR eine vollständige Pipeline für volumetrische Videoaufnahmen entwickelt. Das Projekt umfasste vier Subteams mit folgenden Aufgaben:
- Entwicklung eines synchronisierten Mehrkamera-Aufnahmesystems
- Erstellung einer Machine-Learning-Pipeline für Spacetime-Gaussians
- Umsetzung eines XR-Viewers für Head-Mounted Displays
- Erforschung von fotorealistischen 3D-Gaussian-Avataren
Projektsteckbrief
| Kategorie | Beschreibung |
|---|---|
| Studentisches Projekt: | Masterprojekt |
| Fakultät | Fakultät für Informations-, Medien- und Elektrotechnik |
| Institut | Institut für Medien- und Phototechnik (IMP) |
| Studiengang | Master Medientechnologie |
| Beteiligte: | Kai Altwicker, Dennis Amuser, Matthias Bullert, David Mertens, David Martin Karg, Alisa Rüge, Steffen-Sascha Stein, Marvin Winkler |
| Zeitraum | Wintersemester 2024/25 |
| Betreut durch: | Prof. Dr. Arnulph Fuhrmann, Kristoffer Waldow |
Das Mehrkamera-Aufnahmesystem bildet das technische Fundament des gesamten Projekts. Ziel war es, eine kosteneffiziente, modulare und qualitativ hochwertige Lösung für die 360°-Erfassung von Personen in Bewegung zu schaffen und das mit einem begrenzten Budget von ca. 7.500 €.
Interpolationsvolumen der Kameras
(Bild: TH Köln - Kai Altwicker)
Herzstück des Systems ist ein oktogonales Kamerarig, das mit insgesamt 68 synchronisierten Raspberry Pi 4B und dem Camera Module V3 bestückt wurde. Dieses Setup ermöglicht eine vollständige 360°-Erfassung von Personen in einer Aufnahmeumgebung. Bei der Auswahl der Hardware stand das optimale Verhältnis von Kosten, Leistung und Bildqualität im Vordergrund. Nach umfangreichen Benchmarks entschied sich das Projektteam für das Camera Module V3, das mit einer 12-Megapixel-Auflösung, HDR-Funktion und Autofokus ausgestattet ist und in Kombination mit dem Raspberry Pi 4 stabile 1080p-Videoaufnahmen mit bis zu 30 Bildern pro Sekunde ermöglicht.
Synchronisiertes okotgonales Kamerarig
(Bild: TH Köln - Kai Altwicker)
Um die Kameras präzise zu positionieren, wurden individuell angepasste, 3D-gedruckte Kamerahalterungen entworfen, die exakt auf die Geometrie des Rigs und die gewünschte Ausrichtung der Kameras abgestimmt sind. Jede Halterung wurde spezifisch für die jeweilige Position im Rig gefertigt, um eine passgenaue und stabile Montage der Raspberry Pi-Kameras zu gewährleisten.
Ein weiterer wichtiger Bestandteil ist die eigens entwickelte Capture-Software, die sämtliche Kameras zentral steuert und die Aufnahmen synchronisiert. Neben der Steuerung und dem Session-Management bietet die Software Funktionen zur Live-Statusanzeige, Framedrop-Erkennung und automatisierten Synchronisation über NTP. Die gesamte Kommunikation erfolgt dabei kabellos per WLAN. Für ein zuverlässiges Kameratracking und eine präzise Rekonstruktion der Kamerapositionen kamen ArUco-Marker und eine COLMAP-basierte Kalibrierung zum Einsatz.
Das Volumetric Capture System wurde so konzipiert, dass es innerhalb des vorgegebenen Budgets die optimale Bildqualität und stabile Aufnahmebedingungen für 4D-Content bietet. Damit wurde eine Plattform geschaffen, die nicht nur die Grundlage für die nachfolgende Verarbeitung der Aufnahmen mittels Spacetime Gaussian Splatting bildet, sondern auch der Hochschule neue Möglichkeiten sowohl für Forschungszwecke als auch für prototypische XR- und KI-Anwendungen eröffnen und eine kostengünstige Alternative zu etablierten Studiosystemen darstellt.
LinkedIn Beiträge zum VolumanXR Projekt:
Kurze Projektbeschreibung
