Forschungsprojekt HistoVeaR – KI-rekonstruierte historische Kleidung in Virtual Reality

Kleidung ist weit mehr als bloßer Stoff - sie schützt uns vor äußeren Einflüssen, dient als visueller Ausdruck von Identität und Persönlichkeit und spiegelt gesellschaftliche wie kulturelle Entwicklungen wider. Mit HistoVeaR entsteht eine neuartige Pipeline, die es ermöglicht originale historische Kleidung zu digitalisieren, zu simulieren und in Virtual Reality erfahrbar zu machen.

Ein zentraler Aspekt des Projektes ist die Expertise im Bereich historischer Textilien und Bekleidung, die durch den Projektpartner von der Universität Paderborn (UPB) eingebracht wird. Diese Expertise fließt insbesondere in die Auswahl der originalen historischen Kleidungsstücke ein, die in enger Zusammenarbeit mit einem assoziierten Museum erfolgt, welches die Objekte zur Verfügung stellt. Darüber hinaus fertigt die UPB Schnittmuster der ausgewählten Originalkleidungsstücke an und schafft so eine wichtige Basis für die digitale Rekonstruktion.

Als weiterer Partner im Projekt entwickelt die World of VR GmbH sowohl ein modulares Scansystem als auch ein 3D-Scanverfahren für die Digitalisierung der Kleidungsstücke. Beide Systeme arbeiten kontaktlos, um den konservatorischen Anforderungen empfindlicher historischer Kleidung gerecht zu werden.  Das Scanverfahren erfasst sowohl die Geometrie als auch die Oberflächenstruktur und  Färbung der Objekte und ermöglicht darüber hinaus auch das Scannen menschlicher Avatare.

Auf Basis der erfassten Scandaten entwickelt die Computer Graphics Group (CGG) der TH Köln ein echtzeitfähiges, KI-basiertes Simulationssystem für komplexe historische Kleidung. Für eine möglichst realistische Darstellung der Kleider werden physikalische Stoffeigenschaften mit Hilfe einer mechanischen Analyse vergleichbarer Materialien bestimmt und anschließend in die Simulation integriert. Ebenfalls konzipiert wird ein System zur Kollisionserkennung und -behandlung, das sowohl Kollisionen zwischen Kleidung und Avatar als auch Selbstkollisionen innerhalb des Kleidungsstückes, etwa bei mehrlagigen Stoffpartien oder beim Faltenwurf, berücksichtigt.

Damit die Kleidung auch in der digitalen Welt passgenau sitzt, entwickelt das Cologne Game Lab (CGL) der TH Köln ein automatisiertes System zur virtuellen Anpassung (Fitting) von Kleidung an Avatare und Charaktere. Auf Grundlage der gescannten Avatare und des Simulationssystems entstehen zudem Animationsverfahren, welche die Integration der historischen Kleidung in Spieleumgebungen und -engines ermöglichen.

Die Aufgabenpakete aller Partner werden anschließend in der HistoVeaR-Pipeline zusammengeführt. Diese Pipeline lässt sich flexibel auf die unterschiedlichen Anwendungsfelder – Museen, Spiele und Film – anpassen und ermöglicht eine effiziente Verwaltung, Nutzung und Präsentation der erstellten digitalen Daten und Modelle.