Real Virtual Lab
Unser Real Virtual Lab umfasst eine Reihe modernster wissenschaftlicher Systeme, mit denen wir die Interaktionen von Licht mit einer Szene in großem Maßstab und sehr präzise vermessen können. Die Daten, die wir hier sammeln, dienen als Grundlage zur Entwicklung neuer Algorithmen, mit denen die physikalische Welt digitalisiert, modelliert und analysiert werden kann. Die Daten erlauben uns, komplexe Licht-Interaktionen zu beobachten, unsere Algorithmen quantitativ auszuwerten und neue, generative Deep-Learning-Modelle zu trainieren.
Neubau
Wir erweitern das Labor zur Zeit um ein neues Gebäude, um darin Systeme unterzubringen, für die bisher in unserem Hauptgebäude kein Platz war. Der Neubau soll in den kommenden Monaten einsatzbereit sein. Unsere bereits vorhandenen Systeme, bleiben indessen voll funktionstüchtig.
Light Stage
Photo: Lorenzo Meloni
Die Light Stage ist eine Kuppel mit 13.000 einzeln ansteuerbaren (wahlweise polarisierten) LEDs, sowie 40 ultrahochauflösenden Kameras (6K). Die Light Stage erlaubt uns, den Szenenraum mit beliebigen Lichtbedingungen zu beleuchten, um den Lichttransport der physikalischen Welt zu untersuchen. Anhand solcher Daten können KI-Modelle lernen, die Beleucthung in Bildern und Videos nachträglich zu verändern, was besonders in Anwendungen der virtuellen/erweiterten Realität von Interesse ist. Einige Beispiele unserer Forschung mit diesen Daten sind ein "One-Light-at-a-time" (OLAT)-Datensatz besonderer Qualität, sowie das Erfassen von Ganzkörper-Bewegungen unter verschiedenen Beleuchtungsbedigungen und ein großer Datensatz von Alltagsgegenständen.
Multi-view Video Studio
Dieses Studio bietet eine Szenenfläche von 36m2, auf der wir sowohl Einzelpersonen als auch Gruppen aufnehmen können. Das System ist mit 120 Machine Vision Cameras ausgestattet, die jeweils 50 Bilder pro Sekunde liefern (Auflösung 4K). Aufgrund der großen Datenmengen, die das System in jeder Sekunde aufzeichnet, ist es mit einer speziellen Streaming Pipeline an 10 Speicher-Server angebunden. Die Rekonstruktion dichter 3D-Geometrie erfolgt auf Grundlage der multi-view-Bilder auf 8 GPU-Servern, mit Hilfe unseres Implicit Surface Reconstruction Algorithm. Wir haben bereits mehrere Datensätze veröffentlicht, die mit dem System aufgenommen wurden (z.B. Holoported Characters, ASH, MetaCap, Relightable Neural Actor, EgoAvatar). Diese stellen auch sehr anspruchsvolle Testumgebungen für Algorithmen dar, z.B. für das neuronale Rendern von Menschen und das Erfassen von Bewegungsabläufen. Das Multi-View Studio enthält außerdem ein zweites Kamera-System, das z.B. für marker-basierte/marker-lose Bewegungserfassung in Echtzeit eingesetzt werden kann und einen großen Umfang verschiedener Brennweiten unterstützt.
Face Capture Dome
Der Face Capture Dome ist ein Multi-Kamera-Aufbau zur Aufzeichnung von Gesichtsausdrücken und Kopfbewegungen des Probanden. Es ist mit 40 Video-Kameras ausgestattet (Auflösung 4K). Die Kameras sind kugelförmig um den Kopf angeordnet und der Proband wird allseitig mit einem diffusen LED-Backlight beleuchtet. Die Kameras sind hardware-synchronisiert. Daten aus diesem System wurden für unsere Methoden zum photorealistischen Rendern von Kopf-Avataren verwendet, wie z.B. UniGAHA, GaussianHeads, und AvatarStudio.
3D-Scanner
In unserem 3D Body Scanner wird der Proband von 140 RGB-Kameras aufgenommen. Ein Projektionssystem erlaubt die photogrammetrische Rekonstruktion von Formen und Texturen mit hoher Präzision. Zusammen mit unseren Methoden zur Neural Implicit Geometry Recovery erlaubt uns dieses System die detailgetreue Rekonstruktion von 3D-Geometrie und Oberflächenfarben eines Gegenstandes oder stillstehenden Menschen. Unter anderem haben wir damit statische humanoide Meshes aufgenommen, die nach automatischem Skinning und Rigging als Basis für einige unserer Human Rendering Algorithmen dienen, siehe z.B. TriHuman or DELIFFAS.