Vom Foto zum 3D-Modell: Saarbrücker Informatiker für Doktorarbeit international ausgezeichnet

Mojtaba Bemana erhält den Eurographics Dissertationspreis.

Aus Fotos detailgetreue 3D-Modelle erzeugen, die neue Blickwinkel auf das Abgebildete ermöglichen und sich bearbeiten lassen – das ist das Ziel des bildbasierten Renderings (Image-Based Rendering, IBR), einem aufstrebenden Teilbereich der Computergrafik. Mit seiner Doktorarbeit leistete der Saarbrücker Max-Planck-Forscher Mojtaba Bemana maßgebliche Beiträge zur Praktikabilität und Qualität dieses Ansatzes. Dafür wurde er nun mit einem der renommierten Dissertationspreise der Europäischen Vereinigung für Computergrafik (Eurographics) ausgezeichnet.

In seiner Arbeit mit dem Titel „Efficient Image-Based Rendering“ kombiniert Mojtaba Bemana Methoden des Deep Learning mit physikalisch basierten Rendering-Techniken, um bildbasierte 3D-Darstellungen flexibler, realistischer und effizienter zu machen. Anders als in der klassischen 3D-Computergrafik, bei der digitale Repräsentationen, insbesondere fotorealistische und animierte Szenen, unter großem Zeit- und Ressourcenaufwand händisch erstellt werden müssen, nutzt das bildbasierte Rendering Fotos als Ausgangsmaterial. KI-gestützte Verfahren wie Deep Learning ermöglichen es, aus diesen Bildern in Echtzeit detailgetreue 3D-Modelle der abgebildeten Szenerien zu rekonstruieren.

Ein zentrales Ergebnis der Arbeit ist ein effizientes Verfahren, das die interaktive Bearbeitung dynamischer Szenen ermöglicht, auch wenn diese nur aus wenigen Blickwinkeln, Lichtpositionen und an wenigen Zeitpunkten erfasst wurden. Die Dissertation stellt außerdem einen physikalisch fundierten Ansatz vor, mit dem sich Effekte realistisch darstellen lassen, die vom Blickwinkel abhängen, etwa bei transparenten Objekten und deren Zusammenspiel mit der Umgebung. Ergänzend wird eine neuartige Metrik vorgestellt, mit der sich Bildfehler- und Artefakte, die bei der Bildgeneration entstehen können, identifizieren lassen, ohne dass das System das Referenzbild gesehen hat, was zu einer effektiven IBR-Erfassungspipeline beiträgt. Außerdem stellt die Arbeit ein weiteres, auf der menschlichen Wahrnehmung basierendes Verfahren vor, um visuelle Inhalte in Virtual-Reality-Displays mit hoher Wiedergabetreue zu liefern und gleichzeitig die Rechenleistung zu erhalten.

In der offiziellen Begründung der Jury heißt es: „In his PhD thesis, Mojtaba Bemana made significant contributions towards image-based rendering. His work offers an efficient solution that enables interactive manipulation of real-world dynamic scenes captured from sparse views, lighting positions, and times, as well as a physically-based approach that facilitates accurate reproduction of the view-dependency effect resulting from the interaction between transparent objects and their surrounding environment. It also proposes a novel visibility metric to identify artefacts in the reconstructed images, and a perception-driven rendering technique providing high-fidelity visual content in virtual reality displays. These innovations contribute to the rapidly developing field of image-based rendering, which has emerged as an alternative and promising approach to directly utilize pre-captured images from the real world to generate realistic images in real-time, avoiding the extensive modeling and expertise required by traditional rendering techniques.”

Mojtaba Bemana nahm die Auszeichnung Mitte Mai auf der Eurographics-Jahreskonferenz in London entgegen. Verfasst wurde die Doktorarbeit an der Universität des Saarlandes und am Max-Planck-Institut für Informatik. Betreuer war Prof. Dr. Karol Myszkowski, Leiter der Gruppe „HDR Imaging, Perception, and Advanced Displays“ in der Abteilung Computergrafik von Direktor Prof. Dr. Hans-Peter Seidel.

Originalpublikation:
Bemana, Mojataba (2023): Efficient Image-Based Rendering. doi:10.22028/D291-40288

Weitere Informationen:
Eurographics-Meldung: https://www.eg.org/wp/eurographics-awards-programme/phd-award/

Redaktion:
Philipp Zapf-Schramm
Max-Planck-Institut für Informatik
Tel: +49 681 9325 5409
E-Mail: pzs@mpi-inf.mpg.de