Erster vollständig mit KI synchronisierter Film in US-Kinos gestartet
Prof. Dr. Christian Theobalt. Foto: Oliver Dietze
Synchronisierte Filme kranken oft an unpassenden Lippenbewegungen, die nicht mit der Tonspur übereinstimmen. Das kann das Filmerlebnis trüben. Ein international tätiges Startup aus dem vereinigten Königreich hat nun, inspiriert durch Forschung des Saarbrücker Max-Planck-Instituts für Informatik, eine Lösung für dieses Problem entwickelt: Mithilfe Künstlicher Intelligenz werden Lippenbewegungen in Filmen nachträglich an neue Zielsprachen angepasst. Der erste Kinofilm, der komplett auf diese Weise bearbeitet wurde, startete letzte Woche in den USA in rund 100 Kinos.
Synchronisiert wurde der Film „Watch The Skies“ (im schwedischen Original „UFO Sweden“) mit der Technik „TrueSync“ des amerikanischen KI-Startups „FlawlessAI“. Inspiration für deren Entwicklung war das wissenschaftliche Paper „Deep Video Portraits“, das im Jahr 2018 auf der weltweit führenden Fachkonferenz im Bereich Computergrafik, „ACM SIGGRAPH“, veröffentlicht wurde.
„Die Arbeit beschrieb eine neuartige Methode, um durch eine Kombination von Techniken der Künstlichen Intelligenz, sogenannten ‚Deep Neural Networks‘, und klassischen Konzepten der Computergrafik, für damalige Verhältnisse höchst überzeugende, in nahezu allen Aspekten komplett re-animierbare Kopf-Videos zu erstellen, und das auf Basis eines einzigen Input-Videos“, erklärt Professor Christian Theobalt, wissenschaftlicher Direktor am Max-Planck-Institut für Informatik und Leiter der Abteilung „Visual Computing and Artificial Intelligence“.
Da die ACM SIGGRAPH auch eine industrienahe Konferenz ist, auf der sich neben Wissenschaftlern zahlreiche Fachleute aus den Visual-Effects- und Videospiel-Branchen über neueste technologische Entwicklungen austauschen, kam es zum Treffen mit Scott Mann, dem späteren Gründer und CEO von FlawlessAI. „Scott arbeitete damals schon als Regisseur in Hollywood. Er sah in der Weiterentwicklung unseres Ansatzes, den er als eine Art ‚Machbarkeitsstudie‘ verstand, ein großes Potenzial, um das Medium Film einem breiteren Publikum zugänglich zu machen und gleichzeitig Schauspielern und Filmemachern weitere Einkommensmöglichkeiten zu eröffnen“, sagt Christian Theobalt.
Bei einem anschließenden Treffen in Saarbrücken fiel die Entscheidung die Firma zu gründen, mit der Christian Theobalt seit Beginn eng zusammenarbeitet. So sind die beiden leitenden Wissenschaftler bei FlawlessAI ehemalige Doktoranden von Christian Theobalt, es wurden gemeinsame Forschungsprojekte umgesetzt und auch ein Ausbau der Zusammenarbeit in Saarbrücken steht aktuell zur Diskussion. Neben dem nun gestarteten Film „Watch the Skies“ sind weitere Filme, bei denen die FlawlessAI-Methode zum Einsatz kam, bereits für den US-Markt in Vorbereitung. Darunter ist auch der deutsche Berlinale-Eröffnungsfilm „Das Licht“.
Hintergrund MPI für Informatik:
Das Max-Planck-Institut für Informatik wurde 1988 gegründet und war das erste Institut in der Max-Planck-Gesellschaft, das sich in Gänze der Grundlagenforschung in der Informatik widmete. Sein Ziel ist es, die Grundlagenforschung und Innovation in Schlüsselbereichen der Informatik voranzutreiben. Die Forschung am Institut umfasst ein breites Spektrum – von der Erforschung grundlegender Prinzipien von Algorithmen und Logik über die Analyse von Systemen wie dem Internet bis hin zu multimodalen Bereichen wie Computer Vision, Computergrafik, Datenbanken und Informationssystemen, maschinellem Lernen und künstlicher Intelligenz. Durch die Verknüpfung dieser verschiedenen Bereiche und die Pflege einer Kultur der Zusammenarbeit forscht das Institut auf höchstem wissenschaftlichem Niveau und gestaltet die Informatiklandschaft von morgen.
Weitere Informationen:
https://www.flawlessai.com/watch-the-skies
Webseite Abteilung „Visual Computing and Artificial Intelligence“: https://www.mpi-inf.mpg.de/de/departments/visual-computing-and-artificial-intelligence
Deep Video Portraits (2018): https://gvv.mpi-inf.mpg.de/projects/DeepVideoPortraits/
Fragen beantwortet:
Prof. Dr. Christian Theobalt
Wissenschaftlicher Direktor, Max-Planck-Institut für Informatik
Redaktion und Kontakt:
Philipp Zapf-Schramm
Max-Planck-Institut für Informatik
Tel: +49 681 9325 5409
E-Mail: pzs@mpi-inf.mpg.de