Fotoechte VR-Avatare lassen Sie alles in Frage stellen

Robbie Cooper, Mitbegründer von Metapixel, hat eine Vision. „Ich möchte vollständig animierte, glaubwürdige Charaktere in einem VR-Spiel oder einer VR-Umgebung, die auf völlig natürliche Weise reagieren. Das Gefühl zu haben, sie erreichen und berühren zu wollen, weil sie so real sind. So sollte eine VR-Welt sein.“

Er träumt nicht nur davon: Er und die Metapixel Das Team arbeitet tatsächlich daran, dies zu ermöglichen. Mit einem unglaublichen Kamera-Rig und maßgeschneiderter Software erstellt Metapixel erstaunlich lebensechte Avatare fotorealistische Funktionen, basierend auf hochauflösenden Bildern einer echten Person, bereit für den Einsatz in Spielen, Filmen usw darüber hinaus. Wir besuchten das Büro von Metapixel in Brighton, Großbritannien, um die Technologie in Aktion zu sehen und unseren eigenen Avatar erstellen zu lassen.

Fotorealistischer Avatar

Die Kameraanlage sieht aus wie ein Portal in eine andere Dimension; Ein einziger Klick auf den Auslöser reicht aus, um Sie durch Galaxien oder durch die Zeit zu katapultieren. Es sind 102

Nikon D810-Kameras darauf montiert, alle mit einem von drei verschiedenen Objektiven ausgestattet – einem 50-mm-, einem 85-mm- oder einem 72-300-mm-Zoom.

Natürlich ist kein Galaxie-Zapping erforderlich, aber sobald der Verschluss ausgelöst wird, macht jede Kamera ein 36-Megapixel-RAW-Format-Bild des Motivs aus nahezu jedem erdenklichen Winkel. Diese Aufnahmen werden dann an das Computersystem von Metapixel übertragen, wo sie in Sekundenschnelle verarbeitet werden. Im Laufe der nächsten Stunde oder so erstellt die Software einen erstaunlichen fotorealistischen Avatar auf dem Bildschirm, der genau wie das Motiv aussieht. Es ist eigentlich eine Technik namens Photogrammetrie, Dabei werden aus verschiedenen Blickwinkeln aufgenommene Fotos zu einem einzigen 360-Grad-Render zusammengefügt, ähnlich einem 3D-Körperscan.

Und wenn ich sage, dass es dem Thema genau gefällt, dann meine ich es auch so. Das Ergebnis ist unheimlich. Um es auszuprobieren, wurde ich eingeladen, in der Mitte der Anlage zu stehen und mein Bild für immer zu verewigen. Es ist wahrscheinlich das erste und einzige Mal, dass 102 Kameras gleichzeitig auf mich gerichtet sind. Mir wurde gesagt, ich solle auf einen einzigen Punkt starren und völlig still bleiben, mit leicht ausgestreckten Armen Auf unangenehme Weise wartete ich, während die Kameras vorbereitet wurden – dann wurde ich von einem Blitz geblendet, als ich mein Foto machte wurde genommen.

Jedes Bild wird sorgfältig auf Fehler, ungewöhnliche Beleuchtung und Schatten (die den Computer verwirren und das Endbild ruinieren können) sowie auf fehlende Bilder überprüft, bei denen eine Kamera aus irgendeinem Grund ausgefallen ist. Die ganze schwere Arbeit übernimmt dann Metapixels eigene Software namens Capturing Reality. Es fügt jedes Foto zusammen und ordnet das Bild einem Netz zu, wodurch der endgültige Avatar entsteht. Der Aufbau der ersten Stufe dauerte 10 bis 15 Minuten, dann weitere 20 Minuten, um die Textur und Farbe hinzuzufügen.

Am Ende erhält man das hier gezeigte Bild, einen Avatar, der so real ist, dass es Angst macht. Es gilt auch nur als „normale“ Qualität. Es gibt weitere Stufen, die den Detaillierungsgrad noch weiter erhöhen. Der gesamte Vorgang dauerte weniger als eine Stunde, einschließlich der gesamten Kameraeinrichtung und der Verarbeitung.

Die Möglichkeiten

Was können Sie mit Ihrem bildschönen Avatar machen? Es gibt unzählige aufregende Möglichkeiten, aber für Cooper dreht sich alles um die virtuelle Realität. „Kombiniert man das mit wirklich guter künstlicher Intelligenz, wird die Welt real“, sagte er. Wenn sich beispielsweise die KI verbessert, sagte er mir, könnten Avatare verstehen, wohin man in einem VR-Spiel „schaut“, und entsprechend reagieren. Je realistischer der Avatar aussieht und sich verhält, desto mehr sind Sie mit dem Geschehen beschäftigt.

Er wies auf die Arbeit von hin Animationsstudio 3Lateral, bei dem mithilfe der Face-Tracking-Technologie fotorealistische Avatare die Mimik und Reaktionen eines Schauspielers widerspiegeln, als Beweis dafür, woran bereits gearbeitet wird. Von Angesicht zu Angesicht mit dem konfrontiert werden, was fast ist ein lebender, atmender Mensch in einem VR-Spiel oder einer VR-Umgebung hat das Potenzial, die Art und Weise zu verändern, wie wir mit Charakteren im Spiel interagieren und uns in sie hineinversetzen.

Auch in Filmen steckt spannendes Potenzial. Ein Schauspieler, der auf diese Weise gescannt wird, wird im Wesentlichen unsterblich. Stellen Sie sich vor, dass Schauspieler auch nach ihrem Tod weiterarbeiten oder einen Scan von vor Jahren aufrufen, um eine Szene darin nachzuspielen was vom Schauspieler verlangt wird, jünger auszusehen – all das ist mit einem digital reproduzierten, identisch aussehenden Film möglich Benutzerbild. Es geht einen Schritt über die 3D-Animation hinaus und kann die Techniken der Bewegungserfassung nutzen.

Kombinieren Sie den Scan mit einem 3D-Drucker und Sie haben plötzlich auch absolut perfekt aussehende Actionfiguren. Wenn Sie die Technologie in Museen und Unterrichtsumgebungen bringen, kehren Sie zu Coopers Vision von Charakteren zurück, an die Sie glauben. Vielleicht sehen und hören Sie eines Tages eine historische Person, die aus ihrem Leben erzählt, wobei sich in einem Gesicht, das völlig menschlich zu sein scheint, wahre Emotionen zeigen. Es ist eine aufregende Sache, und die Möglichkeiten tauchen immer wieder auf, je mehr man darüber nachdenkt.

Fast Realität

Wir sind noch eine ganze Weile davon entfernt, das alles in der Realität zu sehen. Metapixel hat sehr schnell einen langen Weg zurückgelegt; Erst Ende 2015 baute das Unternehmen sein erstes Kamera-Rig mit damals 30 Kameras. Obwohl es erweitert wurde, wird noch an der benutzerdefinierten Software gearbeitet, und in Kürze werden Upgrades verfügbar sein, um den Fotoaufnahmeprozess effizienter zu gestalten. Außerdem steckt VR selbst – die wichtigste Antriebstechnologie für Metapixel – noch in den Kinderschuhen.

Metapixel erregt für ein so junges Unternehmen große Aufmerksamkeit und arbeitet mit einer Filmproduktion zusammen Unternehmen, VR-Entwicklern und sogar Konferenzorganisatoren, um allen persönliche Ganzkörperscans auf einem USB-Stick zur Verfügung zu stellen Teilnehmer. Stellen Sie sich vor, Sie hätten die Chance, diesen Avatar in Zukunft auf einer Konferenz in der virtuellen Realität einzusetzen. Die Ergebnisse sind beeindruckend und aufregend für eine wirklich junge Technologie. Wir können es kaum erwarten, die Entwicklung zu sehen.

Empfehlungen der Redaktion

• Dieser 8K-Monitor verfügt über 3D-Technologie, die aus allen Blickwinkeln betrachtet werden kann
• Die neuen Model One-Kopfhörer von VZR bieten Gamern 3D-Sound in audiophiler Qualität
• Mit dem neuen 3D-Malwerkzeug von Snapchat werden Kritzeleien zu Augmented-Reality-Kunst
• Sie können sich diesen 150-Dollar-Stativkopf nicht leisten? Drucken Sie einfach den Edelkrone Ortak FlexTilt in 3D
• Ikea entwickelt eine Reihe von 3D-gedruckten barrierefreien Accessoires für Gamer