Fotoechte VR-avatars laten je alles in twijfel trekken

Robbie Cooper, mede-oprichter van Metapixel, heeft een visie. “Ik wil volledig geanimeerde, geloofwaardige personages in een VR-game of -omgeving die op een volkomen natuurlijke manier reageren. Om dat gevoel te hebben dat je ze wilt bereiken en aanraken omdat ze zo echt zijn. Zo zou een VR-wereld moeten zijn.”

Hij droomt er niet alleen van: hij en de Metapixel team werkt er daadwerkelijk aan om dit mogelijk te maken. Met behulp van een ongelooflijke camera-installatie en wat op maat gemaakte software creëert Metapixel verbazingwekkend levensechte avatars fotorealistische functies, gebaseerd op afbeeldingen met hoge resolutie van een echte persoon, klaar voor gebruik in games, films en voorbij. We bezochten het kantoor van Metapixel in Brighton, VK om de technologie in actie te zien en om onze eigen avatar te laten maken.

Foto-echte avatar

De camera-installatie ziet eruit als een portaal naar een andere dimensie; een enkele klik op de sluiter is voldoende om je door sterrenstelsels of door de tijd te zappen. Er zijn 102

Nikon D810-camera's erop gemonteerd, allemaal uitgerust met een van de drie verschillende lenzen: een zoomlens van 50 mm, een 85 mm of een zoom van 72-300 mm.

Er is uiteraard geen sprake van zappen van sterrenstelsels, maar zodra de sluiter wordt ontspannen, maakt elke camera vanuit bijna elke denkbare hoek een 36 megapixel RAW-formaat foto van het onderwerp. Deze opnames worden vervolgens overgebracht naar het computersysteem van Metapixel, waar ze binnen enkele seconden worden verwerkt. In de loop van ongeveer een uur creëert de software een verbazingwekkende, fotorealistische avatar op het scherm, die precies op het onderwerp lijkt. Het is eigenlijk een techniek genaamd fotogrammetrie, waarbij foto's die vanuit verschillende gezichtspunten zijn genomen, aan elkaar worden geplakt om een ​​enkele weergave van 360 graden te vormen, vergelijkbaar met een 3D-bodyscan.

En als ik precies hetzelfde zeg als het onderwerp, meen ik het. Het resultaat is griezelig. Om het uit te testen, werd ik uitgenodigd om in het midden van het platform te gaan staan ​​en mijn imago voor altijd te laten vereeuwigen. Het is waarschijnlijk de eerste en enige keer dat 102 camera’s tegelijkertijd op mij gericht zullen zijn. Ik zei dat ik naar een enkel punt moest staren en volkomen stil moest blijven, met mijn armen iets naar buiten Op een ongemakkelijke manier wachtte ik terwijl de camera's klaar waren - toen werd ik verblind door een flits als mijn foto is genomen.

Elke foto wordt zorgvuldig gecontroleerd op fouten, vreemde belichting en schaduwen (die de computer in verwarring kunnen brengen en het eindbeeld kunnen verpesten), en op eventuele ontbrekende afbeeldingen waarbij een camera om de een of andere reden een fout heeft gemaakt. Metapixels eigen software, genaamd Capturing Reality, doet vervolgens al het zware werk. Het verzamelt elke foto en brengt de afbeelding in kaart op een mesh, waardoor de uiteindelijke avatar ontstaat. Het duurde 10 tot 15 minuten om de eerste fase op te bouwen, en daarna nog eens 20 minuten om de textuur en kleur toe te voegen.

Je krijgt uiteindelijk de foto die je hier ziet, een avatar die zo echt is dat hij beangstigend is. Het wordt ook als ‘normale’ kwaliteit beschouwd. Er zijn nog andere fasen, die het detailniveau nog verder verhogen. Het hele proces duurde minder dan een uur, inclusief alle camera-instellingen en de verwerking.

De mogelijkheden

Wat kun je doen met je perfecte avatar? Er zijn talloze opwindende mogelijkheden, maar voor Cooper draait het allemaal om virtual reality. “Combineer dit met echt goede kunstmatige intelligentie, en de wereld wordt werkelijkheid”, zei hij. Naarmate de AI verbetert, vertelde hij me, kunnen avatars bijvoorbeeld begrijpen waar je ‘kijkt’ in een VR-game en dienovereenkomstig reageren. Hoe realistischer de avatar eruit ziet en zich gedraagt, hoe meer je betrokken bent bij wat er gebeurt.

Hij wees op het werk van animatiestudio 3Lateraal, waarbij door middel van face-tracking-technologie fotoechte avatars de gezichtsuitdrukkingen en reacties van een acteur weerspiegelen, als bewijs van waar al aan wordt gewerkt. Om oog in oog te staan ​​met wat bijna is een levend, ademend persoon in een VR-game of -omgeving heeft het potentieel om de manier waarop we omgaan met en ons inleven in in-game karakters te veranderen.

Er zit ook een opwindend potentieel in films. Een acteur die op deze manier wordt gescand, wordt in wezen onsterfelijk. Stel je voor dat acteurs zelfs na hun dood blijven doorwerken, of een scan van jaren geleden oproepen om een ​​scène in na te spelen waarin de acteur er jonger uit moet zien - dit alles is mogelijk met een digitaal gereproduceerd, identiek ogend beeld avatar. Het gaat een stap verder dan 3D-animatie en kan de technieken gebruiken die te zien zijn in motion capture.

Combineer de scan met een 3D-printer en je hebt ineens ook absoluut perfect uitziende actiefiguren. Breng de technologie naar musea en onderwijsomgevingen, en je keert terug naar Coopers visie op personages waarin je gelooft. Misschien zie en hoor je ooit een historisch persoon het verhaal van zijn leven vertellen, met echte emoties op een gezicht dat volkomen menselijk lijkt. Het zijn spannende dingen, en de mogelijkheden blijven zich voordoen, hoe meer je erover nadenkt.

Bijna realiteit

We zijn nog een tijdje verwijderd van het zien van dit alles in de realiteit. Metapixel heeft heel snel een lange weg afgelegd; Pas eind 2015 bouwde het bedrijf zijn eerste camera-installatie, destijds met 30 camera's. Hoewel het is uitgebreid, wordt er nog steeds aan de aangepaste software gewerkt en binnenkort zijn er upgrades om het foto-opnameproces efficiënter te maken. Bovendien staat VR zelf – de belangrijkste drijvende technologie voor Metapixel – nog in de kinderschoenen.

Metapixel trekt veel aandacht voor zo'n jong bedrijf en werkt aan een filmproductie bedrijf, VR-ontwikkelaars en zelfs organisatoren van conferenties om iedereen persoonlijke, volledige lichaamsscans op een USB-stick te leveren deelnemers. Stel je voor dat je de kans krijgt om die avatar te gebruiken op een conferentie in virtual reality in de toekomst. De resultaten zijn indrukwekkend en opwindend voor wat echt een technologie in een vroeg stadium is. We kunnen niet wachten om het te zien evolueren.

Aanbevelingen van de redactie

• Deze 8K-monitor beschikt over 3D-technologie die vanuit alle hoeken kan worden bekeken
• De nieuwe Model One-hoofdtelefoon van VZR brengt 3D-geluid van audiofiele kwaliteit naar gamers
• Doodles worden augmented reality-kunst met de nieuwe 3D Paint-tool van Snapchat
• Kunt u deze statiefkop van $ 150 niet betalen? Print gewoon de Edelkrone Ortak FlexTilt in 3D
• Ikea creëert een reeks 3D-geprinte toegankelijkheidsaccessoires voor gamers