Photo-Real VR-avatarer vil få deg til å stille spørsmål ved alt

Robbie Cooper, medgründer av Metapixel, har en visjon. "Jeg vil ha fullt animerte, troverdige karakterer i et VR-spill eller miljø som reagerer på en helt naturlig måte. Å ha den følelsen av å ville nå ut og ta på dem fordi de er så ekte. Det er slik en VR-verden bør være.»

Han drømmer ikke bare om det: Han og Metapiksel teamet jobber faktisk for å gjøre det mulig. Ved å bruke en utrolig kamerarigg og noe skreddersydd programvare, skaper Metapixel forbløffende naturtro avatarer med fotorealistiske funksjoner, basert på høyoppløselige bilder av en faktisk person, klare til bruk i spill, filmer og bortenfor. Vi besøkte Metapixels kontor i Brighton, U.K. for å se teknologien i aksjon, og få laget vår egen avatar.

Foto-ekte avatar

Kamerariggen ser ut som en portal til en annen dimensjon; et enkelt klikk på lukkeren er alt som skal til for å zappe deg på tvers av galakser eller gjennom tid. Det er 102 Nikon D810 kameraer montert på den, alle utstyrt med ett av tre forskjellige objektiver - en 50 mm, en 85 mm eller en 72-300 mm zoom.

Det er selvfølgelig ingen galakse-zapping involvert, men når lukkeren utløses, tar hvert kamera et 36 megapikslers RAW-formatbilde av motivet fra nesten alle tenkelige vinkler. Disse bildene blir deretter overført til Metapixels datasystem hvor de behandles i løpet av sekunder. I løpet av den neste timen eller så, skaper programvaren en fantastisk fotoekte avatar på skjermen, som ser nøyaktig ut som motivet. Det er faktisk en teknikk som heter fotogrammetri, der bilder tatt fra forskjellige synspunkter er sydd sammen for å danne en enkelt 360-graders gjengivelse som ligner på en 3D-kroppsskanning.

Og når jeg sier akkurat som emnet, mener jeg det. Resultatet er uhyggelig. For å teste det ut ble jeg invitert til å stå midt på riggen, og få bildet mitt udødeliggjort for alltid. Det er sannsynligvis første og eneste gang 102 kameraer vil bli pekt i min retning samtidig. Fikk beskjed om å stirre på et enkelt punkt og holde meg helt i ro, med armene litt ut Ukomfortabel måte, ventet jeg mens kameraene ble klargjort - så ble jeg blendet av en blits som bildet mitt ble tatt.

Hvert bilde blir nøye sjekket for feil, rart lys og skygger (som kan forvirre datamaskinen og ødelegge sluttbildet), og for eventuelle manglende bilder der et kamera av en eller annen grunn har slått feil. Metapixels egen programvare, kalt Capturing Reality, gjør deretter alt det tunge løftet. Den trekker sammen hvert bilde og kartlegger bildet på en maske, og bygger opp den endelige avataren. Det tok 10 til 15 minutter å bygge opp det første trinnet, deretter ytterligere 20 minutter å legge til tekstur og farge.

Du ender opp med bildet som er sett her, en avatar så ekte at det er skremmende. Det regnes også som bare "normal" kvalitet. Det er andre stadier som øker detaljnivået ytterligere. Hele prosessen tok mindre enn en time, inkludert alt kameraoppsettet og behandlingen.

Mulighetene

Hva kan gjøres med din bilde-perfekte avatar? Det er massevis av spennende muligheter, men for Cooper handler det om virtuell virkelighet. "Kombiner dette med virkelig god kunstig intelligens, og verden blir ekte," sa han. For eksempel når AI forbedres, fortalte han meg, kan avatarer forstå hvor du "ser" i et VR-spill og svare deretter. Jo mer realistisk avataren ser ut og virker, jo mer engasjert er du i det som skjer.

Han pekte på arbeidet med animasjonsstudio 3Lateral, hvor ved å bruke ansiktssporingsteknologi, speiler virkelige avatarer ansiktsuttrykkene og reaksjonene til en skuespiller, som bevis på det som allerede jobbes med. Å stå ansikt til ansikt med det som er nesten en levende, pustende person i et VR-spill eller miljø har potensialet til å endre måten vi samhandler og føler med karakterer i spillet.

Det er også et spennende potensial i filmer. En skuespiller som blir skannet på denne måten blir i hovedsak udødelig. Tenk deg at skuespillere fortsetter å jobbe selv etter deres død, eller ringer opp en skanning fra år siden for å spille ut en scene i som skuespilleren må se yngre ut - alt dette er mulig med et digitalt reprodusert, identisk utseende avatar. Den går et skritt utover 3D-animasjon, og kan bruke teknikkene som sees i bevegelsesfangst.

Kombiner skanningen med en 3D-printer, og du har plutselig fått helt perfekte actionfigurer også. Ta med teknologien inn i museer og undervisningsmiljøer, og du kommer tilbake til Coopers visjon om karakterer du tror på. Du kan en dag se og høre en historisk person fortelle historien om livet sitt, med ekte følelser som registreres i et ansikt som ser ut til å være helt menneskelig. Det er spennende ting, og mulighetene fortsetter å dukke opp jo mer du tenker på det.

Nesten virkelighet

Vi er fortsatt en stund unna å se alt dette i virkeligheten. Metapiksel har kommet langt veldig raskt; Selskapet bygget sin første kamerarigg, med 30 kameraer på den tiden, i slutten av 2015. Mens den har utvidet seg, jobbes det fortsatt med den tilpassede programvaren, og det kommer snart oppgraderinger for å gjøre fotograferingsprosessen mer effektiv. Dessuten er selve VR – nøkkelteknologien for metapiksel – fortsatt i sin spede begynnelse.

Metapiksel vekker mye oppmerksomhet for et så ungt selskap, og det jobber med en filmproduksjon selskapet, VR-utviklere og til og med konferansearrangører for å levere personlige skanninger av hele kroppen på en USB-pinne til alle deltakere. Tenk deg å ha sjansen til å bruke den avataren på en konferanse holdt i virtuell virkelighet i fremtiden. Resultatene er imponerende og spennende for det som egentlig er en teknologi i tidlig stadium. Vi kan ikke vente til å se det utvikle seg.

Redaktørenes anbefalinger

• Denne 8K-skjermen har 3D-teknologi som kan sees fra alle vinkler
• VZRs nye Model One-hodetelefoner gir 3D-lyd av lydfil kvalitet til spillere
• Doodles blir kunst med utvidet virkelighet med Snapchats nye 3D Paint-verktøy
• Har du ikke råd til dette stativhodet på 150 dollar? Bare 3D-print Edelkrone Ortak FlexTilt
• Ikea lager en rekke 3D-printede tilgjengelighetstilbehør for spillere