Photo-Real VR-avatarer får dig att ifrågasätta allt

Robbie Cooper, medgrundare av Metapixel, har en vision. "Jag vill ha helt animerade, trovärdiga karaktärer i ett VR-spel eller en miljö som reagerar på ett helt naturligt sätt. Att ha den där känslan av att vilja nå ut och röra vid dem för att de är så verkliga. Det är så en VR-värld borde vara.”

Han drömmer inte bara om det: han och Metapixel teamet faktiskt arbetar för att göra det möjligt. Med hjälp av en otrolig kamerarigg och lite skräddarsydd programvara skapar Metapixel häpnadsväckande verklighetstrogna avatarer med fotorealistiska funktioner, baserade på högupplösta bilder av en verklig person, redo att användas i spel, filmer och bortom. Vi besökte Metapixels kontor i Brighton, U.K. för att se tekniken i aktion och skapa vår egen avatar.

Foto-riktig avatar

Kamerariggen ser ut som en portal till en annan dimension; ett enda klick på slutaren är allt som krävs för att zap dig över galaxer eller genom tiden. Det finns 102 Nikon D810 kameror monterad på den, alla utrustade med ett av tre olika objektiv — en 50 mm, en 85 mm eller en 72-300 mm zoom.

Det är naturligtvis ingen galax-zapping inblandad, men när slutaren väl släpps tar varje kamera en 36-megapixel bild i RAW-format av motivet från nästan alla tänkbara vinklar. Dessa bilder överförs sedan till Metapixels datorsystem där de bearbetas på några sekunder. Under loppet av nästa timme eller så skapar programvaran en fantastisk fotorealistisk avatar på skärmen, som ser exakt ut som motivet. Det är faktiskt en teknik som kallas fotogrammetri, där foton tagna från olika synvinklar sys ihop för att bilda en enda 360-graders återgivning som liknar en 3D-kroppsskanning.

Och när jag säger precis som ämnet menar jag det. Resultatet är kusligt. För att testa det blev jag inbjuden att stå i mitten av riggen och få min bild förevigad för alltid. Det är troligen första och enda gången 102 kameror kommer att riktas åt mig samtidigt. Tillsagd att stirra på en enda punkt och hålla mig helt stilla, med armarna ut i ett litet på ett obekvämt sätt väntade jag medan kamerorna var förberedda — sedan förblindades jag av en blixt när mitt foto var tagen.

Varje bild kontrolleras noggrant för fel, udda belysning och skuggor (vilket kan förvirra datorn och förstöra slutbilden), och för eventuella saknade bilder där en kamera av någon anledning misslyckats. Metapixels egen programvara, kallad Capturing Reality, gör sedan allt det tunga arbetet. Den drar ihop varje foto och kartlägger bilden på ett nät, vilket bygger upp den slutliga avataren. Det tog 10 till 15 minuter att bygga upp det första steget, sedan ytterligare 20 för att lägga till textur och färg.

Du slutar med bilden som visas här, en avatar så verklig att den är skrämmande. Det anses också bara vara "normal" kvalitet. Det finns andra stadier som ökar detaljnivån ytterligare. Hela processen tog mindre än en timme, inklusive alla kamerainställningar och bearbetning.

Möjligheterna

Vad kan göras med din bild-perfekta avatar? Det finns massor av spännande möjligheter, men för Cooper handlar det om virtuell verklighet. "Kombinera detta med riktigt bra artificiell intelligens, och världen blir verklig," sa han. Till exempel när AI förbättras, sa han till mig, kan avatarer förstå var du "letar" i ett VR-spel och svara därefter. Ju mer realistisk avatar ser ut och agerar, desto mer är du engagerad i vad som händer.

Han pekade ut arbetet med animationsstudio 3Lateral, där fotorealistiska avatarer genom att använda ansiktsspårningsteknik speglar en skådespelares ansiktsuttryck och reaktioner, som bevis på vad som redan arbetas med. Att stå ansikte mot ansikte med vad som nästan är en levande person som andas i ett VR-spel eller en miljö har potentialen att förändra hur vi interagerar och känner empati med karaktärer i spelet.

Det finns också spännande potential i filmer. En skådespelare som skannas på detta sätt blir i princip odödlig. Föreställ dig att skådespelare fortsätter att arbeta även efter sin död, eller ringer upp en skanning från flera år sedan för att spela ut en scen i som skådespelaren måste se yngre ut — allt detta är möjligt med en digitalt reproducerad, identiskt utseende avatar. Det går ett steg längre än 3D-animering och kan använda teknikerna som ses i motion capture.

Kombinera skanningen med en 3D-skrivare och du har plötsligt också fått helt perfekta actionfigurer. Ta med tekniken till museer och undervisningsmiljöer och du återvänder till Coopers vision om karaktärer du tror på. Du kan en dag se och höra en historisk person berätta om sitt liv, med sanna känslor registrerade i ett ansikte som verkar vara helt mänskligt. Det är spännande grejer, och möjligheterna dyker upp ju mer du tänker på det.

Nästan verklighet

Vi är fortfarande ett tag ifrån att se allt detta i verkligheten. Metapixel har kommit långt mycket snabbt; företaget byggde bara sin första kamerarigg, med 30 kameror vid den tiden, i slutet av 2015. Medan den har utökats, arbetas fortfarande på den anpassade programvaran, och det finns uppgraderingar för att göra fototagningsprocessen mer effektiv inom kort. Dessutom är själva VR – den viktigaste drivtekniken för Metapixel – fortfarande i sin linda.

Metapixel väcker stor uppmärksamhet för ett så ungt företag, och det arbetar med en filmproduktion företag, VR-utvecklare och till och med konferensarrangörer för att tillhandahålla personliga helkroppsskanningar på ett USB-minne till alla deltagare. Föreställ dig att ha chansen att använda den avataren vid en konferens som hålls i virtuell verklighet i framtiden. Resultaten är imponerande och spännande för vad som egentligen är en teknik i ett tidigt skede. Vi kan inte vänta med att se det utvecklas.

Redaktörens rekommendationer

• Denna 8K-skärm har 3D-teknik som kan ses från alla vinklar
• VZR: s nya Model One-hörlurar ger 3D-ljud av audiofil kvalitet till spelare
• Doodles blir konst med augmented reality med Snapchats nya 3D Paint-verktyg
• Har du inte råd med detta stativhuvud på 150 $? Bara 3D-printa Edelkrone Ortak FlexTilt
• Ikea skapar en serie 3D-printade tillgänglighetstillbehör för spelare