Robbie Cooper, medstifter af Metapixel, har en vision. "Jeg vil have fuldt animerede, troværdige karakterer i et VR-spil eller miljø, der reagerer på en helt naturlig måde. At have den følelse af at ville række ud og røre ved dem, fordi de er så virkelige. Sådan burde en VR-verden være."
Han drømmer ikke kun om det: Han og den Metapixel team arbejder faktisk på at gøre det muligt. Ved hjælp af en utrolig kamerarig og noget skræddersyet software skaber Metapixel forbløffende naturtro avatarer med fotorealistiske funktioner, baseret på billeder i høj opløsning af en faktisk person, klar til brug i spil, film og ud over. Vi besøgte Metapixels kontor i Brighton, U.K. for at se teknologien i aktion og få lavet vores egen avatar.
Foto-rigtig avatar
Kamerariggen ligner en portal til en anden dimension; et enkelt klik på lukkeren er alt, der skal til for at zappe dig på tværs af galakser eller gennem tiden. Der er 102 Nikon D810 kameraer monteret på den, alle udstyret med et af tre forskellige objektiver - en 50 mm, en 85 mm eller en 72-300 mm zoom.
Relaterede
- Jeg brugte en app til at lave 3D-modeller med min iPhone, og den er chokerende fantastisk
- 3D-printsystem kan spytte specialtilpassede bioniske hænder ud på under 10 timer
- Selfies er lige gået i 3D med Snapchats nye kameratilstand, der reagerer på bevægelse
Der er selvfølgelig ingen galakse-zapping involveret, men når lukkeren er udløst, tager hvert kamera et 36-megapixel RAW-format billede af motivet fra næsten alle tænkelige vinkler. Disse billeder overføres derefter til Metapixels computersystem, hvor de behandles i løbet af få sekunder. I løbet af den næste time eller deromkring skaber softwaren en fantastisk fotorealistisk avatar på skærmen, der ligner motivet nøjagtigt. Det er faktisk en teknik, der hedder fotogrammetri, hvor billeder taget fra forskellige synspunkter er syet sammen for at danne en enkelt 360-graders gengivelse, der ligner en 3D kropsscanning.
Og når jeg siger præcis som emnet, så mener jeg det. Resultatet er uhyggeligt. For at teste det, blev jeg inviteret til at stå i midten af riggen og få mit billede foreviget for altid. Det er sandsynligvis den første og eneste gang, 102 kameraer peges i min retning på samme tid. Blev bedt om at stirre på et enkelt punkt og holde helt stille, med armene ud i en let på en ubehagelig måde, ventede jeg, mens kameraerne blev klargjort - så blev jeg blændet af en blitz, da mit billede blev taget.
Jo mere realistisk avataren ser ud og virker, jo mere er du engageret i, hvad der foregår.
Hvert billede kontrolleres omhyggeligt for fejl, ulige belysning og skygger (som kan forvirre computeren og ødelægge slutbilledet), og for eventuelle manglende billeder, hvor et kamera af en eller anden grund fejlede. Metapixels egen software, kaldet Capturing Reality, klarer derefter alt det tunge løft. Den samler hvert billede og kortlægger billedet på en maske og opbygger den endelige avatar. Det tog 10 til 15 minutter at opbygge den første fase, derefter yderligere 20 minutter at tilføje tekstur og farve.
Du ender med billedet, der ses her, en avatar så ægte, at det er skræmmende. Det betragtes også som kun "normal" kvalitet. Der er andre stadier, som øger detaljeringsgraden yderligere. Hele processen tog mindre end en time, inklusive hele kameraopsætningen og behandlingen.
Mulighederne
Hvad kan man gøre med din billedskønne avatar? Der er masser af spændende muligheder, men for Cooper handler det om virtual reality. "Kombiner dette med rigtig god kunstig intelligens, og verden bliver virkelig," sagde han. For eksempel som AI forbedres, fortalte han mig, kunne avatarer forstå, hvor du "søger" i et VR-spil og reagere i overensstemmelse hermed. Jo mere realistisk avataren ser ud og virker, jo mere er du engageret i, hvad der foregår.
Han pegede på arbejdet med animationsstudie 3Lateral, hvor foto-ægte avatarer ved at bruge ansigtssporingsteknologi spejler en skuespillers ansigtsudtryk og reaktioner, som bevis på, hvad der allerede arbejdes på. At stå ansigt til ansigt med det, der næsten er en levende, åndende person i et VR-spil eller miljø har potentialet til at ændre den måde, vi interagerer på og føler med in-game karakterer.
Der er også spændende potentiale i film. En skuespiller, der bliver scannet på denne måde, bliver i det væsentlige udødelig. Forestil dig, at skuespillere fortsætter med at arbejde, selv efter deres død, eller ringer til en scanning fra år siden for at spille en scene i som skuespilleren skal se yngre ud - alt dette er muligt med et digitalt gengivet, identisk udseende avatar. Det går et skridt ud over 3D-animation og kan bruge teknikkerne, der ses i motion capture.
Kombiner scanningen med en 3D-printer, og du har pludselig også fået helt perfekt udseende actionfigurer. Bring teknologien ind i museer og undervisningsmiljøer, og du vender tilbage til Coopers vision om karakterer, du tror på. Du kan en dag se og høre en historisk person fortælle historien om deres liv, med ægte følelser registreret på et ansigt, der ser ud til at være fuldstændig menneskeligt. Det er spændende ting, og mulighederne bliver ved med at dukke op, jo mere du tænker over det.
Næsten virkelighed
Vi er stadig et stykke tid fra at se alt dette i virkeligheden. Metapixel er kommet langt meget hurtigt; virksomheden byggede kun sin første kamerarig med 30 kameraer på det tidspunkt i slutningen af 2015. Mens den er udvidet, arbejdes der stadig på den brugerdefinerede software, og der er opgraderinger for at gøre fotooptagelsesprocessen mere effektiv på vej. Desuden er VR selv – den vigtigste drivende teknologi til Metapixel – stadig i sin vorden.
Metapixel tiltrækker masser af opmærksomhed for så ung en virksomhed, og den arbejder med en filmproduktion virksomhed, VR-udviklere og endda konferencearrangører for at levere personlige scanninger af hele kroppen på en USB-stick til alle deltagere. Forestil dig at have chancen for at bruge den avatar på en konference, der afholdes i virtual reality i fremtiden. Resultaterne er imponerende og spændende for det, der i virkeligheden er en tidlig teknologi. Vi kan ikke vente med at se det udvikle sig.
Redaktørernes anbefalinger
- Denne 8K-skærm har 3D-teknologi, der kan ses fra alle vinkler
- VZRs nye Model One-hovedtelefoner bringer 3D-lyd i audiofil kvalitet til gamere
- Doodles bliver til augmented reality-kunst med Snapchats nye 3D Paint-værktøj
- Har du ikke råd til dette stativhoved på 150 $? Bare 3D-print Edelkrone Ortak FlexTilt
- Ikea skaber et udvalg af 3D-printet tilgængelighedstilbehør til gamere
