Valokuvalliset VR-avatarit saavat sinut kyseenalaistamaan kaiken

Robbie Cooperilla, Metapixelin perustajilla, on visio. ”Haluan täysin animoituja, uskottavia hahmoja VR-peliin tai -ympäristöön, jotka reagoivat täysin luonnollisella tavalla. Tunne, että haluan ojentaa kätensä ja koskettaa heitä, koska he ovat niin todellisia. Sellainen VR-maailman pitäisi olla."

Hän ei vain haaveile siitä: Hän ja Metapikseliä tiimi työskentelee todella tehdäkseen sen mahdolliseksi. Käyttämällä uskomatonta kameralaitetta ja joitain räätälöityjä ohjelmistoja, Metapixel luo hämmästyttävän todenmukaisia ​​avatareja valokuvarealistisia ominaisuuksia, jotka perustuvat todellisen henkilön korkearesoluutioisiin kuviin, valmiina käytettäväksi peleissä, elokuvissa ja pidemmälle. Vierailimme Metapixelin toimistossa Brightonissa, Yhdistyneessä kuningaskunnassa nähdäksemme tekniikan toiminnassa ja luomassa oman avatarimme.

Todellinen valokuva-avatar

Kameralaite näyttää portaalilta toiseen ulottuvuuteen; riittää yksi sulkimen napsautus, jotta pääset halki galaksien tai ajan. Niitä on 102

Nikon D810 kamerat asennettuna, kaikki varustettu yhdellä kolmesta eri objektiivista - 50 mm, 85 mm tai 72-300 mm zoom.

Tähän ei tietenkään liity galaksia, mutta kun suljin vapautetaan, jokainen kamera ottaa 36 megapikselin RAW-muotoisen kuvan kohteesta lähes kaikista mahdollisista kulmista. Nämä kuvat siirretään sitten Metapixelin tietokonejärjestelmään, jossa ne käsitellään muutamassa sekunnissa. Noin seuraavan tunnin aikana ohjelmisto luo näytölle hämmästyttävän valokuvallisen avatarin, joka näyttää täsmälleen kohteen kaltaisena. Se on itse asiassa tekniikka ns fotogrammetria, jossa eri näkökulmista otetut valokuvat liitetään yhteen muodostamaan yksi 360 asteen renderöinti, joka muistuttaa 3D-kehoskannausta.

Ja kun sanon täsmälleen kuten aihe, tarkoitan sitä. Tulos on mieletön. Testatakseni sitä kutsuttiin seisomaan laitteiston keskelle ja ikuistamaan kuvani ikuisesti. Tämä on todennäköisesti ensimmäinen ja ainoa kerta, kun 102 kameraa osoitetaan suuntaani samanaikaisesti. Käski tuijottaa yhteen pisteeseen ja pysyä täysin paikallaan, kädet hieman auki epämiellyttävällä tavalla, odotin, kun kamerat olivat pohjustettuja - sitten sokaisin salama kuvani otettiin.

Jokainen kuva tarkistetaan huolellisesti virheiden, outo valaistuksen ja varjojen varalta (jotka voivat hämmentää tietokonetta ja pilata loppukuvan) sekä puuttuvien kuvien varalta, joissa kamera jostain syystä epäonnistui. Metapixelin oma ohjelmisto, nimeltään Capturing Reality, hoitaa sitten kaiken raskaan noston. Se kokoaa jokaisen valokuvan yhteen ja kartoittaa kuvan verkkoon ja muodostaa lopullisen avatarin. Ensimmäisen vaiheen rakentaminen kesti 10–15 minuuttia, sitten vielä 20 minuuttia tekstuurin ja värin lisäämiseen.

Päädyt tässä näkyvään kuvaan, avatarin, joka on niin todellinen, että se on pelottavaa. Sitä pidetään myös vain "normaalina" laatuna. On muitakin vaiheita, jotka lisäävät yksityiskohtaisuutta entisestään. Koko prosessi kesti alle tunnin, mukaan lukien kaikki kameran asetukset ja käsittely.

Mahdollisuudet

Mitä täydellisellä avatarillasi voi tehdä? Jännittäviä mahdollisuuksia on valtavasti, mutta Cooperille kyse on virtuaalitodellisuudesta. "Yhdistä tämä todella hyvään tekoälyyn ja maailmasta tulee todellinen", hän sanoi. Hän kertoi minulle esimerkiksi tekoälyn parantuessa, että avatarit voivat ymmärtää, mistä "katsot" VR-pelissä, ja reagoida sen mukaisesti. Mitä realistisemmalta avatar näyttää ja toimii, sitä enemmän olet kiinnostunut tapahtuvasta.

Hän korosti työtä animaatiostudio 3Lateral, jossa kasvojen seurantateknologian avulla valokuvatodelliset avatarit heijastavat näyttelijän ilmeitä ja reaktioita todisteena siitä, mitä parissa on jo työstetty. Kohtaamaan kasvokkain sen kanssa, mikä on melkein elävä, hengittävä ihminen VR-pelissä tai -ympäristössä voi muuttaa tapaamme olla vuorovaikutuksessa ja empatiaa pelin sisäisten hahmojen kanssa.

Myös elokuvissa on jännittävää potentiaalia. Tällä tavalla skannatusta näyttelijästä tulee pohjimmiltaan kuolematon. Kuvittele näyttelijöiden jatkavan työskentelyä jopa kuolemansa jälkeen tai soittavan vuosien takaiseen skannaukseen näytelläkseen kohtauksen joka näyttelijän tulee näyttää nuoremmalta – kaikki tämä on mahdollista digitaalisesti toistetulla, samannäköisellä hahmo. Se menee 3D-animaatiota pidemmälle ja voi käyttää liikkeenkaappauksessa nähtyjä tekniikoita.

Yhdistä skannaus 3D-tulostimella ja saat yhtäkkiä aivan täydellisen näköisiä toimintahahmoja. Tuo tekniikka museoihin ja opetusympäristöihin, ja palaat Cooperin näkemykseen hahmoista, joihin uskot. Saatat jonakin päivänä nähdä ja kuulla historiallisen henkilön kertovan tarinan elämästään todellisten tunteiden ilmentyessä kasvoille, jotka vaikuttavat täysin ihmisiltä. Se on jännittävää, ja mahdollisuudet tulevat esiin mitä enemmän ajattelet sitä.

Melkein todellisuutta

Olemme vielä hetken päässä näkemään tämän kaiken todellisuudessa. Metapikselit ovat edistyneet hyvin nopeasti; yritys rakensi ensimmäisen kameralaitteensa, jossa oli tuolloin 30 kameraa, vasta vuoden 2015 lopussa. Vaikka se on laajentunut, mukautettua ohjelmistoa kehitetään edelleen, ja päivityksiä on tulossa, jotta valokuvausprosessi tehostuu pian. Lisäksi itse VR – Metapixelin avaintekniikka – on vielä lapsenkengissään.

Metapixel herättää paljon huomiota niin nuoressa yrityksessä, ja se työskentelee elokuvatuotannon parissa yritys, VR-kehittäjät ja jopa konferenssien järjestäjät toimittamaan henkilökohtaisia ​​koko kehon skannauksia USB-tikulla kaikille osallistujia. Kuvittele, että sinulla on mahdollisuus käyttää tätä avataria tulevaisuudessa virtuaalitodellisuudessa pidettävässä konferenssissa. Tulokset ovat vaikuttavia ja jännittäviä varhaisen vaiheen teknologialle. Emme malta odottaa sen kehittyvän.

Toimittajien suositukset

• Tässä 8K-näytössä on 3D-tekniikka, jota voidaan katsella kaikista kulmista
• VZR: n uudet Model One -kuulokkeet tuovat pelaajille audiofiilisen laadukkaan 3D-äänen
• Doodleista tulee lisätyn todellisuuden taidetta Snapchatin uudella 3D Paint -työkalulla
• Eikö sinulla ole varaa tähän 150 dollarin kolmijalan päähän? Vain 3D-tulostus Edelkrone Ortak FlexTilt
• Ikea luo valikoiman 3D-tulostettuja esteettömyystarvikkeita pelaajille