Awake: Episode One -sarjan volumetriset hologrammit ovat uusi näkemys

Lue mitä tahansa laaja kattavuus virtuaalitodellisuudesta ja epäilemättä törmäät sanaan "upotus" ainakin kerran tai kahdesti. Se on suhteellisen epämääräinen termi läsnäolon tunteelle virtuaalimaailmassa, mutta se on niin lähellä kuin saamme. tarjota ainutlaatuinen vertailukohta arvioitaessa VR-kehittäjän menestystä uskottavan kokea.

Useimmat kehittäjät käyttävät samanlaista tekniikkaa upotuksen saavuttamiseksi. Ne toimivat olemassa olevien virtuaalitodellisuuskuulokkeiden rajoissa ja luovat pienimuotoisia, korkealaatuisia kohtauksia binauraalisella äänellä. Jos he tekevät tarpeeksi hyvää työtä, saatat löytää itsesi vaeltavasi sisään kummallinen laakso. On harvinaista kiivetä nousuun toisella puolella – mutta se on juuri sitä Hereillä virtuaalitodellisuuden tuotantotalosta Käynnistä VR yrittää tehdä.

Sen noin 20 minuuttia kestävä ensimmäinen jakso on kevyesti interaktiivinen elokuvamainen VR-kokemus, joka tarjoaa mukaansatempaavan tarinan selkeän unen teemasta. Mutta niin kiehtova kuin kerronta onkin, se on sen luomiseen käytetty volumetrinen kaappaustekniikka 

Hereilläsilmiinpistävin elementti.

Lopputuloksena on hahmoja, joilla on uskomattoman realistiset ilmeet, liikkeet ja eleet. Tämä ei ole pingispallon liikkeen sieppausta. Se on jotain aivan muuta.

**Liedot spoilerit Awake's tarina voi olla läsnä seuraavassa haastattelussa.**

Niin pitkiä pingispalloja, hei hologrammeja

"Tekniikka, joka Hereillä oli erityisesti kirjoitettu volyymivideon ympärille”, selitti luoja ja ohjaaja Martin Taylor. "Se on siis uudenlainen esityksen kaappaus, joka ottaa näyttelijän suorituksen kokonaisuudessaan, mukaan lukien koko vaatekaappi ja täyden ilmeen, ja vangitsee ne elokuvallisena hologrammina."

Tämä eroaa suuresti liikkeenkaappaustekniikoista, joita käytetään useimpien pelihahmojen luomiseen sekä virtuaalitodellisuuteen että perinteisempiin 2D-peleihin. Vaikka ne käyttävät näytteitä liikkeistä luodakseen 3D-malleja, jotka on nyljetty virtuaalisten hahmojen herättämiseksi eloon, volyymikaappaus tallentaa koko henkilön. Niin sanotusti sisältä ja ulkoa.

"Se käyttää erityistä laitetta, jossa on 106 kameraa ja syvyysanturit, jotka kaikki osoittavat kohti sylinterimäistä tilavuutta keskellä ja jopa kaksi näyttelijää voi seistä siinä volyymissa ja esittää esityksensä", Taylor kertoi Digitalille Trendit. "Kaikki nämä kamerat ja anturit tallentavat sen, ja monet käsittelyt ja ohjelmistot yhdistävät sen täysin uskottavaksi ja vankkaksi digitaaliseksi kopioksi suorituskyvystä."

Tämä antaa kehittäjille paitsi tarkan 3D-esityksen siitä, missä kyseiset näyttelijät ovat ja miten he poseerataan tiettynä ajankohtana, vaan myös lähes valokuvarealistisen videovaikutelman heistä.

"Kaappausten raakaversio on valtava sarja OBJ-malleja, jotka ovat kaikki ainutlaatuisesti erilaisia, ja sitten videotekstuuri, joka on kääritty päälle", Taylor sanoi.

Sen käytön varhaiset pioneerit, volumetrinen kaappaus ei ollut jotain, mitä Start VR pystyisi suorittamaan yksin. Se tarvitsi Microsoftin apua.

Oikea tanssikumppani

Yhdessä kohottavammista osista alkaen Awake: Episode One, päähenkilömme Harry jakaa tanssin kumppaninsa kanssa kuvan roiskuessa pelin sisäisen seinän poikki ikään kuin jostain näkymättömästä projektorista. Aivan kuten nämä hahmot löysivät toisensa pelin universumissa, Start VR vaati tietyn kumppanin auttamaan luomaan volyymia esityksiä, jotka muodostavat pelin keskipisteen. Awake's kokea.

"Teimme joitakin erittäin karkeita varhaisia ​​testejä tällä tekniikalla a Microsoft Kinect ja a Canon 7D kamera yhdistettiin ja tulokset olivat koomisen karkeita”, Taylor selitti. "Mutta kokemuksessa oli vain jotain olla VR: n sisällä ja tietää katsovansa todellista henkilö […] Se vei sinut hieman lähemmäksi päästäksesi yli järjettömän laakson, jotta saisit hyvin yhteyden kokea. Se oli todella jännittävä hetki ja hyvin varhainen liiketoimintamme.”

Aluksi Start VR harkitsi oman volyymin talteenottolaitteiston kehittämistä, mutta tällaisen laitoksen hallinnan monimutkaisuus sekä niin monen kameran ja syvyyssensorin hankintaan ja konfigurointiin liittyvät alkukustannukset olivat liian suuria harkita.

Tiimi vietti pari vuotta paikallisten toimittajien ja studioiden tarkastelun omilla volyymikaappauskokoonpanoillaan. Kukaan heistä ei voinut tehdä sitä, mitä Start VR halusi, eli ei vain nauhoittaa esityksiä, vaan kyetä valaisemaan ne uudelleen tallennuksen jälkeen. Yksi ainutlaatuisimmista puolista Hereillä on se, että pelaaja, vaikkakin interaktiiviset mahdollisuudet ovat rajalliset, voi vapauttaa virtuaalisista käsistään pieniä valopilkkuja, jotka voivat valaista kokemuksen varjoisia alueita.

Ainoa yritys, joka teki tämän mahdolliseksi ja toimitti Start VR: n tarvitseman liikkeenkaappausjärjestelmän, oli Microsoft.

"Vasta kun saavuimme klo heidän studionsa että ymmärsimme, mitä vaadittiin, jotta tämä toimisi”, Taylor jatkoi. ”Tietokoneiden määrä, raaka prosessointiteho, laitteisto ja infrastruktuuri sai meidät ajattelemaan. Ajattelin heti, että emme voi mitenkään selviytyä tästä ilman tällaista murinaa."

Tähdistä näyttöihin

Kun näyttelijöiden esitykset on vangittu, heidän tuominen peliympäristöön oli helppoa. Start VR loi jälkensä ohjelmistojen ja laitteistojen osalta.

"Toinen suuri haaste oli Unreal-moottorin kokemuksen rakentaminen", Taylor selitti. "Lisäosaa ei ollut olemassa dynaamisen valaistuksen hyväksymiseksi. Meidän piti tehdä perustoimintoja, kuten luoda sisään- ja ulostulopiste. Jos kaksi hahmoa kuvattiin samalla äänenvoimakkuudella, meidän oli jaettava ne erilleen ja asetettava ne huoneen eri puolille."

Kun se oli ratkaistu ja kokemus alkoi tulla yhteen, seuraava suuri ongelma oli optimointi. Start VR teki tiivistä yhteistyötä Nvidian kanssa saadakseen kokemuksen toimimaan sujuvasti GTX 1080 Ti -näytöllä näytönohjain ja sitten alkoi työskennellä tiensä alas nähdäkseen, millaisia ​​leikkauksia voitaisiin tehdä, jotta kokemus toimisi heikoimmalla laitteistolla.

Hereillä tarjoaa tällä hetkellä kaksi pelitilaa. High Fidelity -vaihtoehto on ylivoimaisesti nautittavampi kokemus, vaikka Start VR ehdottaakin sitä GTX 1080 vähimmäisvaatimuksena. Onnistuimme saamaan sen toimimaan AMD Radeon Fury X: llä, mutta kuvanopeudet pätkivät toisinaan. Vakiovaihtoehto on paljon anteeksiantavampi, mutta visuaalisuus saa merkittävän osuman.

Tämä ei kuitenkaan välttämättä aina pidä paikkaansa tämänkaltaisen tekniikan kanssa. Start VR: n toimitusjohtaja Kain Tietzel kertoi Digital Trendsille, että hän uskoo, että Nvidia voi hyödyntää räätälöityjä laitteistoja (ehkä muistuttaa Tensor- ja RT-ytimiä, jotka löytyvät sen RTX-näytönohjaimet).

"Kukaan ei ole todella kirjoittanut mitään erityistä käsittelemään tällaista renderöintiä", hän sanoi. ”Kun kysyntä kasvaa ja tuotanto alkaa yleistyä, uskon, että aloitamme nähdä Nvidialla omistetun laitteistokiihdytyksen suorituskyvyn parantamiseksi ja lisäämiseksi realistinen."

Asennuskoko oli myös suuri huolenaihe Start VR: lle.

"Raakakaappaus on 10 Gt sekunnissa raakaa volyymia, joten 15 minuutin puristaminen 10 Gt: n [lataukseen] vaatii paljon työtä", Taylor sanoi. "Se käyttää uusinta ja parasta Unreal Enginen laajennuksista. Työnnämme ehdottomasti moottoria tekemään asioita, joita se ei luonnollisesti tee. Työskentelemme sen parissa päivittäin."

Start VR voisi valita nykyistäkin korkeamman tarkkuuden mallit. Volumetrisen sieppauksen aikaisemmat toteutukset, kuten Tehdas 42"Pidä maailmaa“ David Attenboroughin isännöimä koulutuskokemus, näyttää paremmalta kuin Hereillä jossain mielessä. Tämä johtuu siitä, että ne tarjoavat vain kolmen asteen liikkeen virtuaalitodellisuuden kokemuksen. He myös keskittävät kaiken huomion kasvoihin ja ylävartaloon.

"Voit työntää sallimamme polygonien lukumäärän [sisään Hereillä] vain kasvoihin ja sitten siitä tulee erittäin korkea resoluutio", Taylor selitti. "Valitsemme siellä joitain kompromisseja. Olemme valinneet koko kehon vangitsemisen, koska haluamme ihmisten näkevän hahmon jokaisen osan ja kävellä niiden ympärillä. Olen nähnyt ihmisten pyörivän lattialla nähdäkseen, ovatko hahmot sitkeitä."

Hologrammeilla leikkiminen

Kaiken työskentelyn ja erityishuomion jälkeen Awake's Volumetrinen kokemus, lopputulos on jotain hyvin erilaista kuin mihin useimmat pelaajat ovat tottuneet. Hahmojen "tekstuuri" vaihtelee äärimmäisen yksityiskohtaisista kasvoiltaan karkeisiin ja epäselviin vaikeapääsyisillä alueilla. Sekoitus äärimmäisen realistista liikettä ja hieman raakoja malleja toi mieleen Rockstarin vuoden 2011 julkaisun, La Noire ainutlaatuisella visuaalisella tyylillään. Tai ikään kuin joku olisi käärinyt UHD-videon alkuperäisen Xbox-hahmon kuoren päälle.

Se ei ole kaikkea muuta kuin täydellinen, sillä tekniikka kamppailee erityisesti sormien ja karvojen välisten aukkojen ja hahmojen hieman hajanaisen ääriviivan kanssa. Mutta se on kiehtova tavalla, jota on harvinaista löytää virtuaali- tai muussa simuloidussa todellisuuskokemuksessa, ja siinä on valtava potentiaali toisenlaiseen interaktiiviseen kokemukseen.

Vaikka kuvakaappauksia Hereillä heillä voi olla uskomaton laaksotunnelma, kun olet todella sisällä Awake's Volumetrisessa kaappauksessa on jotain, joka estää masennuksen kokonaan. Näyttelijät eivät näytä täydellisiltä, ​​mutta he näyttävät aidolta, ja sitä ei voida sanoa edes parhaista liikkeestä tallennetuista CGI-malleista.

Sitä virtuaalimaailmaan uppoamista myös jollain tavalla tehostaa, kun se pakottaa sinut ottamaan askeleen taaksepäin. Et ole osallinen tässä maailmassa. Olet tirkistelijä. Start VR: lle se oli koko ajan suunnitelma.

"[Muut elokuvantekijät] tuntevat aina pakkoa saada esiintyjät katsomaan sinua, kameraa, enkä tiedä, toimiiko se välttämättä koko ajan", Tietzel kertoi Digital Trendsille. ”Jos sinua kohdellaan jatkuvasti niin kuin sinua pitäisi katsoa, ​​uskon, että se muuttaa esityksen luonnetta ja minä luulen olevan harvinaista, että näet uskottavia esityksiä kameran edessä ja sinun on tarkoitus reagoida niitä."

https://www.facebook.com/startvr/photos/a.558965407540304/1534047166698785/

Tämä ei tarkoita, ettet koskaan tunne olevansa mukana kohtauksessa Hereillä. On hetkiä, erityisesti muotoiltuja, jolloin päädyt hahmon näkökenttään, jolloin saat ihmettelyjä siitä, näkevätkö he sinut vai eivät. Se ei vedä sinua pois kokemuksesta, mutta muistuttaa sinua tirkistelijästäsi kohtauksessa. Jos mikä tahansa, se parantaa tarinan persoonallisuutta huolimatta vihjeistä laajemmalle kerronnalle tämän ensimmäisen jakson jälkeen.

(Lucid) unelmoi tulevaisuudesta

Start VR: lle on suunniteltu kahdeksan jaksoa Hereillä Taylor on jo vuosia luonut tarinaa, joka on sekä henkilökohtainen että laaja. Meille kerrotaan, kun nämä jaksot tulevat markkinoille, voimme odottaa paljon parannuksia.

"Teknologia, tarkkuus ja kuvanopeus muuttuvat dramaattisesti", Tietzel kertoi Digital Trendsille. ”Jopa ymmärrys siitä, miten esityksiä valaisemme ja ohjaamme – mikä on paras tapa saada esitykset näyttelijöiltä tuossa tilassa, muuttuu myös. Tämä on oppimiskokemus.”

Sen lisäksi, että Start VR laajentaa omaa osaamistaan ​​ohjaajilla ja VR-pelikehityksellä, myös Start VR toimii Microsoftin kanssa jatkamaan volumetrisen sieppaustekniikan parantamista tuodakseen uusia ryppyjä virtuaalimaailmaan kangas.

"Hahmon huomioiminen on yksi tapa kertoa tarina, ja jo nyt luulen, että on tulossa muunnelmia, joihin voimme lisätä silmärajaa", Taylor korosti. "Teemme yhteistyötä Microsoftin kanssa hallitaksemme hahmon pään liikettä, jotta hän voi kääntyä ja lukittua sinuun jopa noin 30 astetta tallennetun asennon molemmin puolin […] Pakottaa myös ihmiset reagoimaan. Joten on hetkiä, jolloin hahmo ojentaa kätensä antaakseen sinulle jotain. Onko sinulla pakko yrittää poistaa se heiltä? Yritämme niitä eri tapoja saada yhteys hahmoon sen sijaan, että vain katsoisimme heitä."

Start VR aikoo myös kokeilla useita ympäristöjä (Awake: Episode One tapahtuu lähes yksinomaan yhdessä. Ehkä puolitoista), mutta se on virtuaalitodellisuuden ulkopuolella, minkä Taylor ja Tietzel uskovat, että heidän kokeilunsa tilavuuskaappauksella on helpoimmin havaittavissa.

"Tutkimme jo, mitä voisi tarkoittaa tällaisen kaappauksen tuominen lisättyyn todellisuuteen, ja tosielämän esitykset todellisessa maailmassa ovat seuraava askel", Tietzel sanoi. "Varhaiset testit tällä alueella ovat tuottaneet kiehtovia tuloksia."

Nämä kokemukset ja Start VR: n ensimmäinen jakso Hereillä korostaa volyymikaappauksen jännittäviä mahdollisuuksia. He ohittavat teknologioiden, kuten säteenseurannan, suorituskykyhäiriöt realistista pelin sisäistä valaistusta ja tuottaa jotain, joka on uskottavaa läheltä, vaikka siinä olisi vielä joitain virheitä.

Awake: Episode One on jännittävä ensimmäinen askel narratiivisella matkalla, mutta se on vielä suurempi harppaus teknologiselle parannukselle, joka auttoi synnyttämään sen maailmaan. Olemme innoissamme mistä Awake's tarina ja sieppausteknologiat voivat kehittyä, ja kuvittele, että näemme niitä molempia paljon enemmän tulevaisuudessa.

Awake: Episode One on saatavilla osoitteessa Steam ja Viveport hintaan 8 dollaria.

Toimittajien suositukset

• VR: n parhaan Star Wars -pelin tuominen PlayStation VR2:lle oli turhaa, kehittäjät sanovat
• Vaikuttava sekatodellisuuden lasertunnistepeli saattaa olla VR: n uusi ässä
• Jos haluat Quest 2:n, osta sellainen ennen kuin se saa suuren hinnannousun ensi viikolla
• Mikä Golf? jatko-osa, Twilight Zone VR ja paljon muuta näytetään UploadVR-streamissa
• Meta Quest 2:een tulossa Meta Quest 2:ssa Meta Us VR: ää, Ghostbustersia ja paljon muuta