Awake: Episode Ones volumetriske hologrammer er et nytt syn å se

Les noen omfattende dekning av virtuell virkelighet og utvilsomt vil du komme over ordet "nedsenking" minst en eller to ganger. Det er et relativt vagt begrep for følelsen av tilstedeværelse i den virtuelle verden, men det er så nært som vi kan komme å gi et enestående referansepunkt for å måle suksessen til en VR-utvikler med å lage en troverdig erfaring.

De fleste utviklere bruker lignende teknikk for å oppnå fordypning. De jobber innenfor grensene til eksisterende virtual reality-hodesett og lager småskala, høykvalitetsscener med binaural lyd. Hvis de gjør en god nok jobb, kan du finne deg selv å vandre inn i uhyggelig dal. Det er sjelden å klatre oppover på den andre siden - men det er akkurat det Våken fra produksjonshuset for virtuell virkelighet Start VR prøver å gjøre.

Den omtrent 20 minutter lange første episoden er en lett interaktiv filmisk VR-opplevelse som leverer en fengslende historie rundt temaet klare drømmer. Men så spennende som fortellingen er, er det den volumetriske fangstteknikken som brukes til å lage den som er 

Våken's mest slående element.

Sluttresultatet er karakterer med utrolig realistiske ansiktsuttrykk, bevegelser og gester. Dette er ingen ping-pong-ball-bevegelsesfangst. Det er noe helt annet.

** Milde spoilere for Awake's historien kan være til stede i det følgende intervjuet.**

Så lange pingpongballer, hallo hologrammer

«Teknikken som Våken ble spesielt skrevet rundt er volumetrisk video,” forklarte skaperen og regissøren Martin Taylor. "Så det er en ny type performance capture som tar hele skuespillerens prestasjon inkludert hele garderoben og det fulle uttrykket og fanger dem som et filmisk hologram."

Dette er veldig forskjellig fra motion capture-teknikkene som brukes til å lage de fleste karakterer i spillet for både virtuelle virkelighetsopplevelser og mer tradisjonelle 2D-spill. Mens de bruker prøver av bevegelser for å lage 3D-modellene som er skinnet for å bringe virtuelle karakterer til live, registrerer volumetrisk fangst hele personen. Innvendig og utvendig, for å si det sånn.

"Den bruker en spesiell rigg med 106 kameraer med dybdesensorer som alle peker mot et sylindrisk volum i sentrum og opptil to skuespillere kan stå i det volumet og levere sine forestillinger, sa Taylor til Digital Trender. "Alle disse kameraene og sensorene fanger det, og massevis av prosessering og programvare syr det sammen til en fullstendig troverdig og solid digital kopi av ytelsen."

Det gir utviklerne ikke bare en nøyaktig 3D-representasjon av hvor disse skuespillerne er og hvordan de er posert til enhver tid, men et nesten fotorealistisk videoinntrykk av dem også.

"Råversjonen av fangstene er en enorm serie med OBJ-modeller som alle er unikt forskjellige fra hverandre og deretter en videotekstur som er pakket over toppen," sa Taylor.

Tidlige pionerer i bruken, volumetrisk fangst var ikke noe Start VR kunne utføre alene. Den trengte Microsofts hjelp.

Den rette dansepartneren

I et av de mer oppløftende segmentene fra Awake: Episode én, vår hovedperson, Harry, deler en dans med partneren sin med bildet sprutet over veggen i spillet som fra en usett projektor. Akkurat som disse karakterene fant hverandre i spillets univers, krevde Start VR en spesifikk partner for å hjelpe til med å skape de volumetriske forestillingene som utgjør midtpunktet i Awake's erfaring.

"Vi gjorde noen veldig grove tidlige tester med denne teknologien med en Microsoft Kinect og a Canon 7D kamera slo seg sammen og resultatene var komisk grove,” forklarte Taylor. "Men det var bare noe i opplevelsen av å være inne i VR og vite at du ser på en ekte person […] Det tok deg litt nærmere å komme deg over den uhyggelige dalen for å gi deg en veldig tilkoblet erfaring. Det var et veldig spennende øyeblikk og veldig tidlig i vår virksomhet.»

Til å begynne med så Start VR på å utvikle sin egen volumetriske fangstrigg, men kompleksiteten ved å administrere et slikt anlegg, i tillegg til kostnadene ved å anskaffe og konfigurere så mange kameraer og dybdesensorer var for mye til å ta i betraktning.

Teamet brukte et par år på å se på lokale leverandører og studioer med sine egne volumetriske opptaksoppsett. Ingen av dem kunne gjøre det Start VR ønsket, som var å ikke bare spille inn forestillinger, men kunne tenne dem på nytt etter innspilling. En av de mest unike aspektene ved Våken er at spilleren, selv om den er begrenset i interaktive muligheter, kan frigjøre små lysflekker fra sine virtuelle hender, noe som kan opplyse skyggefulle områder av opplevelsen.

Det ene selskapet som ville gjøre dette mulig, i tillegg til å levere den typen bevegelsesfangstsystem Start VR trengte, var Microsoft.

«Det var ikke før vi dukket opp kl studioet deres at vi innså hva som kreves for å få dette til å fungere,” fortsatte Taylor. "Mengden av datamaskiner, rå prosessorkraft, maskinvare og infrastruktur fikk oss til å tenke. Umiddelbart tenkte jeg at det ikke var mulig at vi ville klare dette uten dette nivået av grynt.»

Fra stjerner til skjermer

Når skuespillernes prestasjoner først har blitt fanget, var det ingen enkel prestasjon å bringe dem inn i spillmiljøet. Start VR satte spor i programvare så vel som maskinvare.

"Den andre store utfordringen var å [bygge] opplevelsen i Unreal engine," forklarte Taylor. "Pluginen eksisterte ikke for å akseptere dynamisk belysning. Vi måtte gjøre grunnleggende funksjoner som å lage et inn-punkt og et ut-punkt. Hvis to karakterer ble filmet i samme volum, måtte vi dele dem fra hverandre og sette dem på forskjellige sider av rommet.»

Når det var løst og opplevelsen begynte å samle seg, var det neste store problemet optimalisering. Start VR jobbet tett med Nvidia for å få opplevelsen til å fungere problemfritt på en GTX 1080 Ti grafikkort og begynte deretter å jobbe seg ned for å se hva slags kutt som kunne gjøres for å la opplevelsen kjøre på svakere maskinvare.

Våken tilbyr for tiden to spillemoduser. Hi-fi-alternativet er langt den morsommere opplevelsen, selv om Start VR foreslår det en GTX 1080 som minimum nødvendig spesifikasjon. Vi klarte å få det til å fungere på en AMD Radeon Fury X, men bildefrekvensene stammet til tider. Standardalternativet er mye mer tilgivende, men det visuelle tar en betydelig trøkk.

Dette er kanskje ikke alltid tilfelle med denne typen teknologi. Start VR-sjef, Kain Tietzel fortalte Digital Trends at han tror Nvidia kan utnytte skreddersydd maskinvare (kanskje i likhet med Tensor- og RT-kjernene som finnes i sine RTX-grafikkort) for å tilby forbedret ytelse for volumetrisk videoopptak.

"Ingen har egentlig skrevet noe spesifikt for å håndtere denne typen gjengivelse," sa han. «Når etterspørselen øker og produksjonen begynner å bli mer vanlig sted, ser jeg for meg at vi starter ser at Nvidia har dedikert maskinvareakselerasjon for å gjøre ytelsene større og mer realistisk."

Installasjonsstørrelsen var også en stor bekymring for Start VR.

"Råopptaket er 10 GB per sekund med rå volumetrisk fangst, så det er mye arbeid som går med å presse 15 minutter inn i en 10 GB [nedlasting]," sa Taylor. "Den bruker den nyeste og beste av alle pluginene i Unreal Engine. Vi presser definitivt motoren til å gjøre ting den ikke gjør. Vi jobber med det daglig.»

Start VR kan velge enda høyere troskapsmodeller enn den bruker nå. Tidligere implementeringer av volumetrisk fangst som Factory 42's "Hold verden“ pedagogisk erfaring arrangert av David Attenborough, ser bedre ut enn Våken i noen forstand. Det er fordi de leverer kun tre grader av virtuell virkelighetsopplevelse i bevegelse. De fokuserer også all oppmerksomheten på ansiktet og overkroppen.

"Du kan presse polygonantallet vi tillater [inn Våken] bare inn i ansiktet og så blir det superhøy oppløsning,” forklarte Taylor. "Det er noen avveininger vi velger der. Vi har valgt å gå for hele kroppsfangster fordi vi vil at folk skal kunne se hver del av karakteren, gå rundt dem. Jeg har sett folk rulle rundt på gulvet for å se om karakterene er utholdende.»

Leker med hologrammer

Etter all innsatsen og den spesielle omtanken som trengs for å lage Awake's volumetrisk opplevelse, er sluttresultatet noe helt annet enn det de fleste spillere vil være vant til. "Teksturen" til karakterene varierer fra ekstremt detaljerte ansikter, til grove og uskarpe på vanskeligere tilgjengelige områder. Blandingen av ekstremt realistisk bevegelse og litt blokkerte modeller minnet oss om Rockstars 2011-utgivelse, LA Noire med sin unike visuelle stil. Eller som om noen hadde pakket en UHD-video over en original Xbox-karakters skall.

Det er langt fra perfekt, med teknologien som sliter spesielt med hull mellom fingre og hår, og en litt blokkete kontur av karakterene. Men det er fengslende på en måte som er sjelden å finne i virtuell eller noen annen form for simulert virkelighetsopplevelse, og den har et stort potensial for en annen type interaktiv opplevelse.

Mens skjermbilder av Våken kan ha en uhyggelig dalstemning for dem når du faktisk er inne Awake's verden, er det noe med den volumetriske fangsten som hindrer den depresjonen fullstendig. Skuespillerne ser ikke perfekte ut, men de ser ekte ut, og det er noe som ikke kan sies om selv de beste bevegelsesfangede CGI-modellene.

Den nedsenkingen i den virtuelle verdenen blir også på en eller annen måte forbedret ved å tvinge deg til å ta et skritt tilbake fra den. Du er ikke en deltaker i denne verden. Du er en voyeur. For Start VR var det planen hele tiden.

"[Andre filmskapere] føler seg alltid tvunget til å få utøverne i scenen til å se på deg, kameraet, og jeg vet ikke om det nødvendigvis fungerer hele tiden," sa Tietzel til Digital Trends. "Hvis du hele tiden blir behandlet som om du må bli sett på, tror jeg det endrer karakteren til forestillingen og jeg tror det er sjelden du faktisk ser troverdige forestillinger som spiller mot et kamera og det er meningen at du skal reagere på dem."

https://www.facebook.com/startvr/photos/a.558965407540304/1534047166698785/

Det er ikke dermed sagt at du aldri føler deg involvert i scenen i Våken. Det er øyeblikk, spesielt utformede, hvor du havner i synsfeltet til en karakter, noe som gir deg støt av undring om hvorvidt de kan se deg eller ikke. Det trekker deg ikke ut av opplevelsen, men minner deg om din voyeuristiske roll i scenen. Om noe, forsterker det hvor personlig historien er, til tross for dens hint om en mer ekspansiv fortelling utover denne første episoden.

(Lucid) drømmer om fremtiden

Start VR har åtte episoder planlagt Våken serie allerede, med Taylor som allerede har brukt år på å lage en historie som er både personlig og ekspansiv. Når disse episodene ruller ut, kan vi forvente mange forbedringer, blir vi fortalt.

"Teknologien, nøyaktigheten, bildefrekvensen kommer til å endre seg dramatisk," sa Tietzel til Digital Trends. "Selv å forstå hvordan vi lyser og regisserer forestillinger - hva som er den beste måten å få forestillinger ut av skuespillerne i det rommet, vil også endre seg. Dette er en lærerik opplevelse.»

I tillegg til å utvide sin egen ekspertise med regi av skuespillere og VR-spillutvikling, jobber Start VR også med Microsoft for å fortsette å forbedre den volumetriske fangstteknikken for å bringe nye rynker til det virtuelle lerret.

"Å la karakteren legge merke til deg er en måte å fortelle en historie på, og allerede tror jeg det er variasjoner på vei der vi kan legge til øyelinje," fremhevet Taylor. "Vi jobber med Microsoft for å kontrollere karakterens hodebevegelse for å kunne snu og låse på deg opp til omtrent 30 grader på hver side av den registrerte posisjonen […] Tvinger også folk til å gjøre reaktive ting. Så det er øyeblikk hvor karakteren strekker seg ut for å gi deg noe. Føler du deg tvunget til å prøve å ta det av dem? Det er de forskjellige måtene å få kontakt med en karakter i stedet for bare å se på dem vi prøver."

Start VR planlegger også å eksperimentere med flere miljøer (Awake: Episode én foregår nesten utelukkende i ett. Kanskje en og en halv), men det er utenfor omfanget av virtuell virkelighet som Taylor og Tietzel føler at deres eksperimenter med volumetrisk fangst vil bli lettest følt.

"Vi utforsker allerede hva det kan bety å bringe denne typen fangst inn i utvidet virkelighet, og forestillinger i den virkelige verden er neste steg," sa Tietzel. "Tidlige tester på dette området har gitt noen fascinerende resultater."

Disse opplevelsene og Start VRs første episode av Våken fremheve det spennende potensialet til volumetrisk fangst. De omgår ytelseshikke ved teknologier som strålesporing for realistisk belysning i spillet og levere noe som er troverdig på nært hold, selv om det fortsatt har noen skavanker.

Awake: Episode én er et spennende første skritt i en narrativ reise, men det er et enda større sprang for den teknologiske forbedringen som bidro til å føde den til verden. Vi er spente på hva Awake's historien og fangstteknologiene den forkjemper kan utvikle seg til, og forestill deg at vi kommer til å se mye mer av dem begge i fremtiden.

Awake: Episode én er tilgjengelig på Damp og Viveport med en pris på $8.

Redaktørenes anbefalinger

• Å bringe VRs beste Star Wars-spill til PlayStation VR2 var en enkel sak, sier utviklerne
• Imponerende blandet virkelighet laser tag-spill kan være VRs nye ess i hullet
• Hvis du vil ha en Quest 2, kjøp en før den får en stor prisøkning neste uke
• Hva er golfen? oppfølger, Twilight Zone VR og mer vist på UploadVR-strømmen
• Among Us VR, Ghostbusters og flere kommer til Meta Quest 2