Awake: Episode Ones volumetriske hologrammer er et nyt syn at se

Læs evt omfattende dækning af virtual reality og uden tvivl vil du støde på ordet "nedsænkning" mindst en eller to gange. Det er et relativt vagt udtryk for følelsen af ​​tilstedeværelse i den virtuelle verden, men det er så tæt på, som vi kommer at give et enestående referencepunkt til at måle en VR-udviklers succes med at skabe en troværdig erfaring.

De fleste udviklere bruger lignende teknik til at opnå fordybelse. De arbejder inden for grænserne af eksisterende virtual reality-headsets og laver små, high-fidelity-scener med binaural lyd. Hvis de gør et godt nok stykke arbejde, kan du finde dig selv at vandre ind i uhyggelig dal. Det er sjældent at bestige stigningen på den anden side - men det er præcis det Vågen fra virtual reality produktionshus Start VR forsøger at gøre.

Dens cirka 20 minutter lange første episode er en let interaktiv filmisk VR-oplevelse, der leverer en fængslende historie omkring temaet klar drøm. Men hvor spændende fortællingen end er, er det den volumetriske indfangningsteknik, der bruges til at lave den, der er 

Vågen's mest iøjnefaldende element.

Slutresultatet er karakterer med utroligt realistiske ansigtsudtryk, bevægelser og fagter. Dette er ingen ping-pong-bold motion capture. Det er noget helt andet.

** Milde spoilere til Vågen historien kan være til stede i det følgende interview.**

Så lange ping pong bolde, hej hologrammer

”Teknikken, der Vågen blev specifikt skrevet omkring er volumetrisk video,” forklarede skaberen og instruktøren Martin Taylor. "Så det er en ny type performance capture, der tager den fulde skuespillers præstation inklusive hele garderoben og det fulde udtryk og fanger dem som et filmisk hologram."

Dette er meget forskelligt fra de motion capture-teknikker, der bruges til at lave de fleste in-game-figurer til både virtual reality-oplevelser og mere traditionelle 2D-spil. Mens disse bruger prøver af bevægelser til at lave 3D-modeller, der er flået for at bringe virtuelle karakterer til live, optager volumetrisk optagelse hele personen. Inde og ude, så at sige.

"Den bruger en speciel rig med 106 kameraer med dybdesensorer, der alle peger mod et cylindrisk volumen i center og op til to skuespillere kan stå i det volumen og levere deres præstationer,” sagde Taylor til Digital Trends. "Alle disse kameraer og sensorer fanger det, og masser af behandling og software syr det sammen til en fuldstændig troværdig og solid digital kopi af ydelsen."

Det giver udviklerne ikke kun en nøjagtig 3D-repræsentation af, hvor disse skuespillere er, og hvordan de er poseret på et bestemt tidspunkt, men også et næsten fotorealistisk videoindtryk af dem.

"Den rå version af optagelserne er en enorm serie af OBJ-modeller, som alle er unikt forskellige fra hinanden og derefter en videotekstur, der er pakket over toppen," sagde Taylor.

Tidlige pionerer i dets brug, volumetrisk optagelse var ikke noget, Start VR kunne udføre alene. Det havde brug for Microsofts hjælp.

Den rigtige dansepartner

I et af de mere opløftende segmenter fra Vågen: Første afsnit, vores hovedperson, Harry, deler en dans med sin partner med billedet sprøjtet hen over væggen i spillet, som fra en usynlig projektor. Ligesom disse karakterer fandt hinanden i spillets univers, krævede Start VR en specifik partner til at hjælpe med at skabe de volumetriske præstationer, der udgør midtpunktet i Vågen erfaring.

"Vi lavede nogle meget grove tidlige tests med denne teknologi med en Microsoft Kinect og en Canon 7D kamera sluttede sig sammen, og resultaterne var komisk rå," forklarede Taylor. “Men der var bare noget i oplevelsen af ​​at være inde i VR og vide, at man ser på en ægte person […] Det tog dig lidt tættere på at komme over den uhyggelige dal for at give dig en meget forbundet erfaring. Det var et virkelig spændende øjeblik og meget tidligt i vores forretning.”

Oprindeligt undersøgte Start VR at udvikle sin egen volumetriske indfangningsrig, men kompleksiteten ved at administrere en sådan facilitet, samt omkostningerne ved at anskaffe og konfigurere så mange kameraer og dybdesensorer var for meget til at overveje.

Holdet brugte et par år på at se på lokale leverandører og studier med deres egne volumetriske optagelser. Ingen af ​​dem kunne gøre, hvad Start VR ville, som var at ikke kun optage optrædener, men være i stand til at genlyse dem efter optagelsen. Et af de mest unikke aspekter ved Vågen er, at spilleren, selvom den er begrænset i interaktive muligheder, kan frigive små lyssnavs fra deres virtuelle hænder, som kan oplyse skyggefulde områder af oplevelsen.

Det ene firma, der ville gøre dette muligt, samt levere den slags motion capture-system, Start VR havde brug for, var Microsoft.

»Det var først, da vi mødte op kl deres studie at vi indså, hvad der krævedes for at få dette til at fungere,” fortsatte Taylor. “Mængden af ​​computere, rå processorkraft, hardware og infrastruktur fik os til at tænke. Umiddelbart tænkte jeg, at der ikke var nogen måde, vi ville være i stand til at klare uden dette niveau af grynt.”

Fra stjerner til skærme

Når først skuespillernes præstationer er blevet fanget, var det ikke nemt at bringe dem ind i spilmiljøet. Start VR slog et spor inden for software såvel som hardware.

"Den anden store udfordring var at [opbygge] oplevelsen i Unreal engine," forklarede Taylor. "Pluginnet eksisterede ikke for at acceptere dynamisk belysning. Vi skulle lave grundlæggende funktioner som at skabe et ind-punkt og et ud-punkt. Hvis to karakterer blev filmet i samme bind, var vi nødt til at adskille dem og placere dem på hver sin side af rummet."

Da det var løst, og oplevelsen begyndte at samle sig, var det næste store problem optimering. Start VR arbejdede tæt sammen med Nvidia for at få oplevelsen til at køre problemfrit på en GTX 1080 Ti grafikkort og begyndte derefter at arbejde sig ned for at se, hvilken slags nedskæringer der kunne laves for at lade oplevelsen køre på svagere hardware.

Vågen tilbyder i øjeblikket to spilleformer. Hi-fi-muligheden er langt den mere behagelige oplevelse, selvom Start VR foreslår det en GTX 1080 som minimum påkrævet specifikation. Det lykkedes os at få det til at fungere på en AMD Radeon Fury X, men billedhastigheder stammede til tider. Standardindstillingen er meget mere tilgivende, men det visuelle tager et betydeligt hit.

Dette er måske ikke altid tilfældet med denne slags teknologi. Start VR CEO, Kain Tietzel fortalte Digital Trends, at han mener, at Nvidia kan udnytte skræddersyet hardware (måske beslægtet med Tensor- og RT-kernerne, der findes i sine RTX grafikkort) for at tilbyde forbedret ydeevne til volumetrisk videooptagelse.

"Ingen har virkelig skrevet noget specifikt for at håndtere denne form for gengivelse," sagde han. "Efterhånden som efterspørgslen stiger, og produktionen begynder at blive mere almindeligt sted, forestiller jeg mig, at vi starter ser Nvidia have dedikeret hardwareacceleration for at gøre ydeevnen større og mere realistisk."

Installationsstørrelsen var også en stor bekymring for Start VR.

"Den rå optagelse er 10 GB pr. sekund af rå volumetrisk optagelse, så der er meget arbejde, der går med at presse 15 minutter ind i en 10 GB [download]," sagde Taylor. "Den bruger det nyeste og bedste af alle plugins i Unreal Engine. Vi presser bestemt motoren til at gøre ting, den ikke gør. Vi arbejder på det dagligt."

Start VR kunne vælge modeller med endnu højere kvalitet, end den bruger nu. Tidligere implementeringer af volumetrisk optagelse som Factory 42'er"Hold Verden“ pædagogisk oplevelse hostet af David Attenborough, ser bedre ud end Vågen i nogle forstand. Det er fordi de leverer kun tre grader af bevægelse virtual reality-oplevelse. De fokuserer også al opmærksomheden på ansigtet og overkroppen.

"Du kan skubbe det polygonantal, vi tillader [ind Vågen] lige ind i ansigtet, og så bliver det superhøj opløsning,” forklarede Taylor. »Der er nogle afvejninger, vi vælger der. Vi har valgt at gå efter helkropsoptagelser, fordi vi ønsker, at folk skal kunne se hver del af karakteren, gå rundt om dem. Jeg har set folk rulle rundt på gulvet for at se, om karaktererne er vedholdende."

Leg med hologrammer

Efter al den indsats og særlige omtanke, der skal til for at lave Vågen volumetrisk oplevelse, er slutresultatet noget meget anderledes end hvad de fleste spillere vil være vant til. Karakterernes "tekstur" varierer fra ekstremt detaljerede på deres ansigter, til grove og slørede på sværere tilgængelige områder. Blandingen af ​​ekstremt realistisk bevægelse og noget blokerede modeller mindede os om Rockstars 2011-udgivelse, LA Noire med sin unikke visuelle stil. Eller som om nogen havde pakket en UHD-video over en original Xbox-karakters skal.

Det er langt fra perfekt, hvor teknologien især kæmper med huller mellem fingre og hår, og en lidt blokeret omrids af karaktererne. Men det er fængslende på en måde, der er sjældent at finde i virtuel eller nogen anden form for simuleret virkelighedsoplevelse, og det rummer et enormt potentiale for en anden slags interaktiv oplevelse.

Mens screenshots af Vågen kan have en uhyggelig dalstemning over dem, når du faktisk er inde Vågen verden, er der noget ved den volumetriske indfangning, der fuldstændig hindrer den depression. Skuespillerne ser ikke perfekte ud, men de ser ægte ud, og det er noget, der ikke kan siges om selv de bedste bevægelsesfangede CGI-modeller.

Denne fordybelse i den virtuelle verden forstærkes også på en eller anden måde ved at tvinge dig til at tage et skridt tilbage fra den. Du er ikke en deltager i denne verden. Du er en voyeur. For Start VR var det planen hele tiden.

"[Andre filmskabere] føler sig altid tvunget til at få de optrædende i scenen til at se på dig, kameraet, og jeg ved ikke, om det nødvendigvis virker hele tiden," sagde Tietzel til Digital Trends. "Hvis du konstant bliver behandlet, som om du skal ses på, tror jeg, det ændrer karakteren af ​​forestillingen, og jeg tror, ​​det er sjældent, at du rent faktisk ser troværdige præstationer, der spiller til et kamera, og det er meningen, at du skal reagere på dem."

https://www.facebook.com/startvr/photos/a.558965407540304/1534047166698785/

Dermed ikke sagt, at du aldrig føler dig involveret i scenen i Vågen. Der er øjeblikke, specielt udformede, hvor du ender i en karakters synslinje, hvilket giver dig undren over, om de kan se dig eller ej. Det trækker dig ikke ud af oplevelsen, men minder dig om din voyeuristiske roll i scenen. Om noget forstærker det, hvor personlig historien er, på trods af dens antydninger til en mere ekspansiv fortælling ud over denne første episode.

(Lucid) drømmer om fremtiden

Start VR har planlagt otte afsnit Vågen serie allerede, hvor Taylor allerede har brugt år på at skabe en historie, der er både personlig og ekspansiv. Efterhånden som disse episoder ruller ud, kan vi forvente en masse forbedringer, får vi at vide.

"Teknologien, nøjagtigheden, billedhastigheden vil ændre sig dramatisk," sagde Tietzel til Digital Trends. "Selv at forstå, hvordan vi lyser og dirigerer forestillinger - hvad der er den bedste måde at få forestillinger ud af skuespillerne i det rum, vil også ændre sig. Dette er en lærerig oplevelse."

Udover at udvide deres egen ekspertise med instruktører og udvikling af VR-spil, arbejder Start VR også med Microsoft for at fortsætte med at forbedre den volumetriske indfangningsteknik for at bringe nye rynker til det virtuelle lærred.

"At få karakteren til at bemærke dig er en måde at fortælle en historie på, og jeg tror allerede, at der er variationer på vej, hvor vi kan tilføje øjenlinjen," fremhævede Taylor. "Vi arbejder sammen med Microsoft om at kontrollere karakterens hovedbevægelse for at kunne dreje og låse på dig op til omkring 30 grader på hver side af den registrerede position […] Tvinger også folk til at gøre reaktive ting. Så der er øjeblikke, hvor karakteren rækker ud for at give dig noget. Føler du dig tvunget til at prøve at fjerne det fra dem? Det er de forskellige måder at forbinde med en karakter i stedet for bare at se på dem, vi prøver."

Start VR planlægger også at eksperimentere med flere miljøer (Vågen: Første afsnit foregår næsten udelukkende i én. Måske halvanden), men det er uden for den virtuelle virkelighed, som Taylor og Tietzel føler, at deres eksperimenter med volumetrisk indfangning vil være nemmest at mærke.

"Vi er allerede ved at udforske, hvad det kan betyde at bringe denne form for indfangning ind i augmented reality, og det virkelige liv i den virkelige verden er det næste skridt," sagde Tietzel. "Tidlige test på dette område har leveret nogle fascinerende resultater."

Disse oplevelser og Start VRs første afsnit af Vågen fremhæve det spændende potentiale ved volumetrisk optagelse. De omgås præstationshikke af teknologier som ray tracing for realistisk belysning i spillet og levere noget, der er troværdigt tæt på, selvom det stadig har et par skavanker.

Vågen: Første afsnit er et spændende første skridt i en narrativ rejse, men det er et endnu større spring for den teknologiske forbedring, der var med til at føde den til verden. Vi er spændte på hvad Vågen historie og de indfangningsteknologier, den forkæmper, kan udvikle sig til, og forestil dig, at vi vil se meget mere af dem begge i fremtiden.

Vågen: Første afsnit er tilgængelig på Damp og Viveport med en pris på $8.

Redaktørens anbefalinger

• At bringe VR's bedste Star Wars-spil til PlayStation VR2 var en no-brainer, siger udviklere
• Imponerende blandet virkelighed laser tag-spil kan være VR's nye es i hullet
• Hvis du vil have en Quest 2, så køb en, før den får en stor prisstigning i næste uge
• Hvad er golfen? efterfølger, Twilight Zone VR og mere vist på UploadVR stream
• Among Us VR, Ghostbusters og mere kommer til Meta Quest 2