Awake: Episod Ones volumetriska hologram är en ny syn att se

Läs någon omfattande täckning av virtuell verklighet och utan tvekan kommer du att stöta på ordet "nedsänkning" minst en eller två gånger. Det är en relativt vag term för känslan av närvaro i den virtuella världen, men det är så nära vi kan komma att tillhandahålla en unik referenspunkt för att mäta framgången för en VR-utvecklare med att skapa en trovärdig erfarenhet.

De flesta utvecklare använder liknande teknik för att uppnå nedsänkning. De arbetar inom gränserna för befintliga virtual reality-headset och skapar småskaliga, högtrogna scener med binauralt ljud. Om de gör ett tillräckligt bra jobb, kan du hitta dig själv att vandra in i kuslig dal. Det är sällsynt att klättra uppför stigen på andra sidan - men det är precis vad Vaken från ett produktionshus för virtuell verklighet Starta VR försöker göra.

Dess ungefär 20 minuter långa första avsnitt är en lätt interaktiv filmisk VR-upplevelse som ger en fängslande historia kring temat klara drömmar. Men hur spännande berättelsen än är, det är den volymetriska fångsttekniken som används för att skapa den som är 

Vakenmest slående element.

Slutresultatet är karaktärer med otroligt realistiska ansiktsuttryck, rörelser och gester. Detta är ingen ping-pong-ball motion capture. Det är något helt annat.

**Milda spoilers för Vaknas berättelsen kan finnas med i följande intervju.**

Så långa pingisbollar, hej hologram

”Tekniken som Vaken skrevs specifikt kring är volymetrisk video”, förklarade skaparen och regissören Martin Taylor. "Så det är en ny typ av föreställningsfångst som tar hela skådespelarens prestation inklusive hela garderoben och hela uttrycket och fångar dem som ett filmiskt hologram."

Detta skiljer sig mycket från de motion capture-tekniker som används för att skapa de flesta karaktärer i spelet för både virtuell verklighetsupplevelser och mer traditionella 2D-spel. Medan de använder prover av rörelser för att skapa 3D-modeller som är skalade för att ge virtuella karaktärer liv, registrerar volymetrisk fångst hela personen. Inifrån och ut så att säga.

"Den använder en speciell rigg med 106 kameror med djupsensorer som alla pekar mot en cylindrisk volym i center och upp till två skådespelare kan stå i den volymen och leverera sina framträdanden, säger Taylor till Digital Trender. "Alla dessa kameror och sensorer fångar det, och massor av bearbetning och mjukvara syr ihop det till en helt trovärdig och solid digital kopia av prestandan."

Det ger utvecklarna inte bara en korrekt 3D-representation av var dessa skådespelare befinner sig och hur de poserar vid en viss tidpunkt, utan ett nära nog fotorealistiskt videointryck av dem också.

"Den råa versionen av inspelningarna är en enorm serie av OBJ-modeller som alla är unikt olika varandra och sedan en videotextur som är lindad över toppen," sa Taylor.

Tidiga pionjärer i dess användning, volymetrisk infångning var inte något som Start VR kunde utföra ensam. Det behövde Microsofts hjälp.

Rätt danspartner

I ett av de mer upplyftande segmenten från Vaken: Avsnitt ett, vår huvudperson, Harry, delar en dans med sin partner med bilden stänkt över väggen i spelet som från någon osynlig projektor. Precis som dessa karaktärer hittade varandra i spelets universum, krävde Start VR en specifik partner för att hjälpa till att skapa de volymetriska föreställningarna som utgör centrum för Vaknas erfarenhet.

"Vi gjorde några väldigt grova tidiga tester med den här tekniken med en Microsoft Kinect och a Canon 7D kamera gick ihop och resultaten var komiskt grova”, förklarade Taylor. "Men det var bara något i upplevelsen av att vara inne i VR och veta att du tittar på en riktig person […] Det tog dig lite närmare att ta dig över den kusliga dalen för att ge dig en mycket uppkopplad erfarenhet. Det var ett riktigt spännande ögonblick och väldigt tidigt i vår verksamhet.”

Inledningsvis undersökte Start VR att utveckla sin egen volymetriska fångstrigg, men komplexiteten i att hantera en sådan anläggning, såväl som den initiala kostnaden för att skaffa och konfigurera så många kameror och djupsensorer var för mycket för att överväga.

Teamet tillbringade ett par år med att titta på lokala leverantörer och studior med sina egna uppsättningar för volymetrisk fångst. Ingen av dem kunde göra vad Start VR ville, vilket var att inte bara spela in föreställningar, utan att kunna tända dem igen efter inspelning. En av de mest unika aspekterna av Vaken är att spelaren, även om den är begränsad i sina interaktiva möjligheter, kan släppa ut små ljusfläckar från sina virtuella händer, vilket kan upplysa skuggade områden av upplevelsen.

Det enda företag som skulle göra detta möjligt, samt leverera den typ av motion capture-system som Start VR behövde, var Microsoft.

– Det var inte förrän vi dök upp kl deras studio att vi insåg vad som krävdes för att få det här att fungera”, fortsatte Taylor. "Mängden datorer, rå processorkraft, hårdvara och infrastruktur fick oss att tänka efter. Jag trodde genast att det inte fanns något sätt att vi skulle kunna klara det här utan den här nivån av grymtande.”

Från stjärnor till skärmar

När skådespelarnas framträdanden väl har fångats var det ingen enkel bedrift att få in dem i spelmiljön. Start VR banade spår i såväl mjukvara som hårdvara.

"Den andra stora utmaningen var att [bygga] upplevelsen i Unreal-motorn," förklarade Taylor. "Pluginet fanns inte för att acceptera dynamisk belysning. Vi var tvungna att göra grundläggande funktioner som att skapa en in- och en ut-punkt. Om två karaktärer filmades i samma volym var vi tvungna att dela isär dem och placera dem på olika sidor av rummet.”

När det väl var löst och upplevelsen började samlas, var nästa stora problem optimering. Start VR arbetade nära med Nvidia för att få upplevelsen att fungera smidigt på en GTX 1080 Ti grafikkort och började sedan arbeta sig ner för att se vilken typ av nedskärningar som kunde göras för att låta upplevelsen köras på svagare hårdvara.

Vaken erbjuder för närvarande två spellägen. High fidelity-alternativet är den överlägset roligare upplevelsen, även om Start VR föreslår det en GTX 1080 som en minsta nödvändig specifikation. Vi lyckades få det att fungera på en AMD Radeon Fury X, men bildhastigheterna stammade ibland. Standardalternativet är mycket mer förlåtande, men det visuella tar en betydande träff.

Detta kanske inte alltid är fallet med den här typen av teknik, dock. Start VR VD, Kain Tietzel sa till Digital Trends att han tror att Nvidia kan utnyttja skräddarsydd hårdvara (kanske liknande Tensor- och RT-kärnorna som finns i dess RTX grafikkort) för att erbjuda förbättrad prestanda för volymetrisk videoinspelning.

"Ingen har egentligen skrivit något specifikt för att hantera den här typen av rendering," sa han. "I takt med att efterfrågan ökar och produktionen börjar bli vanligare föreställer jag mig att vi kommer att börja ser att Nvidia har dedikerad hårdvaruacceleration för att göra prestandan bättre och mer realistisk."

Installationsstorleken var också ett stort problem för Start VR.

"Raw capture är 10 GB per sekund av rå volymetrisk fångst så det är mycket arbete som går åt till att pressa in 15 minuter i en 10 GB [nedladdning]", sa Taylor. "Den använder den senaste och bästa av alla plugins inom Unreal Engine. Vi pressar definitivt motorn att göra saker som den inte gör. Vi jobbar på det dagligen."

Start VR skulle kunna välja modeller med ännu högre kvalitet än den använder nu. Tidigare implementeringar av volymetrisk fångst som Factory 42's"Håll världen“ pedagogisk erfarenhet värd David Attenborough, ser bättre ut än Vaken i vissa bemärkelser. Det beror på att de bara levererar en virtuell verklighetsupplevelse i tre grader av rörelse. De fokuserar också all uppmärksamhet på ansiktet och överkroppen.

"Du kan trycka in polygonantalet som vi tillåter [in Vaken] bara in i ansiktet och sedan blir det superhög upplösning”, förklarade Taylor. "Det finns några avvägningar vi väljer där. Vi har valt att ta hela kroppsfångningar eftersom vi vill att människor ska kunna se varje del av karaktären, gå runt dem. Jag har sett människor rulla runt på golvet för att se om karaktärerna är ihärdiga."

Leker med hologram

Efter all möda och speciell hänsyn som krävs för att hantverk Vaknas volymetrisk upplevelse är slutresultatet något helt annat än vad de flesta spelare kommer att vara vana vid. Karaktärernas "struktur" varierar från extremt detaljerade ansikten till grovskodda och suddiga på svåråtkomliga områden. Blandningen av extremt realistiska rörelser och något blockiga modeller påminde oss om Rockstars 2011 års release, LA Noire med sin unika visuella stil. Eller som om någon hade lindat en UHD-video över en original Xbox-karaktärs skal.

Det är långt ifrån perfekt, med tekniken som kämpar särskilt med luckor mellan fingrar och hårstrån, och en lite blockig kontur av karaktärerna. Men det är fängslande på ett sätt som är sällsynt att hitta i virtuell eller någon annan typ av simulerad verklighetsupplevelse, och den har en enorm potential för en annan typ av interaktiv upplevelse.

Medan skärmdumpar av Vaken kan ha en kuslig dalkänsla för dem när du faktiskt är inne Vaknas världen, det är något med den volymetriska fångsten som helt hindrar den depressionen. Skådespelarna ser inte perfekta ut, men de ser verkliga ut, och det är något som inte kan sägas om ens de bästa rörelsefångade CGI-modellerna.

Den nedsänkningen i den virtuella världen förstärks också på något sätt genom att tvinga dig att ta ett steg tillbaka från den. Du är inte en deltagare i den här världen. Du är en voyeur. För Start VR var det planen hela tiden.

"[Andra filmskapare] känner sig alltid tvungna att låta artisterna i scenen titta på dig, kameran, och jag vet inte om det nödvändigtvis fungerar hela tiden," sa Tietzel till Digital Trends. "Om du ständigt behandlas som att du måste ses på, tror jag att det förändrar karaktären på föreställningen och jag tror att det är sällsynt att du faktiskt ser trovärdiga föreställningar som agerar för en kamera och det är meningen att du ska reagera på dem."

https://www.facebook.com/startvr/photos/a.558965407540304/1534047166698785/

Därmed inte sagt att du aldrig känner dig involverad i scenen i Vaken. Det finns ögonblick, speciellt skapade sådana, där du hamnar i en karaktärs synfält, vilket ger dig rysningar av förundran om huruvida de kan se dig eller inte. Det drar dig inte ur upplevelsen, men påminner dig om din voyeuristiska roll i scenen. Om något förstärker det hur personlig historien är, trots dess antydningar om en mer expansiv berättelse bortom detta första avsnitt.

(Lucid) drömmer om framtiden

Start VR har åtta avsnitt planerade Vaken serien redan, där Taylor redan har ägnat år åt att skapa en berättelse som är både personlig och expansiv. När dessa avsnitt rullar ut kan vi förvänta oss massor av förbättringar, får vi veta.

"Tekniken, noggrannheten, bildhastigheten kommer att förändras dramatiskt," sa Tietzel till Digital Trends. "Till och med att förstå hur vi ljussätter och regisserar föreställningar – vad som är det bästa sättet att få ut framträdanden från skådespelarna i det rummet kommer också att förändras. Det här är en lärorik upplevelse."

Förutom att utöka sin egen expertis med regissörsskådespelare och VR-spelutveckling, arbetar Start VR också med Microsoft för att fortsätta att förbättra den volymetriska fångsttekniken för att få nya rynkor till det virtuella duk.

"Att låta karaktären lägga märke till dig är ett sätt att berätta en historia och jag tror redan att det finns variationer på väg där vi kan lägga till ögonlinjen," betonade Taylor. "Vi arbetar med Microsoft för att styra karaktärens huvudrörelse för att kunna vända och låsa på dig upp till cirka 30 grader på vardera sidan av den registrerade positionen […] Tvingar också människor att göra reaktiva saker. Så det finns ögonblick då karaktären sträcker sig ut för att ge dig något. Känner du dig tvungen att försöka ta bort det från dem? Det är de olika sätten att få kontakt med en karaktär snarare än att bara titta på dem som vi försöker."

Start VR planerar också att experimentera med flera miljöer (Vaken: Avsnitt ett sker nästan uteslutande i ett. Kanske en och en halv), men det ligger utanför den virtuella verklighetens omfattning som Taylor och Tietzel känner att deras experiment med volymetrisk fångst lättast kommer att kännas av.

"Vi undersöker redan vad det kan innebära att ta den här typen av fångst till förstärkt verklighet, och verkliga föreställningar i den verkliga världen är nästa steg," sa Tietzel. "Tidiga tester på detta område har gett några fascinerande resultat."

Dessa upplevelser och Start VR: s första avsnitt av Vaken lyfta fram den spännande potentialen med volymetrisk fångst. De kringgår prestandahicka av teknologier som strålspårning för realistisk belysning i spelet och leverera något som är trovärdigt på nära håll, även om det fortfarande har några skavanker.

Vaken: Avsnitt ett är ett spännande första steg i en narrativ resa, men det är ett ännu större språng för den tekniska förbättringen som hjälpte till att skapa den i världen. Vi är spända på vad Vaknas berättelsen och fångstteknikerna som den förespråkar kan utvecklas till, och tänk dig att vi kommer att se mycket mer av dem båda i framtiden.

Vaken: Avsnitt ett finns tillgänglig på Ånga och Viveport med ett pris av $8.

Redaktörens rekommendationer

• Att ta med VR: s bästa Star Wars-spel till PlayStation VR2 var en enkel sak, säger utvecklarna
• Imponerande lasertag-spel med blandad verklighet kan vara VR: s nya ess i hålet
• Om du vill ha en Quest 2, köp en innan den får en stor prishöjning nästa vecka
• Vad är det för golf? uppföljare, Twilight Zone VR och mer visas på UploadVR-strömmen
• Among Us VR, Ghostbusters och mer kommer till Meta Quest 2