Awake: Hologramele volumetrice ale episodului 1 sunt o nouă priveliște de privit

Citiți oricare acoperire extinsă a realității virtuale și, fără îndoială, vei întâlni cuvântul „imersiune” cel puțin o dată sau de două ori. Acesta este un termen relativ vag pentru sentimentul de prezență în lumea virtuală, dar este cât de aproape vom ajunge. pentru a oferi un punct de referință unic pentru măsurarea succesului unui dezvoltator de realitate virtuală în crearea unui material credibil experienţă.

Majoritatea dezvoltatorilor folosesc o tehnică similară pentru a realiza imersiunea. Acestea funcționează în limitele căștilor de realitate virtuală existente și creează scene la scară mică, de înaltă fidelitate, cu sunet binaural. Dacă fac o treabă suficient de bună, s-ar putea să te trezești rătăcind în vale neobișnuită. Este rar să urcăm înălțimea de pe cealaltă parte – totuși exact asta Treaz de la casa de producție de realitate virtuală Porniți VR încearcă să facă.

Primul episod de aproximativ 20 de minute este o experiență VR cinematografică ușor interactivă, care oferă o poveste captivantă în jurul temei visului lucid. Dar, oricât de intrigantă este narațiunea, aceasta este tehnica de captare volumetrică folosită pentru a o crea Treazelementul cel mai frapant.

Rezultatul final sunt personaje cu expresii faciale, mișcări și gesturi incredibil de realiste. Aceasta nu este o captură de mișcare de ping-pong. Este cu totul altceva.

** Spoilere ușoare pentru Treziți povestea poate fi prezentă în următorul interviu.**

Atat de lungi mingi de ping pong, salut holograme

„Tehnica care Treaz a fost scris în mod special în jurul unui videoclip volumetric”, a explicat creatorul și regizorul Martin Taylor. „Așadar, este un nou tip de captură de performanță care preia interpretarea completă a actorului, inclusiv toată garderoba și expresia completă și le surprinde ca o hologramă filmică.”

Acesta este foarte diferit de tehnicile de captare a mișcării folosite pentru a crea majoritatea personajelor din joc atât pentru experiențe de realitate virtuală, cât și pentru jocuri 2D mai tradiționale. În timp ce aceștia folosesc mostre de mișcări pentru a crea modele 3D care sunt jupuite pentru a da viață personajelor virtuale, captura volumetrică înregistrează întreaga persoană. Înăuntru și în exterior, ca să zic așa.

„Folosește o instalație specială cu 106 camere cu senzori de adâncime, toate îndreptate către un volum cilindric în centru și până la doi actori pot sta în acel volum și își pot oferi spectacolele”, a spus Taylor pentru Digital Tendințe. „Toate aceste camere și senzori surprind asta și o mulțime de procesare și software le unesc într-o copie digitală complet credibilă și solidă a performanței.”

Acest lucru oferă dezvoltatorilor nu numai o reprezentare 3D exactă a locului în care se află acești actori și a modului în care sunt pozați la un moment dat, ci și o impresie video aproape foto-realistă a acestora.

„Versiunea brută a capturilor este o serie uriașă de modele OBJ, care sunt toate unic diferite unele de altele și apoi o textură video care este înfășurată deasupra”, a spus Taylor.

Primii pionieri în utilizarea sa, captura volumetrică nu a fost ceva ce Start VR ar putea realiza singur. Avea nevoie de ajutorul Microsoft.

Partenerul de dans potrivit

Într-unul dintre segmentele mai înălțătoare din Awake: Episodul unu, protagonistul nostru, Harry, împărtășește un dans cu partenerul său cu imaginea împrăștiată pe peretele jocului, ca de la un proiector nevăzut. Așa cum acele personaje s-au găsit unul pe altul în universul jocului, Start VR a avut nevoie de un partener specific pentru a ajuta la crearea performanțelor volumetrice care formează piesa centrală a jocului. Treziți experienţă.

„Am făcut câteva teste timpurii foarte brute cu această tehnologie cu un Microsoft Kinect si a Camera Canon 7D s-au unit și rezultatele au fost comic de crude”, a explicat Taylor. „Dar a existat ceva în experiența de a fi în interiorul VR și de a ști că te uiți la un real persoană […] Ți-a luat un pic mai aproape de a trece peste valea ciudată pentru a-ți oferi o conexiune foarte conectată experienţă. A fost un moment foarte interesant și foarte devreme în afacerea noastră.”

Inițial, Start VR s-a gândit să-și dezvolte propria sa platformă de captură volumetrică, dar complexitatea gestionării unei astfel de instalații, precum și costul inițial implicat în achiziționarea și configurarea atâtor camere și senzori de adâncime a fost prea mare pentru considera.

Echipa a petrecut câțiva ani uitându-se la furnizori și studiouri locali cu propriile configurații de captură volumetrică. Niciunul dintre ei nu a putut face ceea ce și-a dorit Start VR, și anume nu numai să înregistreze performanțe, dar să le poată reaprinde după înregistrare. Unul dintre cele mai unice aspecte ale Treaz este că jucătorul, deși limitat în posibilități interactive, poate elibera mici moțuri de lumină din mâinile lor virtuale, care pot lumina zonele umbrite ale experienței.

Singura companie care ar face acest lucru posibil, precum și a furniza tipul de sistem de captare a mișcării de care avea nevoie Start VR, a fost Microsoft.

„Nu a fost până când am apărut la studioul lor că ne-am dat seama de ce era necesar pentru ca acest lucru să funcționeze”, a continuat Taylor. „Cantitatea de computere, puterea brută de procesare, hardware și infrastructură ne-au pus pe gânduri. Imediat m-am gândit că nu există nicio modalitate de a reuși să reușim asta fără acest nivel de mormăit.”

De la stele la ecrane

Odată ce performanțele actorilor au fost surprinse, aducerea lor în mediul de joc nu a fost o faptă simplă. Start VR a deschis un drum atât în ​​software, cât și în hardware.

„Cealaltă mare provocare a fost [construirea] experienței în motorul Unreal”, a explicat Taylor. „Plugin-ul nu a existat pentru a accepta iluminarea dinamică. A trebuit să facem funcții de bază, cum ar fi să creăm un punct de intrare și un punct de ieșire. Dacă două personaje erau filmate în același volum, trebuia să le despărțim și să le punem în părți diferite ale camerei.”

Odată ce acest lucru a fost rezolvat și experiența a început să se reunească, următoarea mare problemă a fost optimizarea. Start VR a colaborat îndeaproape cu Nvidia pentru ca experiența să funcționeze fără probleme pe un GTX 1080 Ti placă grafică și apoi a început să lucreze în jos pentru a vedea ce fel de tăieturi ar putea fi făcute pentru a permite experienței să ruleze pe un hardware mai slab.

Treaz oferă în prezent două moduri de joc. Opțiunea de înaltă fidelitate este de departe cea mai plăcută experiență, deși Start VR sugerează acest lucru un GTX 1080 ca specificație minimă cerută. Am reușit să-l facem să funcționeze pe un AMD Radeon Fury X, dar ratele cadrelor s-au bâlbâit uneori. Opțiunea standard este mult mai îngăduitoare, dar imaginile au un impact semnificativ.

Acest lucru poate să nu fie întotdeauna cazul cu acest tip de tehnologie, totuși. CEO-ul Start VR, Kain Tietzel, a declarat pentru Digital Trends că crede că Nvidia poate folosi hardware-ul personalizat (poate asemănător cu nucleele Tensor și RT găsite în plăcile sale grafice RTX) pentru a oferi performanțe îmbunătățite pentru captură video volumetrică.

„Nimeni nu a scris cu adevărat nimic specific pentru a gestiona acest tip de redare”, a spus el. „Pe măsură ce cererea crește și producția începe să devină mai comună, îmi imaginez că vom începe văzând că Nvidia are o accelerare hardware dedicată pentru a face performanțe mai mari și mai mari realist."

Dimensiunea instalării a fost, de asemenea, o preocupare majoră pentru Start VR.

„Captura brută este de 10 GB pe secundă de captură volumetrică brută, așa că este multă muncă pentru a stoarce 15 minute într-o [descărcare] de 10 GB”, a spus Taylor. „Folosește cel mai recent și mai bun dintre toate pluginurile din Unreal Engine. Cu siguranță împingem motorul să facă lucruri pe care nu le face în mod nativ. Lucrăm la asta zilnic.”

Start VR ar putea opta pentru modele de fidelitate și mai mare decât folosește acum. Implementările anterioare ale capturii volumetrice, cum ar fi Fabrica 42’’Ține lumea“ experiență educațională găzduită de David Attenborough, arată mai bine decât Treaz în unele sensuri. Asta pentru că oferă o experiență de realitate virtuală de doar trei grade de mișcare. De asemenea, concentrează toată atenția asupra feței și a corpului.

„Ați putea împinge numărul de poligoane pe care îl permitem [în Treaz] doar în față și apoi devine o rezoluție super înaltă”, a explicat Taylor. „Există unele compromisuri pe care le alegem acolo. Am ales să facem capturi ale întregului corp pentru că ne dorim ca oamenii să poată vedea fiecare parte a personajului, să se plimbe în jurul lor. Am văzut oameni rostogolindu-se pe podea pentru a vedea dacă personajele sunt persistente.”

Joacă-te cu hologramele

După tot efortul și considerația specială necesare pentru a crea Treziți experiență volumetrică, rezultatul final este ceva foarte diferit de ceea ce majoritatea jucătorilor vor fi obișnuiți. „Textura” personajelor variază de la extrem de detaliată pe fețele lor, la aspră și neclară în zonele mai greu accesibile. Combinația de mișcare extrem de realistă și modele oarecum blocate ne-a amintit de lansarea Rockstar din 2011, LA Noire cu stilul său vizual unic. Sau ca și cum cineva ar fi împachetat un videoclip UHD peste carcasa unui personaj original Xbox.

Este departe de a fi perfect, tehnologia se luptă în special cu golurile dintre degete și fire de păr și un contur ușor blocat al personajelor. Dar este captivant într-un mod care este rar de găsit în virtual sau în orice alt tip de experiență de realitate simulată și deține un potențial imens pentru un alt tip de experiență interactivă.

În timp ce capturile de ecran ale Treaz poate avea o atmosferă neobișnuită de vale pentru ei, atunci când sunteți de fapt în Treziți lume, există ceva în captarea volumetrică care împiedică în întregime această depresie. Actorii nu arată perfect, dar arată reali și asta nu poate fi spus nici măcar pentru cele mai bune modele CGI capturate în mișcare.

Acea imersiune în lumea virtuală este, de asemenea, îmbunătățită cumva, forțându-vă să faceți un pas înapoi față de ea. Nu ești un participant în această lume. Ești un voyeur. Pentru Start VR, acesta a fost planul de la început.

„[Alți regizori] se simt întotdeauna obligați să îi pună pe interpreți din scenă să se uite la tine, la cameră și nu știu dacă asta funcționează neapărat tot timpul”, a spus Tietzel pentru Digital Trends. „Dacă ești tratat în mod constant ca și cum ar trebui să fii privit, cred că schimbă natura performanței și eu crezi că este rar să vezi spectacole credibile în fața unui aparat de fotografiat și ești menit să reacționezi la lor."

https://www.facebook.com/startvr/photos/a.558965407540304/1534047166698785/

Asta nu înseamnă că nu te simți niciodată implicat în scena din Treaz. Sunt momente, special concepute, în care ajungi în linia vizuală a unui personaj, dându-ți șocuri de mirare dacă te pot vedea sau nu. Nu te scoate din experiență, dar îți amintește de rolul tău voyeuristic în scenă. În orice caz, îmbunătățește cât de personală este povestea, în ciuda sugestiilor sale la o narațiune mai extinsă dincolo de acest prim episod.

(Lucid) visând la viitor

Start VR are opt episoade planificate pentru Treaz deja, Taylor și-a petrecut deja ani de zile creând o poveste atât personală, cât și expansivă. Pe măsură ce apar acele episoade, ne putem aștepta la multe îmbunătățiri, ni se spune.

„Tehnologia, acuratețea, frecvența cadrelor se vor schimba dramatic”, a spus Tietzel pentru Digital Trends. „Chiar și înțelegerea modului în care luminăm și direcționăm spectacolele – care este cea mai bună modalitate de a obține spectacole de la actorii din acel spațiu se va schimba, de asemenea. Aceasta este o experiență de învățare.”

Pe lângă extinderea propriei expertize cu actori regizori și dezvoltarea de jocuri VR, Start VR funcționează și el împreună cu Microsoft pentru a continua îmbunătățirea tehnicii de captare volumetrică pentru a aduce noi riduri în virtual pânză.

„Făcând ca personajul să te observă este o modalitate de a spune o poveste și deja cred că urmează variații în care putem adăuga linia ochilor”, a subliniat Taylor. „Colaborăm cu Microsoft pentru a controla mișcarea capului personajului, pentru a putea să vă întoarcem și să vă blocăm până la aproximativ 30 de grade de fiecare parte a poziției înregistrate […] De asemenea, convingerea oamenilor să facă lucruri reactive. Așa că sunt momente în care personajul se întinde pentru a-ți oferi ceva. Te simți obligat să încerci să-i iei asta? Încercăm acele moduri diferite de a ne conecta cu un personaj, mai degrabă decât să ne uităm la el.”

Start VR intenționează, de asemenea, să experimenteze cu mai multe medii (Awake: Episodul unu are loc aproape exclusiv într-una. Poate una și jumătate), dar Taylor și Tietzel simt că experimentele lor cu captură volumetrică vor fi simțite cel mai ușor dincolo de sfera realității virtuale.

„Explorăm deja ce ar putea însemna să aducem acest tip de captură în realitatea augmentată, iar performanțe în viața reală în lumea reală sunt următorul pas”, a spus Tietzel. „Testele timpurii în acest domeniu au dat rezultate fascinante.”

Aceste experiențe și primul episod din Start VR Treaz evidențiază potențialul interesant al captării volumetrice. Ei ocolesc sughițuri de performanță ale tehnologiilor precum ray tracing pentru iluminare realistă în joc și oferiți ceva care este credibil de aproape, chiar dacă are încă câteva pete.

Awake: Episodul unu este un prim pas interesant într-o călătorie narativă, dar este un salt și mai mare pentru îmbunătățirea tehnologică care a ajutat la nașterea lui în lume. Suntem încântați de ce Treziți povestea și tehnologiile de captură în care ar putea evolua campionii și imaginați-vă că le vom vedea mult mai multe pe ambele în viitor.

Awake: Episodul unu este disponibil pe Aburi și Viveport cu un pret de 8$.

Recomandările editorilor

• Aducerea celui mai bun joc Star Wars din VR pe PlayStation VR2 a fost deloc o idee, spun dezvoltatorii
• Impresionantul joc cu laser tag cu realitate mixtă poate fi noul as al VR-ului
• Dacă doriți un Quest 2, cumpărați unul înainte de a crește prețul săptămâna viitoare
• Ce Golf? continuarea, Twilight Zone VR și multe altele afișate în fluxul UploadVR
• Among Us VR, Ghostbusters și altele care vin în Meta Quest 2