Prebuďte sa: Objemové hologramy prvej epizódy sú novým pohľadom

Prečítajte si akékoľvek rozsiahle pokrytie virtuálnej reality a nepochybne sa aspoň raz alebo dvakrát stretnete so slovom „ponorenie“. To je relatívne vágny výraz pre pocit prítomnosti vo virtuálnom svete, ale je tak blízko, ako len poskytnúť jedinečný referenčný bod na meranie úspechu vývojára VR pri vytváraní uveriteľného skúsenosti.

Väčšina vývojárov používa podobnú techniku ​​na dosiahnutie ponorenia. Pracujú v rámci existujúcich náhlavných súprav pre virtuálnu realitu a vytvárajú malé scény s vysokou vernosťou s binaurálnym zvukom. Ak odvedú dosť dobrú prácu, môže sa vám stať, že zablúdite do zázračné údolie. Je zriedkavé vyšplhať sa na stúpanie na druhej strane - ale to je presne to Prebuďte sa z produkčného domu virtuálnej reality Spustite VR sa pokúša urobiť.

Jeho zhruba 20-minútová prvá epizóda je ľahko interaktívny filmový zážitok z VR, ktorý prináša strhujúci príbeh na tému lucidného snívania. Ale akokoľvek je príbeh zaujímavý, je to technika objemového snímania, ktorá sa používa na jeho vytvorenie.

Prebuďte sanajvýraznejší prvok.

Konečným výsledkom sú postavy s neuveriteľne realistickými výrazmi tváre, pohybmi a gestami. Toto nie je zachytávanie pohybu pingpongových loptičiek. Je to niečo úplne iné.

**Mierne spojlery pre Prebuďte sa príbeh môže byť prítomný v nasledujúcom rozhovore.**

Tak dlhé pingpongové loptičky, ahoj hologramy

„Technika, ktorá Prebuďte sa bolo špeciálne napísané okolo objemového videa,“ vysvetlil tvorca a režisér Martin Taylor. "Takže ide o nový typ zachytávania predstavenia, ktorý zachytáva celý herecký výkon vrátane celého šatníka a celého výrazu a zachytáva ich ako filmový hologram."

To je veľmi odlišné od techník snímania pohybu používaných pri vytváraní väčšiny postáv v hre pre zážitky vo virtuálnej realite aj pre tradičnejšie 2D hry. Zatiaľ čo tieto používajú vzorky pohybov na vytvorenie 3D modelov, ktoré sú stiahnuté, aby oživili virtuálne postavy, objemové snímanie zaznamenáva celú osobu. Zvnútra aj zvonku, takpovediac.

„Používa špeciálne zariadenie so 106 kamerami s hĺbkovými senzormi, ktoré všetky smerujú k valcovému objemu v centrum a až dvaja herci môžu stáť v tomto objeme a podávať svoje výkony,“ povedal Taylor pre Digital Trendy. „Všetky tieto fotoaparáty a senzory to zachytávajú a množstvo spracovania a softvéru to spája do úplne vierohodnej a solídnej digitálnej kópie predstavenia.“

To dáva vývojárom nielen presné 3D znázornenie toho, kde sa títo herci nachádzajú a ako v ktoromkoľvek konkrétnom čase pózujú, ale aj ich takmer fotorealistický dojem z videa.

"Nespracovaná verzia záberov je obrovská séria modelov OBJ, ktoré sa všetky navzájom jedinečne líšia, a potom je na vrchu obalená video textúra," povedal Taylor.

Prví priekopníci v používaní, objemové snímanie nebolo niečo, čo by Start VR mohol vykonávať sám. Potrebovala pomoc Microsoftu.

Správny tanečný partner

V jednom z povznášajúcich segmentov od Prebuďte sa: Prvá epizóda, náš hlavný hrdina, Harry, tancuje so svojou partnerkou s obrazom rozstrekovaným po hernej stene ako z nejakého neviditeľného projektora. Rovnako ako sa tieto postavy našli v hernom vesmíre, Start VR vyžadoval špecifického partnera, ktorý by pomohol vytvoriť objemové predstavenia, ktoré tvoria ústredný bod hry. Prebuďte sa skúsenosti.

„Urobili sme niekoľko veľmi hrubých prvých testov s touto technológiou s a Microsoft Kinect a a 7D fotoaparát Canon sa spojili a výsledky boli komicky hrubé,“ vysvetlil Taylor. „Ale v zážitku z toho, že ste vo VR a viete, že sa pozeráte na skutočné, bolo niečo osoba […] Trvalo vám to trochu bližšie k tomu, aby ste sa dostali cez tajomné údolie, aby ste boli veľmi prepojení skúsenosti. Bol to skutočne vzrušujúci moment a veľmi skoro v našom biznise.“

Spoločnosť Start VR sa pôvodne zaoberala vývojom vlastného objemového zachytávacieho zariadenia, ale zložitosť riadenia takéhoto zariadenia ako aj počiatočné náklady na získanie a konfiguráciu toľkých kamier a hĺbkových senzorov boli príliš vysoké. zvážiť.

Tím strávil niekoľko rokov hľadaním miestnych dodávateľov a štúdií s vlastnými nastaveniami objemového snímania. Nikto z nich nedokázal to, čo Start VR chcel, teda nielen zaznamenávať vystúpenia, ale vedieť ich po nahrávaní znova nasvietiť. Jeden z najunikátnejších aspektov Prebuďte sa spočíva v tom, že hráč, aj keď má obmedzené interaktívne možnosti, môže zo svojich virtuálnych rúk uvoľniť malé kúsky svetla, ktoré môžu osvetliť zatienené oblasti zážitku.

Jedinou spoločnosťou, ktorá by to umožnila a zároveň dodala potrebný systém snímania pohybu Start VR, bol Microsoft.

„Až keď sme sa objavili ich ateliér že sme si uvedomili, čo je potrebné, aby to fungovalo,“ pokračoval Taylor. „Množstvo počítačov, surový výpočtový výkon, hardvér a infraštruktúra nás prinútili zamyslieť sa. Okamžite som si pomyslel, že neexistuje spôsob, ako by sme to dokázali zvládnuť bez takejto úrovne grcania.“

Od hviezd po obrazovky

Keď už boli herecké výkony zachytené, vniesť ich do herného prostredia nebolo jednoduché. Start VR prerazil cestu v softvéri aj hardvéri.

„Ďalšou veľkou výzvou bolo [vybudovanie] skúseností v Unreal engine,“ vysvetlil Taylor. „Doplnok neexistoval, aby akceptoval dynamické osvetlenie. Museli sme urobiť základné funkcie, ako je vytvoriť počiatočný a výstupný bod. Ak boli dve postavy natočené v rovnakom objeme, museli sme ich rozdeliť a umiestniť na rôzne strany miestnosti.“

Keď sa to vyriešilo a skúsenosti sa začali spájať, ďalším veľkým problémom bola optimalizácia. Start VR úzko spolupracoval s Nvidiou, aby vám umožnil bezproblémový chod na GTX 1080 Ti grafická karta a potom sa začal prepracovávať nadol, aby zistil, aké škrty by sa dali urobiť, aby bolo možné pracovať na slabšom hardvéri.

Prebuďte sa v súčasnosti ponúka dva herné režimy. Možnosť vysokej vernosti je oveľa príjemnejším zážitkom, aj keď Start VR to naznačuje GTX 1080 ako minimálnu požadovanú špecifikáciu. Podarilo sa nám to sfunkčniť na AMD Radeon Fury X, ale snímková frekvencia občas zadrhávala. Štandardná možnosť je oveľa zhovievavejšia, ale vizuály sú výrazne ovplyvnené.

To však nemusí byť vždy prípad tohto druhu technológie. Generálny riaditeľ spoločnosti Start VR Kain Tietzel pre Digital Trends povedal, že verí, že Nvidia môže využiť hardvér na mieru (možno podobný jadrám Tensor a RT, ktoré sa nachádzajú v jeho grafické karty RTX), ktorá ponúka lepší výkon pre objemové snímanie videa.

"Nikto v skutočnosti nenapísal nič konkrétne, čo by zvládlo tento druh vykresľovania," povedal. „Keď sa dopyt zvýši a výroba sa začne stávať bežnejším miestom, myslím si, že začneme vidieť, že Nvidia má vyhradenú hardvérovú akceleráciu na zvýšenie výkonu realistické.”

Veľkosť inštalácie bola tiež hlavným problémom pre Start VR.

„Nespracované zachytenie je 10 GB za sekundu surového objemového zachytenia, takže stlačenie 15 minút na 10 GB [stiahnutie] si vyžaduje veľa práce,“ povedal Taylor. „Používa najnovší a najlepší zo všetkých doplnkov v rámci Unreal Engine. Určite tlačíme na motor, aby robil veci, ktoré prirodzene nerobí. Pracujeme na tom denne."

Start VR by sa mohol rozhodnúť pre modely s ešte vyššou vernosťou, ako používa teraz. Skoršie implementácie objemového zachytávania ako Factory 42“Držte svet“ vzdelávací zážitok, ktorý organizuje David Attenborough, vyzerá lepšie ako Prebuďte sa v niektorých významoch. Je to preto, že poskytujú iba tri stupne pohybu vo virtuálnej realite. Všetku pozornosť sústreďujú aj na tvár a hornú časť tela.

"Mohli by ste posunúť počet polygónov, ktorý povolíme Prebuďte sa] len do tváre a potom sa to stane super vysokým rozlíšením,“ vysvetlil Taylor. „Existujú určité kompromisy, ktoré tam volíme. Rozhodli sme sa pre snímanie celého tela, pretože chceme, aby ľudia mohli vidieť každú časť postavy, chodiť okolo nich. Videl som ľudí, ktorí sa váľali po podlahe, aby zistili, či sú postavy vytrvalé.“

Hra s hologramom

Po všetkej námahe a osobitnej pozornosti potrebnej na výrobu Prebuďte sa objemový zážitok, konečný výsledok je niečo veľmi odlišné od toho, na čo je väčšina hráčov zvyknutá. „Štruktúra“ postáv sa líši od extrémne detailných na ich tvárach až po drsné a rozmazané v ťažšie dostupných oblastiach. Zmes extrémne realistického pohybu a trochu hranatých modelov nám pripomenula vydanie Rockstar v roku 2011, LA Noire svojím jedinečným vizuálnym štýlom. Alebo ako keby niekto obalil UHD video cez obal pôvodnej postavy Xboxu.

K dokonalosti má ďaleko, technológia zápasí najmä s medzerami medzi prstami a chĺpkami a mierne hranatým obrysom postáv. Je to však podmanivé spôsobom, ktorý sa len zriedka nachádza vo virtuálnom alebo akomkoľvek inom druhu zážitku zo simulovanej reality, a má obrovský potenciál pre iný druh interaktívneho zážitku.

Zatiaľ čo snímky obrazovky Prebuďte sa môžu mať neuveriteľnú atmosféru údolia, keď ste tam Prebuďte sa vo svete, na objemovom snímaní je niečo, čo úplne bráni tejto depresii. Herci nevyzerajú dokonale, ale vyzerajú skutočne, a to sa nedá povedať ani o tých najlepších CGI modeloch zachytených v pohybe.

To ponorenie sa do virtuálneho sveta je tiež nejakým spôsobom umocnené tým, že vás núti urobiť z neho krok späť. Nie ste účastníkom tohto sveta. Si voyér. Pre Start VR to bol celý čas plán.

„[Ostatní filmári] vždy cítia nutkanie, aby sa účinkujúci na scéne pozerali na vás, do kamery, a ja neviem, či to nevyhnutne funguje stále,“ povedal Tietzel pre Digital Trends. „Ak sa s vami neustále zaobchádza, akoby sa na vás museli pozerať, myslím, že to mení povahu predstavenia a mňa myslite si, že je zriedkavé, že skutočne vidíte vierohodné výkony pred kamerou a máte na ne reagovať ich.”

https://www.facebook.com/startvr/photos/a.558965407540304/1534047166698785/

To neznamená, že sa nikdy necítite byť súčasťou scény Prebuďte sa. Sú momenty, špeciálne vytvorené, kde sa ocitnete v zornom poli postavy, čo vám spôsobí otrasy, či vás vidia alebo nie. Nevytrhne vás to zo zážitku, ale pripomenie vám vašu voyeurskú rolu v scéne. Ak niečo, zvyšuje to, aký osobný je príbeh, napriek jeho náznakom rozsiahlejšieho rozprávania nad rámec tejto prvej epizódy.

(Lucidné) snívanie o budúcnosti

Start VR má naplánovaných osem epizód Prebuďte sa už sériu, pričom Taylor už strávil roky vytváraním príbehu, ktorý je osobný aj rozsiahly. Ako nám bolo povedané, keď sa tieto epizódy objavia, môžeme očakávať veľa vylepšení.

„Technológia, presnosť a snímková frekvencia sa dramaticky zmenia,“ povedal Tietzel pre Digital Trends. „Dokonca aj pochopenie toho, ako osvetľujeme a režírujeme predstavenia – čo je najlepší spôsob, ako dostať z hercov v tomto priestore predstavenia, sa tiež zmení. Toto je vzdelávacia skúsenosť.”

Okrem rozširovania vlastných odborných znalostí o réžiu hercov a vývoj hier pre VR funguje aj Start VR so spoločnosťou Microsoft, aby sme pokračovali vo vylepšovaní techniky objemového snímania, aby virtuálne priniesli nové vrásky plátno.

„To, že si vás postava všimne, je jedným zo spôsobov, ako vyrozprávať príbeh a už teraz si myslím, že prichádzajú variácie, kde môžeme pridať očnú linku,“ zdôraznil Taylor. „Spolupracujeme so spoločnosťou Microsoft na ovládaní pohybu hlavy postavy, aby sme sa na vás mohli otočiť a uzamknúť do asi 30 stupňov na každú stranu od zaznamenanej polohy […] Tiež núti ľudí robiť reaktívne veci. Takže sú chvíle, kedy sa postava natiahne, aby vám niečo dala. Cítite nutkanie pokúsiť sa ich zbaviť? Snažíme sa o tieto rôzne spôsoby spojenia s postavou, namiesto toho, aby sme sa na ňu len pozerali."

Start VR tiež plánuje experimentovať s viacerými prostrediami (Prebuďte sa: Prvá epizóda prebieha takmer výlučne v jednom. Možno jeden a pol), ale je to mimo rámca virtuálnej reality, o ktorej Taylor a Tietzel cítia, že ich experimenty s objemovým snímaním budú cítiť najľahšie.

„Už teraz skúmame, čo by mohlo znamenať uvedenie tohto druhu zachytávania do rozšírenej reality a predstavenia v reálnom živote v reálnom svete sú ďalším krokom,“ povedal Tietzel. "Prvé testy v tejto oblasti priniesli niekoľko fascinujúcich výsledkov."

Tieto skúsenosti a prvá epizóda Start VR Prebuďte sa zdôrazniť vzrušujúci potenciál objemového zachytávania. Obchádzajú problémy s výkonom technológií, ako je sledovanie lúčov pre realistické osvetlenie v hre a dodajte niečo, čo je vierohodné zblízka, aj keď má stále niekoľko kazov.

Prebuďte sa: Prvá epizóda je vzrušujúcim prvým krokom na naratívnej ceste, ale je to ešte väčší skok pre technologické vylepšenie, ktoré ho pomohlo zrodiť na svete. Tešíme sa z čoho Prebuďte sa príbeh a technológie zachytávania, ktoré presadzujú, sa môžu rozvinúť a predstavte si, že v budúcnosti ich oboch uvidíme oveľa viac.

Prebuďte sa: Prvá epizóda je k dispozícii na Para a Viveport s cenou 8 dolárov.

Odporúčania redaktorov

• Vývojári hovoria, že prinesenie najlepšej hry Star Wars VR na PlayStation VR2 bolo samozrejmosťou
• Pôsobivá laserová hra so zmiešanou realitou môže byť novým esom VR
• Ak chcete Quest 2, kúpte si ho skôr, ako budúci týždeň dôjde k veľkému zvýšeniu cien
• Čo Golf? pokračovanie, Twilight Zone VR a ďalšie zobrazené v streame UploadVR
• Medzi nami VR, Ghostbusters a ďalšie prichádzajú do Meta Quest 2