Awake: gli ologrammi volumetrici dell'episodio uno sono un nuovo spettacolo da vedere

Leggi qualsiasi ampia copertura della realtà virtuale e senza dubbio ti imbatterai nella parola “immersione” almeno una o due volte. Questo è un termine relativamente vago per la sensazione di presenza nel mondo virtuale, ma è quanto di più vicino avremo fornire un punto di riferimento unico per valutare il successo di uno sviluppatore di realtà virtuale nel creare un'esperienza credibile esperienza.

La maggior parte degli sviluppatori utilizza una tecnica simile per raggiungere l'immersione. Funzionano entro i limiti delle cuffie per realtà virtuale esistenti e creano scene su piccola scala e ad alta fedeltà, con audio binaurale. Se fanno un lavoro abbastanza buono, potresti ritrovarti a vagare nel Uncanny Valley. È raro salire sull'altura dall'altra parte, eppure è esattamente quello Sveglio dalla casa di produzione di realtà virtuale Avvia la realtà virtuale sta tentando di fare.

Il suo primo episodio di circa 20 minuti è un'esperienza VR cinematografica leggermente interattiva che offre una storia avvincente sul tema dei sogni lucidi. Ma per quanto intrigante sia la narrazione, è la tecnica di cattura volumetrica utilizzata per realizzarla Sveglioè l'elemento più sorprendente.

Il risultato finale sono personaggi con espressioni facciali, movimenti e gesti incredibilmente realistici. Questa non è una cattura del movimento di una pallina da ping pong. È qualcosa di completamente diverso.

**Lievi spoiler per Sveglio la storia potrebbe essere presente nella seguente intervista.**

Addio palline da ping pong, ciao ologrammi

“La tecnica quella Sveglio è stato scritto specificatamente attorno al video volumetrico”, ha spiegato il creatore e regista Martin Taylor. “Quindi è un nuovo tipo di performance capture che prende l’intera performance dell’attore, compreso tutto il guardaroba e la sua espressione completa, e la cattura come un ologramma filmico”.

Questo è molto diverso dalle tecniche di motion capture utilizzate per creare la maggior parte dei personaggi di gioco sia per le esperienze di realtà virtuale che per i giochi 2D più tradizionali. Mentre questi utilizzano campioni di movimenti per realizzare modelli 3D che vengono rivestiti per dare vita a personaggi virtuali, l'acquisizione volumetrica registra l'intera persona. Dentro e fuori, per così dire.

“Sta utilizzando un impianto speciale con 106 telecamere con sensori di profondità, tutte puntate verso un volume cilindrico nel al centro e fino a due attori possono stare in quel volume e recitare le loro performance”, ha detto Taylor a Digital Tendenze. "Tutte queste telecamere e sensori lo catturano, e molti processi di elaborazione e software lo uniscono in una copia digitale completamente credibile e solida della performance."

Ciò offre agli sviluppatori non solo un'accurata rappresentazione 3D di dove si trovano gli attori e di come sono in posa in un determinato momento, ma anche un'impressione video quasi fotorealistica di loro.

"La versione grezza delle acquisizioni è un'enorme serie di modelli OBJ che sono tutti diversi l'uno dall'altro e poi una trama video che è avvolta sopra", ha detto Taylor.

Pionieri nel suo utilizzo, l’acquisizione volumetrica non era qualcosa che Start VR poteva eseguire da solo. Aveva bisogno dell’aiuto di Microsoft.

Il giusto partner di ballo

In uno dei segmenti più edificanti di Sveglio: episodio uno, il nostro protagonista, Harry, condivide una danza con il suo partner con l'immagine proiettata sulla parete del gioco come da un proiettore invisibile. Proprio come questi personaggi si sono ritrovati nell'universo del gioco, Start VR aveva bisogno di un partner specifico che aiutasse a creare le performance volumetriche che costituiscono il fulcro di Sveglio esperienza.

“Abbiamo effettuato alcuni primi test molto grezzi con questa tecnologia con a MicrosoftKinect e un Fotocamera Canon 7D uniti insieme e i risultati furono comicamente crudi”, ha spiegato Taylor. “Ma c’era qualcosa di speciale nell’esperienza di trovarsi all’interno della realtà virtuale e sapere che stai guardando una realtà persona […] Ti ci è voluto un po' più vicino per attraversare la Uncanny Valley per darti un'idea molto connessa esperienza. È stato un momento davvero emozionante e molto precoce nella nostra attività.

Inizialmente Start VR aveva cercato di sviluppare un proprio impianto di acquisizione volumetrica, ma le complessità della gestione di una struttura del genere, così come i costi iniziali legati all'acquisizione e alla configurazione di così tante fotocamere e sensori di profondità erano eccessivi prendere in considerazione.

Il team ha trascorso un paio d'anni esaminando fornitori e studi locali con le proprie configurazioni di acquisizione volumetrica. Nessuno di loro poteva fare ciò che Start VR voleva, ovvero non solo registrare le performance, ma essere in grado di riaccenderle dopo la registrazione. Uno degli aspetti più unici di Sveglio è che il giocatore, seppur limitato nelle possibilità interattive, può rilasciare piccoli granelli di luce dalle proprie mani virtuali, che possono illuminare le zone d'ombra dell'esperienza.

L’unica azienda che avrebbe reso tutto ciò possibile, oltre a fornire il tipo di sistema di motion capture necessario a Start VR, era Microsoft.

"Non è stato fino a quando non siamo arrivati ​​a il loro studio che abbiamo capito cosa era necessario per far funzionare tutto questo”, ha continuato Taylor. “La quantità di computer, potenza di elaborazione, hardware e infrastrutture ci hanno fatto riflettere. Immediatamente ho pensato che non avremmo potuto farcela senza questo livello di grugnito.

Dalle stelle agli schermi

Una volta catturate le performance degli attori, portarli nell’ambiente di gioco non è stata un’impresa semplice. Start VR ha aperto la strada sia al software che all'hardware.

"L'altra grande sfida è stata [costruire] l'esperienza con il motore Unreal", ha spiegato Taylor. “Il plugin non esisteva per accettare l’illuminazione dinamica. Dovevamo eseguire funzioni di base come creare un punto di attacco e uno di stacco. Se due personaggi venivano filmati nello stesso volume dovevamo dividerli e metterli su lati diversi della stanza”.

Una volta risolto questo problema e quando l'esperienza ha iniziato a prendere forma, il grosso problema successivo è stato l'ottimizzazione. Start VR ha lavorato a stretto contatto con Nvidia per far sì che l'esperienza funzionasse senza intoppi su una GTX 1080 Ti scheda grafica e poi ha iniziato a lavorare per vedere che tipo di tagli si potevano fare per consentire all'esperienza di funzionare su hardware più debole.

Sveglio attualmente offre due modalità di gioco. L'opzione ad alta fedeltà è di gran lunga l'esperienza più divertente, anche se Start VR lo suggerisce una GTX 1080 come specifica minima richiesta. Siamo riusciti a farlo funzionare su una AMD Radeon Fury X, ma a volte i frame rate balbettavano. L'opzione standard è molto più indulgente, ma la grafica subisce un colpo significativo.

Tuttavia, questo potrebbe non essere sempre il caso con questo tipo di tecnologia. Il CEO di Start VR, Kain Tietzel, ha dichiarato a Digital Trends che crede che Nvidia possa sfruttare hardware su misura (forse simile ai core Tensor e RT presenti in le sue schede grafiche RTX) per offrire prestazioni migliorate per l'acquisizione video volumetrica.

"Nessuno ha davvero scritto nulla di specifico per gestire questo tipo di rendering", ha detto. “Man mano che la domanda aumenta e la produzione inizia a diventare un luogo comune, immagino che inizieremo vedendo Nvidia avere un'accelerazione hardware dedicata per rendere le prestazioni sempre maggiori realistico."

Anche le dimensioni dell'installazione erano una delle principali preoccupazioni per Start VR.

"L'acquisizione grezza è di 10 GB al secondo di acquisizione volumetrica grezza, quindi c'è molto lavoro da fare per comprimere 15 minuti in un [download] da 10 GB", ha affermato Taylor. "Utilizza il più recente e il migliore di tutti i plugin di Unreal Engine. Stiamo decisamente spingendo il motore a fare cose che non fa nativamente. Ci stiamo lavorando quotidianamente”.

Start VR potrebbe optare per modelli di fedeltà ancora più elevata rispetto a quelli utilizzati ora. Implementazioni precedenti di acquisizione volumetrica come Fabbrica 42"Tieni il mondo“ esperienza educativa ospitata da David Attenborough, sembra migliore di Sveglio in un certo senso. Questo perché offrono un’esperienza di realtà virtuale di soli tre gradi di movimento. Stanno anche concentrando tutta l'attenzione sul viso e sulla parte superiore del corpo.

“Potresti aumentare il numero di poligoni che consentiamo [in Sveglio] proprio in faccia e poi diventa ad altissima risoluzione", ha spiegato Taylor. “Ci sono alcuni compromessi che stiamo scegliendo lì. Abbiamo scelto di catturare l'intero corpo perché vogliamo che le persone siano in grado di vedere ogni parte del personaggio e di camminarci intorno. Ho visto persone rotolarsi sul pavimento per vedere se i personaggi fossero persistenti.

Giocare con gli ologrammi

Dopo tutto lo sforzo e la considerazione speciale necessari per realizzarlo Sveglio esperienza volumetrica, il risultato finale è qualcosa di molto diverso da quello a cui sarà abituata la maggior parte dei giocatori. La "trama" dei personaggi varia da estremamente dettagliata sui loro volti, a ruvida e sfocata nelle aree più difficili da raggiungere. Il mix di movimento estremamente realistico e modelli un po' a blocchi ci ha ricordato l'uscita di Rockstar del 2011, LA Noire con il suo stile visivo unico. O come se qualcuno avesse avvolto un video UHD sul guscio di un personaggio Xbox originale.

È tutt’altro che perfetto, con la tecnologia che lotta in particolare con gli spazi tra le dita e i capelli e con un contorno dei personaggi leggermente squadrato. Ma è accattivante in un modo raro da trovare nell’esperienza di realtà virtuale o in qualsiasi altro tipo di realtà simulata, e racchiude un enorme potenziale per un diverso tipo di esperienza interattiva.

Mentre gli screenshot di Sveglio potrebbero avere un'atmosfera misteriosa da valle, quando ci sei davvero Sveglio mondo, c’è qualcosa nella cattura volumetrica che ostacola completamente quella depressione. Gli attori non sembrano perfetti, ma sembrano reali, e questo è qualcosa che non si può dire nemmeno per i migliori modelli CGI motion capture.

Anche quell’immersione nel mondo virtuale è in qualche modo rafforzata costringendoti a fare un passo indietro rispetto ad esso. Non sei un partecipante a questo mondo. Sei un voyeur. Per Start VR, questo era il piano fin dall'inizio.

"[Altri registi] si sentono sempre obbligati a far sì che gli attori nella scena guardino te, la telecamera, e non so se funzioni necessariamente sempre", ha detto Tietzel a Digital Trends. “Se sei costantemente trattato come se dovessi essere guardato, penso che cambi la natura della performance e io penso che sia raro vedere performance credibili recitare davanti a una telecamera e alle quali sei destinato a reagire loro."

https://www.facebook.com/startvr/photos/a.558965407540304/1534047166698785/

Questo non vuol dire che non ti senti mai coinvolto nella scena Sveglio. Ci sono momenti, creati appositamente, in cui finisci nel campo visivo di un personaggio, dandoti sussulti di meraviglia sul fatto che possano vederti o meno. Non ti tira fuori dall'esperienza, ma ti ricorda il tuo ruolo voyeuristico nella scena. Semmai, migliora quanto sia personale la storia, nonostante i suoi accenni a una narrativa più espansiva oltre questo primo episodio.

Sogno (lucido) del futuro

Start VR ha otto episodi pianificati per Sveglio già serie, con Taylor che ha già trascorso anni a creare una storia che sia allo stesso tempo personale ed espansiva. Con l'avvento di questi episodi possiamo aspettarci molti miglioramenti, ci viene detto.

"La tecnologia, la precisione e il frame rate cambieranno radicalmente", ha dichiarato Tietzel a Digital Trends. “Cambierà anche la comprensione del modo in cui illuminiamo e dirigiamo le performance e qual è il modo migliore per ottenere performance dagli attori in quello spazio. Questa è un’esperienza di apprendimento.”

Oltre ad espandere la propria esperienza con la regia di attori e lo sviluppo di giochi VR, Start VR sta anche lavorando con Microsoft per continuare a migliorare la tecnica di acquisizione volumetrica per portare nuove rughe nel virtuale tela.

"Fare in modo che il personaggio ti noti è un modo per raccontare una storia e penso già che ci siano delle variazioni in arrivo in cui possiamo aggiungere lo sguardo", ha sottolineato Taylor. "Stiamo lavorando con Microsoft per controllare il movimento della testa del personaggio in modo che possa girarsi e agganciarsi a te fino a circa 30 gradi su entrambi i lati della posizione registrata […] Costringendo anche le persone a fare cose reattive. Quindi ci sono momenti in cui il personaggio si allunga per darti qualcosa. Ti senti obbligato a provare a toglierglielo? Sono quei diversi modi di connettersi con un personaggio piuttosto che limitarsi a guardarlo che stiamo provando.

Start VR prevede inoltre di sperimentare più ambienti (Sveglio: episodio uno si svolge quasi esclusivamente in uno. Forse uno e mezzo), ma è oltre la portata della realtà virtuale che Taylor e Tietzel ritengono che i loro esperimenti con la cattura volumetrica verranno percepiti più facilmente.

"Stiamo già esplorando cosa potrebbe significare portare questo tipo di acquisizione nella realtà aumentata, e le esibizioni dal vivo nel mondo reale sono il passo successivo", ha affermato Tietzel. “I primi test in quest’area hanno prodotto alcuni risultati affascinanti”.

Queste esperienze e il primo episodio di Start VR Sveglio evidenziare l'entusiasmante potenziale della cattura volumetrica. Evitano il rallentamenti delle prestazioni di tecnologie come il ray tracing per un'illuminazione di gioco realistica e fornire qualcosa che sia credibile da vicino, anche se presenta ancora qualche imperfezione.

Sveglio: episodio uno è un entusiasmante primo passo in un viaggio narrativo, ma è un passo ancora più grande per il miglioramento tecnologico che ha contribuito a farlo nascere nel mondo. Siamo entusiasti per cosa Sveglio storia e le tecnologie di acquisizione in cui sostiene potrebbero evolversi, e immaginiamo che ne vedremo molte di più in futuro.

Sveglio: episodio uno è disponibile su Vapore E Viveport con un prezzo di $ 8.

Raccomandazioni degli editori

• Portare il miglior gioco di Star Wars in VR su PlayStation VR2 è stato un gioco da ragazzi, dicono gli sviluppatori
• L’impressionante gioco di laser tag a realtà mista potrebbe essere il nuovo asso nella manica della realtà virtuale
• Se vuoi un Quest 2, comprane uno prima che subisca un grande aumento di prezzo la prossima settimana
• Che golf? sequel, Twilight Zone VR e altro ancora mostrato nello streaming UploadVR
• Among Us VR, Ghostbusters e altro in arrivo su Meta Quest 2