Gli avatar VR fotorealistici ti faranno dubitare di tutto

Robbie Cooper, co-fondatore di Metapixel, ha una visione. “Voglio personaggi credibili e completamente animati in un gioco o in un ambiente VR che reagiscono in modo del tutto naturale. Avere quella sensazione di voler allungare la mano e toccarli perché sono così reali. Ecco come dovrebbe essere un mondo VR”.

Non lo sta solo sognando: lui e il Metapixel il team sta effettivamente lavorando per renderlo possibile. Utilizzando un'incredibile attrezzatura fotografica e alcuni software personalizzati, Metapixel crea avatar sorprendentemente realistici funzionalità fotorealistiche, basate su immagini ad alta risoluzione di una persona reale, pronte per l'uso in giochi, film e al di là. Abbiamo visitato l'ufficio di Metapixel a Brighton, nel Regno Unito, per vedere la tecnologia in azione e creare il nostro avatar.

Avatar fotoreale

L'attrezzatura fotografica sembra un portale verso un'altra dimensione; basta un solo clic dell'otturatore per trasportarti attraverso le galassie o nel tempo. Sono 102

Fotocamere Nikon D810 montati su di esso, tutti dotati di uno dei tre obiettivi diversi: uno zoom da 50 mm, 85 mm o 72-300 mm.

Ovviamente non è coinvolto lo zapping delle galassie, ma una volta rilasciato l'otturatore, ciascuna fotocamera scatta un'immagine in formato RAW da 36 megapixel del soggetto da quasi ogni angolazione immaginabile. Questi scatti vengono quindi trasferiti al sistema informatico di Metapixel dove vengono elaborati in pochi secondi. Nel corso dell'ora successiva, il software crea sullo schermo uno straordinario avatar fotoreale, identico al soggetto. In realtà è una tecnica chiamata fotogrammetria, dove le foto scattate da diversi punti di vista vengono unite insieme per formare un unico rendering a 360 gradi simile a una scansione corporea 3D.

E quando dico esattamente come l'argomento, dico sul serio. Il risultato è sorprendente. Per provarlo, sono stato invitato a stare al centro del rig e a far immortalare la mia immagine per sempre. È probabile che sia la prima e unica volta in cui 102 telecamere verranno puntate nella mia direzione contemporaneamente. Mi è stato detto di fissare un singolo punto e di rimanere completamente immobile, con le braccia leggermente aperte modo scomodo, ho aspettato che le fotocamere fossero innescate, poi sono stato accecato da un flash come foto è stata scattata.

Ogni immagine viene controllata attentamente per verificare la presenza di errori, luci strane e ombre (che possono confondere il computer e rovinare l'immagine finale) e per eventuali immagini mancanti in cui una fotocamera per qualche motivo ha fallito. Il software di Metapixel, chiamato Capturing Reality, fa poi tutto il lavoro pesante. Mette insieme ogni foto e mappa l'immagine su una mesh, costruendo l'avatar finale. Ci sono voluti dai 10 ai 15 minuti per costruire la prima fase, poi altri 20 per aggiungere consistenza e colore.

Alla fine ti ritrovi con l'immagine vista qui, un avatar così reale da spaventare. Inoltre è considerata solo la qualità “normale”. Ci sono altre fasi che aumentano ulteriormente il livello di dettaglio. L'intero processo ha richiesto meno di un'ora, comprese tutte le impostazioni della fotocamera e l'elaborazione.

Le possibilità

Cosa si può fare con il tuo avatar perfetto? Ci sono tantissime possibilità entusiasmanti, ma per Cooper è tutta una questione di realtà virtuale. "Combina tutto questo con un'intelligenza artificiale davvero buona e il mondo diventa reale", ha detto. Ad esempio, con il miglioramento dell’intelligenza artificiale, mi ha detto, gli avatar potrebbero capire dove stai “guardando” in un gioco VR e rispondere di conseguenza. Quanto più realistico appare e agisce l'avatar, tanto più sei coinvolto in ciò che sta succedendo.

Ha sottolineato il lavoro di studio di animazione 3Lateral, dove utilizzando la tecnologia di tracciamento del volto, avatar fotorealistici rispecchiano le espressioni facciali e le reazioni di un attore, come prova di ciò su cui si sta già lavorando. Per trovarsi faccia a faccia con ciò che è quasi una persona viva, che respira in un gioco o in un ambiente VR ha il potenziale per cambiare il modo in cui interagiamo e entriamo in empatia con i personaggi del gioco.

C’è anche un potenziale entusiasmante nei film. Un attore scansionato in questo modo diventa essenzialmente immortale. Immaginate che gli attori continuino a lavorare anche dopo la loro morte, o che richiedano una scansione di anni fa per recitare una scena cui l'attore deve sembrare più giovane: tutto questo è possibile con un'immagine riprodotta digitalmente e dall'aspetto identico avatar. Va oltre l'animazione 3D e può utilizzare le tecniche viste nel motion capture.

Combina la scansione con una stampante 3D e all'improvviso avrai anche delle action figure dall'aspetto assolutamente perfetto. Porta la tecnologia nei musei e negli ambienti didattici e ritornerai alla visione di Cooper dei personaggi in cui credi. Un giorno potresti vedere e sentire un personaggio storico raccontare la storia della sua vita, con la vera emozione registrata su un volto che sembra essere completamente umano. È roba entusiasmante e le possibilità continuano a verificarsi man mano che ci pensi.

Quasi realtà

Siamo ancora lontani dal vedere tutto questo nella realtà. Metapixel ha fatto molta strada molto rapidamente; l'azienda ha costruito il suo primo impianto fotografico solo alla fine del 2015, con 30 fotocamere all'epoca. Sebbene sia stato ampliato, il software personalizzato è ancora in fase di sviluppo e presto saranno disponibili aggiornamenti per rendere il processo di acquisizione delle foto più efficiente. Inoltre, la realtà virtuale stessa, la tecnologia chiave per Metapixel, è ancora agli inizi.

Metapixel sta attirando molta attenzione per un'azienda così giovane e sta lavorando con una produzione cinematografica azienda, sviluppatori di realtà virtuale e persino organizzatori di conferenze per fornire a tutti scansioni personali di tutto il corpo su una chiavetta USB partecipanti. Immagina di avere la possibilità di utilizzare quell'avatar in futuro in una conferenza tenuta nella realtà virtuale. I risultati sono impressionanti ed entusiasmanti per quella che è davvero una tecnologia in fase iniziale. Non vediamo l’ora di vederlo evolversi.

Raccomandazioni degli editori

• Questo monitor 8K è dotato di tecnologia 3D che può essere visualizzato da tutte le angolazioni
• Le nuove cuffie Model One di VZR offrono ai giocatori un suono 3D di qualità audiofila
• I doodle diventano arte della realtà aumentata con il nuovo strumento 3D Paint di Snapchat
• Non puoi permetterti questa testa per treppiede da $ 150? Basta stampare in 3D Edelkrone Ortak FlexTilt
• Ikea crea una linea di accessori di accessibilità stampati in 3D per i giocatori