Awake: os hologramas volumétricos do episódio um são uma nova visão para ser vista

Leia qualquer ampla cobertura de realidade virtual e sem dúvida você encontrará a palavra “imersão” pelo menos uma ou duas vezes. Esse é um termo relativamente vago para a sensação de presença no mundo virtual, mas é o mais próximo que chegaremos fornecer um ponto de referência singular para avaliar o sucesso de um desenvolvedor de VR na elaboração de um produto confiável experiência.

A maioria dos desenvolvedores utiliza técnicas semelhantes para obter imersão. Eles trabalham dentro dos limites dos headsets de realidade virtual existentes e criam cenas de alta fidelidade em pequena escala, com áudio binaural. Se eles fizerem um trabalho bom o suficiente, você pode se encontrar vagando pelo vale misterioso. É raro subir a colina do outro lado – mas é exatamente isso que Acordado da produtora de realidade virtual Iniciar RV está tentando fazer.

Seu primeiro episódio de aproximadamente 20 minutos é uma experiência cinematográfica de realidade virtual levemente interativa que oferece uma história cativante em torno do tema dos sonhos lúcidos. Mas por mais intrigante que seja a narrativa, é a técnica de captura volumétrica usada para elaborá-la que é Acordadoé o elemento mais marcante.

O resultado final são personagens com expressões faciais, movimentos e gestos incrivelmente realistas. Esta não é uma captura de movimento de bola de pingue-pongue. É algo totalmente diferente.

**Spoilers leves para Acordado história pode estar presente na entrevista a seguir.**

Até logo bolas de pingue-pongue, olá hologramas

“A técnica que Acordado foi escrito especificamente em torno de um vídeo volumétrico”, explicou o criador e diretor Martin Taylor. “Portanto, é um novo tipo de captura de performance que pega a atuação completa do ator, incluindo todo o guarda-roupa e a expressão completa, e os captura como um holograma cinematográfico.”

Isso é muito diferente das técnicas de captura de movimento usadas para criar a maioria dos personagens do jogo, tanto para experiências de realidade virtual quanto para jogos 2D mais tradicionais. Enquanto eles usam amostras de movimentos para criar modelos 3D que são revestidos para dar vida aos personagens virtuais, a captura volumétrica registra a pessoa inteira. Por dentro e por fora, por assim dizer.

“Ele está usando um equipamento especial com 106 câmeras com sensores de profundidade, todos apontando para um volume cilíndrico no centro e até dois atores podem ficar nesse volume e fazer suas performances”, disse Taylor ao Digital Tendências. “Todas essas câmeras e sensores capturam isso, e muito processamento e software juntam tudo em uma cópia digital sólida e completamente confiável do desempenho.”

Isso dá aos desenvolvedores não apenas uma representação 3D precisa de onde esses atores estão e como eles estão posicionados em um determinado momento, mas também uma impressão de vídeo quase fotorrealista deles.

“A versão bruta das capturas é uma enorme série de modelos OBJ que são exclusivamente diferentes uns dos outros e, em seguida, uma textura de vídeo envolvida por cima”, disse Taylor.

Pioneiros em seu uso, a captura volumétrica não era algo que o Start VR pudesse realizar sozinho. Precisava da ajuda da Microsoft.

O parceiro de dança certo

Em um dos segmentos mais edificantes de Acordado: Episódio Um, nosso protagonista, Harry, compartilha uma dança com seu parceiro com a imagem espalhada pela parede do jogo como se fosse de algum projetor invisível. Assim como esses personagens se encontraram no universo do jogo, a Start VR exigiu um parceiro específico para ajudar a criar as performances volumétricas que formam a peça central do jogo. Acordado experiência.

“Fizemos alguns testes iniciais muito rudimentares com esta tecnologia com um Microsoft Kinect e um Câmera Canon 7D uniram-se e os resultados foram comicamente grosseiros”, explicou Taylor. “Mas havia algo na experiência de estar dentro da RV e saber que você está olhando para uma realidade real. pessoa […] Você demorou um pouco mais para atravessar o vale misterioso para lhe dar uma visão muito conectada experiência. Foi um momento realmente emocionante e muito inicial em nosso negócio.”

Inicialmente a Start VR procurou desenvolver seu próprio equipamento de captura volumétrica mas as complexidades de gerenciar tal instalação bem como o custo inicial envolvido na aquisição e configuração de tantas câmeras e sensores de profundidade era demais para considerar.

A equipe passou alguns anos procurando fornecedores e estúdios locais com suas próprias configurações de captura volumétrica. Nenhum deles conseguiu fazer o que o Start VR queria, que era não apenas gravar performances, mas poder reacendê-las após a gravação. Um dos aspectos mais singulares Acordado é que o jogador, embora limitado em possibilidades interativas, pode liberar pequenas partículas de luz de suas mãos virtuais, que podem iluminar áreas sombreadas da experiência.

A única empresa que tornaria isso possível, bem como forneceria o tipo de sistema de captura de movimento que o Start VR precisava, seria a Microsoft.

“Só quando chegamos às o estúdio deles que percebemos o que era necessário para fazer isso funcionar”, continuou Taylor. “A quantidade de computadores, o poder bruto de processamento, o hardware e a infraestrutura nos fizeram pensar. Imediatamente pensei que não conseguiríamos fazer isso sem esse nível de grunhido.”

Das estrelas às telas

Depois que as atuações dos atores foram capturadas, trazê-los para o ambiente do jogo não foi uma tarefa simples. O Start VR abriu caminho tanto em software quanto em hardware.

“O outro grande desafio foi [construir] a experiência no motor Unreal”, explicou Taylor. “O plugin não existia para aceitar iluminação dinâmica. Tivemos que executar funções básicas como criar um ponto de entrada e um ponto de saída. Se dois personagens fossem filmados no mesmo volume, teríamos que separá-los e colocá-los em lados diferentes da sala.”

Depois que isso foi resolvido e a experiência começou a se formar, o próximo grande problema foi a otimização. A Start VR trabalhou em estreita colaboração com a Nvidia para que a experiência funcionasse perfeitamente em uma GTX 1080 Ti placa de vídeo e então comecei a trabalhar para ver que tipo de cortes poderiam ser feitos para permitir que a experiência rodasse em hardware mais fraco.

Acordado atualmente oferece dois modos de jogo. A opção de alta fidelidade é de longe a experiência mais agradável, embora o Start VR sugira que uma GTX 1080 como especificação mínima exigida. Conseguimos fazê-lo funcionar em um AMD Radeon Fury X, mas as taxas de quadros às vezes falhavam. A opção padrão é muito mais indulgente, mas o visual sofre um impacto significativo.

No entanto, esse pode nem sempre ser o caso com esse tipo de tecnologia. O CEO da Start VR, Kain Tietzel, disse à Digital Trends que acredita que a Nvidia pode aproveitar hardware sob medida (talvez semelhante aos núcleos Tensor e RT encontrados em suas placas gráficas RTX) para oferecer melhor desempenho para captura de vídeo volumétrica.

“Ninguém realmente escreveu nada específico para lidar com esse tipo de renderização”, disse ele. “À medida que a demanda aumenta e a produção começa a se tornar mais comum, imagino que começaremos vendo a Nvidia tendo aceleração de hardware dedicada para tornar o desempenho cada vez maior realista."

O tamanho da instalação também foi uma grande preocupação para o Start VR.

“A captura bruta é de 10 GB por segundo de captura volumétrica bruta, então há muito trabalho necessário para comprimir 15 minutos em um [download] de 10 GB”, disse Taylor. “Ele está usando o melhor e mais recente plug-in do Unreal Engine. Definitivamente, estamos forçando o motor a fazer coisas que ele não faz nativamente. Estamos trabalhando nisso diariamente.”

A Start VR poderia optar por modelos de fidelidade ainda maior do que os que usa agora. Implementações anteriores de captura volumétrica como Fábrica 42's “Segure o mundo“ experiência educacional apresentada por David Attenborough, parece melhor do que Acordado em alguns sentidos. Isso porque eles oferecem uma experiência de realidade virtual de apenas três graus de movimento. Eles também estão concentrando toda a atenção no rosto e na parte superior do corpo.

“Você poderia aumentar a contagem de polígonos que permitimos [em Acordado] apenas no rosto e então se torna uma resolução superalta”, explicou Taylor. “Existem algumas compensações que estamos escolhendo. Optamos por capturar o corpo inteiro porque queremos que as pessoas possam ver cada parte do personagem e andar ao redor delas. Já vi pessoas rolando no chão para ver se os personagens são persistentes.”

Brincando com hologramas

Depois de todo o esforço e consideração especial necessária para criar Acordado experiência volumétrica, o resultado final é algo bem diferente do que a maioria dos gamers está acostumada. A “textura” dos personagens varia de extremamente detalhada em seus rostos, até áspera e desfocada em áreas de difícil acesso. A mistura de movimentos extremamente realistas e modelos um tanto em blocos nos lembrou do lançamento da Rockstar em 2011, LA Negra com seu estilo visual único. Ou como se alguém tivesse envolvido um vídeo UHD na concha de um personagem original do Xbox.

Está longe de ser perfeito, com a tecnologia lutando especialmente com espaços entre os dedos e cabelos e um contorno ligeiramente em bloco dos personagens. Mas é cativante de uma forma que é raro encontrar na experiência virtual ou em qualquer outro tipo de experiência de realidade simulada, e tem um enorme potencial para um tipo diferente de experiência interativa.

Enquanto capturas de tela de Acordado pode ter uma vibração estranha de vale para eles, quando você está realmente em Acordado mundo, há algo na captura volumétrica que impede totalmente essa depressão. Os atores não parecem perfeitos, mas parecem reais, e isso é algo que não pode ser dito nem mesmo dos melhores modelos CGI com captura de movimento.

Essa imersão no mundo virtual também é de alguma forma aprimorada, forçando você a dar um passo atrás. Você não é um participante deste mundo. Você é um voyeur. Para o Start VR, esse era o plano o tempo todo.

“[Outros cineastas] sempre se sentem compelidos a fazer com que os atores da cena olhem para você, a câmera, e não sei se isso necessariamente funciona o tempo todo”, disse Tietzel ao Digital Trends. “Se você é constantemente tratado como se precisasse ser olhado, acho que isso muda a natureza da performance e eu acho que é raro você realmente ver performances críveis atuando para uma câmera e você deve reagir a eles."

https://www.facebook.com/startvr/photos/a.558965407540304/1534047166698785/

Isso não quer dizer que você nunca se sinta envolvido na cena em Acordado. Há momentos, especificamente criados, em que você acaba na linha de visão de um personagem, dando-lhe choques de admiração se ele pode vê-lo ou não. Isso não tira você da experiência, mas lembra seu papel voyeurístico na cena. Na verdade, aumenta o quão pessoal a história é, apesar de sugerir uma narrativa mais expansiva além deste primeiro episódio.

(Lúcido) sonhando com o futuro

Start VR tem oito episódios planejados para o Acordado série já, com Taylor já tendo passado anos elaborando uma história que é pessoal e expansiva. À medida que esses episódios são lançados, podemos esperar muitas melhorias, disseram-nos.

“A tecnologia, a precisão e a taxa de quadros vão mudar drasticamente”, disse Tietzel à Digital Trends. “Mesmo entender como iluminamos e direcionamos as performances – qual é a melhor maneira de obter performances dos atores naquele espaço também mudará. Esta é uma experiência de aprendizagem.”

Além de expandir sua própria experiência na direção de atores e no desenvolvimento de jogos VR, a Start VR também está trabalhando com a Microsoft para continuar aprimorando a técnica de captura volumétrica para trazer novas rugas ao virtual tela.

“Fazer com que o personagem perceba você é uma maneira de contar uma história e já acho que existem variações surgindo onde podemos adicionar linha de olho”, destacou Taylor. “Estamos trabalhando com a Microsoft para controlar o movimento da cabeça do personagem para poder virar e focar em você até cerca de 30 graus de cada lado da posição registrada […] Também obrigando as pessoas a fazerem coisas reativas. Então há momentos em que o personagem estende a mão para lhe dar algo. Você se sente compelido a tentar tirar isso deles? São essas diferentes maneiras de nos conectar com um personagem, em vez de apenas olhar para ele, que estamos tentando.”

A Start VR também planeja experimentar vários ambientes (Acordado: Episódio Um ocorre quase exclusivamente em um. Talvez um ano e meio), mas está além do escopo da realidade virtual que Taylor e Tietzel acham que seus experimentos com captura volumétrica serão mais facilmente sentidos.

“Já estamos explorando o que pode significar trazer esse tipo de captura para a realidade aumentada, e as performances da vida real no mundo real são o próximo passo”, disse Tietzel. “Os primeiros testes nesta área produziram alguns resultados fascinantes.”

Essas experiências e o primeiro episódio de Start VR de Acordado destacar o potencial emocionante da captura volumétrica. Eles contornam o soluços de desempenho de tecnologias como ray tracing para uma iluminação realista no jogo e entregar algo que seja verossímil de perto, mesmo que ainda tenha algumas manchas.

Acordado: Episódio Um é um primeiro passo emocionante em uma jornada narrativa, mas é um salto ainda maior para o aprimoramento tecnológico que ajudou a trazê-lo ao mundo. Estamos entusiasmados com o que Acordado a história e as tecnologias de captura que ela defende podem evoluir, e imaginamos que veremos muito mais delas no futuro.

Acordado: Episódio Um está disponível em Vapor e Viveport com um preço de $ 8.

Recomendações dos Editores

• Trazer o melhor jogo Star Wars de VR para o PlayStation VR2 foi óbvio, dizem os desenvolvedores
• Impressionante jogo de laser tag de realidade mista pode ser o novo ás na manga da VR
• Se você quiser um Quest 2, compre um antes que haja um grande aumento de preço na próxima semana
• O que é o golfe? sequência, Twilight Zone VR e muito mais mostrado no stream UploadVR
• Among Us VR, Ghostbusters e muito mais chegando ao Meta Quest 2