leer cualquier amplia cobertura de la realidad virtual y sin duda te encontrarás con la palabra “inmersión” al menos una o dos veces. Es un término relativamente vago para la sensación de presencia dentro del mundo virtual, pero es lo más parecido que podremos conseguir. hasta proporcionar un punto de referencia singular para medir el éxito de un desarrollador de realidad virtual en la creación de una experiencia creíble. experiencia.
Contenido
- Hasta luego pelotas de ping pong, hola hologramas
- La pareja de baile adecuada
- De las estrellas a las pantallas
- Jugando con hologramas
- (lúcido) soñando con el futuro
La mayoría de los desarrolladores utilizan técnicas similares para lograr la inmersión. Trabajan dentro de los límites de los cascos de realidad virtual existentes y crean escenas de alta fidelidad a pequeña escala con audio binaural. Si hacen un buen trabajo, es posible que te encuentres vagando por el valle inquietante. Es raro subir la colina al otro lado, pero eso es exactamente lo que Despierto de la productora de realidad virtual Iniciar la realidad virtual está intentando hacer.
Vídeos recomendados
Su primer episodio de aproximadamente 20 minutos es una experiencia cinematográfica de realidad virtual ligeramente interactiva que ofrece una historia cautivadora sobre el tema de los sueños lúcidos. Pero por más intrigante que sea la narrativa, es la técnica de captura volumétrica utilizada para elaborarla lo que resulta llamativo. DespiertoEl elemento más llamativo.
El resultado final son personajes con expresiones faciales, movimientos y gestos increíblemente realistas. Esto no es una captura de movimiento de una pelota de ping-pong. Es algo completamente distinto.
**Spoilers leves para despiertos La historia puede estar presente en la siguiente entrevista.**
Hasta luego pelotas de ping pong, hola hologramas
“La técnica que Despierto "Se escribió específicamente en torno a un video volumétrico", explicó el creador y director Martin Taylor. "Así que es un nuevo tipo de captura de actuación que toma la actuación completa del actor, incluido todo el vestuario y la expresión completa, y los captura como un holograma cinematográfico".
La captura volumétrica no era algo que Start VR pudiera realizar solo. Necesitaba la ayuda de Microsoft.
Esto es muy diferente de las técnicas de captura de movimiento utilizadas para crear la mayoría de los personajes del juego, tanto para experiencias de realidad virtual como para juegos 2D más tradicionales. Mientras que estos utilizan muestras de movimientos para crear modelos 3D a los que se les quita la piel para dar vida a los personajes virtuales, la captura volumétrica registra a la persona completa. Por dentro y por fuera, por así decirlo.
“Se utiliza una plataforma especial con 106 cámaras con sensores de profundidad, todas apuntando hacia un volumen cilíndrico en el centro y hasta dos actores pueden pararse en ese volumen y realizar sus actuaciones”, dijo Taylor a Digital Tendencias. "Todas estas cámaras y sensores capturan eso, y una gran cantidad de procesamiento y software lo unen en una copia digital sólida y completamente creíble de la actuación".
Esto les brinda a los desarrolladores no solo una representación 3D precisa de dónde están esos actores y cómo posan en un momento determinado, sino también una impresión en video casi fotorrealista de ellos.
"La versión sin procesar de las capturas es una gran serie de modelos OBJ que son excepcionalmente diferentes entre sí y luego una textura de video envuelta en la parte superior", dijo Taylor.
Pioneros en su uso, la captura volumétrica no era algo que Start VR pudiera realizar solo. Necesitaba la ayuda de Microsoft.
La pareja de baile adecuada
En uno de los segmentos más edificantes de Despierto: Episodio uno, nuestro protagonista, Harry, comparte un baile con su compañero con la imagen proyectada en la pared del juego como si fuera un proyector invisible. Así como esos personajes se encontraron dentro del universo del juego, Start VR necesitaba un socio específico para ayudar a crear las actuaciones volumétricas que forman la pieza central de despiertos experiencia.
“Hicimos algunas pruebas iniciales muy crudas con esta tecnología con un Microsoft Kinect y un cámara canon 7d se unieron y los resultados fueron cómicamente crudos”, explicó Taylor. “Pero había algo en la experiencia de estar dentro de la realidad virtual y saber que estás viendo una realidad real. persona […] Te llevó un poco más cerca de cruzar el valle inquietante para brindarte una experiencia muy conectada experiencia. Fue un momento realmente emocionante y muy temprano en nuestro negocio”.
Inicialmente, Start VR consideró desarrollar su propia plataforma de captura volumétrica, pero las complejidades de administrar dicha instalación, Además, el costo inicial involucrado en la adquisición y configuración de tantas cámaras y sensores de profundidad era demasiado para considerar.
"Pensé que no había manera de que pudiéramos lograr esto sin este nivel de gruñido".
El equipo pasó un par de años buscando proveedores y estudios locales con sus propias configuraciones de captura volumétrica. Ninguno de ellos pudo hacer lo que Start VR quería, que no solo era grabar las actuaciones, sino también poder volver a iluminarlas después de la grabación. Uno de los aspectos más singulares de Despierto es que el jugador, aunque tiene posibilidades interactivas limitadas, puede liberar pequeñas motas de luz desde sus manos virtuales, que pueden iluminar áreas oscuras de la experiencia.
La única empresa que haría esto posible, además de ofrecer el tipo de sistema de captura de movimiento que Start VR necesitaba, era Microsoft.
“No fue hasta que llegamos a su estudio que nos dimos cuenta de lo que se necesitaba para que esto funcionara”, continuó Taylor. “La cantidad de computadoras, potencia de procesamiento bruta, hardware e infraestructura nos hicieron pensar. Inmediatamente pensé que no había manera de que pudiéramos lograr esto sin este nivel de gruñido”.
De las estrellas a las pantallas
Una vez capturadas las actuaciones de los actores, incorporarlas al entorno del juego no fue tarea sencilla. Start VR abrió un camino tanto en software como en hardware.
"El otro gran desafío fue [construir] la experiencia en el motor Unreal", explicó Taylor. “El complemento no existía para aceptar iluminación dinámica. Tuvimos que realizar funciones básicas como crear un punto de entrada y un punto de salida. Si se filmaban dos personajes en el mismo volumen, teníamos que separarlos y colocarlos en lados diferentes de la habitación”.
“Definitivamente estamos presionando al motor para que haga cosas que no hace de forma nativa. Trabajamos en ello a diario”.
Una vez que eso se resolvió y la experiencia comenzó a tomar forma, el siguiente gran problema fue la optimización. Start VR trabajó en estrecha colaboración con Nvidia para que la experiencia funcionara sin problemas en una GTX 1080 Ti tarjeta grafica y luego comenzó a trabajar hacia abajo para ver qué tipo de recortes se podían hacer para permitir que la experiencia se ejecutara en hardware más débil.
Despierto Actualmente ofrece dos modos de juego. La opción de alta fidelidad es, con diferencia, la experiencia más agradable, aunque Start VR sugiere que una GTX 1080 como especificación mínima requerida. Logramos que funcionara en una AMD Radeon Fury X, pero la velocidad de cuadros a veces tartamudeaba. La opción estándar es mucho más indulgente, pero las imágenes reciben un impacto significativo.
Sin embargo, puede que este no sea siempre el caso con este tipo de tecnología. El director ejecutivo de Start VR, Kain Tietzel, dijo a Digital Trends que cree que Nvidia puede aprovechar el hardware personalizado (quizás similar a los núcleos Tensor y RT que se encuentran en sus tarjetas gráficas RTX) para ofrecer un rendimiento mejorado para la captura de vídeo volumétrico.
"Nadie ha escrito realmente nada específico para manejar este tipo de representación", dijo. “A medida que aumente la demanda y la producción comience a ser más común, imagino que comenzaremos ver que Nvidia tiene aceleración de hardware dedicada para hacer que el rendimiento sea cada vez mayor realista."
El tamaño de la instalación también fue una preocupación importante para Start VR.
"La captura sin procesar es de 10 GB por segundo de captura volumétrica sin procesar, por lo que hay mucho trabajo que implica exprimir 15 minutos en una [descarga] de 10 GB", dijo Taylor. “Utiliza el último y mejor complemento de Unreal Engine. Definitivamente estamos presionando al motor para que haga cosas que no hace de forma nativa. Trabajamos en ello a diario”.
No eres un participante en este mundo. Eres un voyeur. Para Start VR, ese fue el plan desde el principio.
Start VR podría optar por modelos de fidelidad aún mayores que los que utiliza ahora. Implementaciones anteriores de captura volumétrica como Fábrica 42”Sostener el mundo“ experiencia educativa organizada por David Attenborough, luce mejor que Despierto en algunos sentidos. Esto se debe a que ofrecen una experiencia de realidad virtual de apenas tres grados de movimiento. También centran toda la atención en la cara y la parte superior del cuerpo.
“Se podría aumentar el número de polígonos que permitimos [en Despierto] justo en la cara y luego se vuelve de súper alta resolución”, explicó Taylor. “Hay algunas compensaciones que estamos eligiendo allí. Elegimos capturar todo el cuerpo porque queremos que la gente pueda ver cada parte del personaje y caminar alrededor de ella. He visto gente rodando por el suelo para ver si los personajes son persistentes”.
Jugando con hologramas
Después de todo el esfuerzo y consideración especial necesarios para elaborar despiertos experiencia volumétrica, el resultado final es algo muy diferente de lo que la mayoría de los jugadores estarán acostumbrados. La “textura” de los personajes varía desde extremadamente detallada en sus rostros hasta tosca y borrosa en áreas más difíciles de alcanzar. La combinación de movimiento extremadamente realista y modelos algo en bloques nos recordó el lanzamiento de Rockstar en 2011. LA NOIRE con su estilo visual único. O como si alguien hubiera envuelto un vídeo UHD sobre el caparazón de un personaje original de Xbox.
Está lejos de ser perfecto, ya que la tecnología lucha en particular con los espacios entre los dedos y los pelos, y con un contorno ligeramente en bloque de los personajes. Pero es cautivador de una manera que es poco común encontrar en una experiencia de realidad virtual o de cualquier otro tipo simulada, y tiene un enorme potencial para un tipo diferente de experiencia interactiva.
Mientras que las capturas de pantalla de Despierto puede tener una extraña vibra de valle para ellos, cuando en realidad estás en despiertos En el mundo, hay algo en la captura volumétrica que supera por completo esa depresión. Los actores no lucen perfectos, pero parecen reales, y eso es algo que no se puede decir ni siquiera de los mejores modelos CGI capturados en movimiento.
"Incluso comprender cómo iluminamos y dirigimos las actuaciones también cambiará".
Esa inmersión en el mundo virtual también se mejora de alguna manera al obligarte a dar un paso atrás. No eres un participante en este mundo. Eres un voyeur. Para Start VR, ese fue el plan desde el principio.
"[Otros cineastas] siempre se sienten obligados a que los actores de la escena te miren a ti, a la cámara, y no sé si eso necesariamente funciona todo el tiempo", dijo Tietzel a Digital Trends. “Si te tratan constantemente como si tuvieras que mirarte, creo que cambia la naturaleza de la actuación y creo que Creo que es raro que realmente veas actuaciones creíbles actuando ante una cámara y debas reaccionar ante ellas. a ellos."
https://www.facebook.com/startvr/photos/a.558965407540304/1534047166698785/
Eso no quiere decir que nunca te sientas involucrado en la escena en Despierto. Hay momentos, específicamente diseñados, en los que terminas en la línea de visión de un personaje, lo que te hace sentir maravillado sobre si puede verte o no. No te saca de la experiencia, pero te recuerda tu papel voyerista en la escena. En todo caso, realza lo personal que es la historia, a pesar de que insinúa una narrativa más expansiva más allá de este primer episodio.
(lúcido) soñando con el futuro
Start VR tiene ocho episodios planeados para el Despierto serie ya, y Taylor ya ha pasado años elaborando una historia que es a la vez personal y expansiva. A medida que se desarrollen esos episodios, podemos esperar muchas mejoras, nos dicen.
"La tecnología, la precisión y la velocidad de fotogramas van a cambiar drásticamente", dijo Tietzel a Digital Trends. “Incluso entender cómo iluminamos y dirigimos las actuaciones, cuál es la mejor manera de conseguir actuaciones de los actores en ese espacio, también cambiará. Esta es una experiencia de aprendizaje”.
“Así que hay momentos en los que el personaje se acerca para darte algo. ¿Te sientes obligado a intentar quitarles eso?
Además de ampliar su propia experiencia en la dirección de actores y el desarrollo de juegos de realidad virtual, Start VR también está trabajando con Microsoft para seguir potenciando la técnica de captura volumétrica para traer nuevas arrugas a lo virtual lienzo.
"Hacer que el personaje te note es una forma de contar una historia y creo que ya están surgiendo variaciones en las que podemos agregar la línea de visión", destacó Taylor. "Estamos trabajando con Microsoft para controlar el movimiento de la cabeza del personaje para poder girar y fijarse en ti. hasta unos 30 grados a cada lado de la posición registrada […] También obliga a la gente a hacer cosas reactivas. Entonces hay momentos en los que el personaje se acerca para darte algo. ¿Te sientes obligado a intentar quitarles eso? Son esas diferentes formas de conectar con un personaje en lugar de simplemente mirarlo lo que estamos intentando”.
Start VR también planea experimentar con múltiples entornos (Despierto: Episodio uno tiene lugar casi exclusivamente en uno. Tal vez uno y medio), pero es más allá del alcance de la realidad virtual donde Taylor y Tietzel creen que sus experimentos con captura volumétrica se sentirán más fácilmente.
"Ya estamos explorando lo que podría significar llevar este tipo de captura a la realidad aumentada, y las actuaciones de la vida real en el mundo real son el siguiente paso", dijo Tietzel. "Las primeras pruebas en esta área han arrojado resultados fascinantes".
Estas experiencias y el primer episodio de Start VR de Despierto resaltar el apasionante potencial de la captura volumétrica. Ellos eluden el Problemas de rendimiento de tecnologías como el trazado de rayos. para una iluminación realista en el juego y ofrecer algo que sea creíble de cerca, incluso si todavía tiene algunas imperfecciones.
Despierto: Episodio uno Es un primer paso emocionante en un viaje narrativo, pero es un salto aún mayor para la mejora tecnológica que ayudó a nacer en el mundo. Estamos emocionados por lo que despiertos La historia y las tecnologías de captura hacia las que pueden evolucionar, e imaginamos que veremos muchas más de ambas en el futuro.
Despierto: Episodio uno está disponible en Vapor y Viveport con un precio de $8.
Despierto - Avance avance | Iniciar la realidad virtual
Recomendaciones de los editores
- Llevar el mejor juego de Star Wars de realidad virtual a PlayStation VR2 fue una obviedad, dicen los desarrolladores
- El impresionante juego de laser tag de realidad mixta puede ser el nuevo as en la manga de la realidad virtual
- Si quieres un Quest 2, compra uno antes de que suba de precio la próxima semana
- ¿Qué diablos? secuela, Twilight Zone VR y más mostrados en la transmisión de UploadVR
- Among Us VR, Ghostbusters y más llegarán a Meta Quest 2
