Awake: les hologrammes volumétriques du premier épisode sont un nouveau spectacle à voir

Lire n'importe quel couverture étendue de la réalité virtuelle et vous rencontrerez sans doute le mot « immersion » au moins une ou deux fois. C’est un terme relativement vague pour désigner le sentiment de présence dans le monde virtuel, mais c’est aussi proche que possible. fournir un point de référence unique pour évaluer le succès d'un développeur VR dans la création d'un projet crédible. expérience.

La plupart des développeurs utilisent une technique similaire pour réaliser l'immersion. Ils fonctionnent dans les limites des casques de réalité virtuelle existants et créent des scènes à petite échelle et haute fidélité, avec un son binaural. S'ils font un assez bon travail, vous pourriez vous retrouver à errer dans le vallée étrange. Il est rare de gravir la montée de l’autre côté, et pourtant c’est exactement ce qui se passe.

Éveillé de la maison de production de réalité virtuelle Démarrer la réalité virtuelle essaie de faire.

Son premier épisode d'environ 20 minutes est une expérience cinématographique VR légèrement interactive qui raconte une histoire captivante autour du thème du rêve lucide. Mais aussi intrigant que soit le récit, c’est la technique de capture volumétrique utilisée pour le concevoir qui est la plus intéressante. ÉveilléC’est l’élément le plus frappant.

Le résultat final est des personnages avec des expressions faciales, des mouvements et des gestes incroyablement réalistes. Il ne s’agit pas d’une capture de mouvement avec une balle de ping-pong. C’est tout autre chose.

** Légers spoilers pour Éveillé l’histoire peut être présente dans l’interview suivante.**

A bientôt les balles de ping-pong, bonjour les hologrammes

« La technique qui Éveillé a été spécifiquement écrit autour de la vidéo volumétrique », a expliqué le créateur et réalisateur Martin Taylor. "Il s'agit donc d'un nouveau type de capture de performance qui prend la performance complète de l'acteur, y compris toute sa garde-robe et toute son expression, et les capture sous forme d'hologramme filmique."

Ceci est très différent des techniques de capture de mouvement utilisées pour créer la plupart des personnages du jeu, à la fois pour les expériences de réalité virtuelle et pour les jeux 2D plus traditionnels. Alors que ceux-ci utilisent des échantillons de mouvements pour créer les modèles 3D qui sont skinnés pour donner vie aux personnages virtuels, la capture volumétrique enregistre la personne entière. À l’intérieur comme à l’extérieur, pour ainsi dire.

"Il utilise une plate-forme spéciale dotée de 106 caméras dotées de capteurs de profondeur, toutes pointées vers un volume cylindrique dans le centre et jusqu’à deux acteurs peuvent se tenir dans ce volume et livrer leurs performances », a déclaré Taylor à Digital Les tendances. "Toutes ces caméras et capteurs capturent cela, et de nombreux traitements et logiciels les assemblent en une copie numérique totalement crédible et solide de la performance."

Cela donne aux développeurs non seulement une représentation 3D précise de l'endroit où se trouvent ces acteurs et de la façon dont ils sont posés à un moment donné, mais également une impression vidéo presque photoréaliste d'eux.

"La version brute des captures est constituée d'une énorme série de modèles OBJ qui sont tous très différents les uns des autres, puis d'une texture vidéo enveloppée par-dessus", a déclaré Taylor.

Pionnier dans son utilisation, la capture volumétrique n’était pas quelque chose que Start VR pouvait réaliser seul. Il avait besoin de l’aide de Microsoft.

Le bon partenaire de danse

Dans l'un des segments les plus édifiants de Réveillez-vous: épisode 1, notre protagoniste, Harry, partage une danse avec son partenaire avec l'image projetée sur le mur du jeu comme si elle provenait d'un projecteur invisible. Tout comme ces personnages se sont retrouvés dans l’univers du jeu, Start VR avait besoin d’un partenaire spécifique pour l’aider à créer les performances volumétriques qui constituent la pièce maîtresse de Éveillé expérience.

«Nous avons effectué des premiers tests très rudimentaires avec cette technologie avec un Microsoft Kinect et un Appareil photo Canon 7D réunis et les résultats étaient comiquement bruts », a expliqué Taylor. "Mais il y avait juste quelque chose dans l'expérience d'être à l'intérieur de la réalité virtuelle et de savoir que vous regardez un vrai personne […] Il vous a fallu un peu plus pour traverser l'étrange vallée pour vous offrir un aperçu très connecté expérience. Ce fut un moment vraiment excitant et très tôt dans notre activité.

Initialement, Start VR envisageait de développer sa propre plate-forme de capture volumétrique, mais les complexités de la gestion d'une telle installation, ainsi que le coût initial impliqué dans l'acquisition et la configuration d'autant de caméras et de capteurs de profondeur était trop élevé pour considérer.

L'équipe a passé quelques années à rechercher des fournisseurs et des studios locaux disposant de leurs propres installations de capture volumétrique. Aucun d’entre eux ne pouvait faire ce que voulait Start VR, c’est-à-dire non seulement enregistrer des performances, mais pouvoir les rallumer après l’enregistrement. L'un des aspects les plus uniques de Éveillé est que le joueur, bien que limité dans ses possibilités interactives, peut libérer de petites particules de lumière de ses mains virtuelles, ce qui peut éclairer les zones sombres de l'expérience.

La seule entreprise qui rendrait cela possible et fournirait le type de système de capture de mouvement dont Start VR avait besoin était Microsoft.

« Ce n’est que lorsque nous sommes arrivés à leur atelier que nous avons réalisé ce qui était nécessaire pour que cela fonctionne », a poursuivi Taylor. « La quantité d’ordinateurs, la puissance de traitement brute, le matériel et l’infrastructure nous ont fait réfléchir. Immédiatement, j’ai pensé que nous ne pourrions pas y parvenir sans ce niveau de grognement.

Des étoiles aux écrans

Une fois les performances des acteurs capturées, les intégrer dans l’environnement de jeu n’était pas une mince affaire. Start VR a ouvert la voie dans les logiciels et le matériel.

"L'autre grand défi était de [construire] l'expérience dans le moteur Unreal", a expliqué Taylor. « Le plugin n’existait pas pour accepter un éclairage dynamique. Nous devions exécuter des fonctions de base comme créer un point d'entrée et un point de sortie. Si deux personnages étaient filmés dans le même volume, nous devions les séparer et les placer de différents côtés de la pièce.

Une fois ce problème résolu et l’expérience commencée à se concrétiser, le prochain gros problème était l’optimisation. Start VR a travaillé en étroite collaboration avec Nvidia pour que l'expérience se déroule sans problème sur une GTX 1080 Ti carte graphique puis a commencé à travailler sur du matériel plus faible.

Éveillé propose actuellement deux modes de jeu. L'option haute fidélité est de loin l'expérience la plus agréable, bien que Start VR suggère que une GTX 1080 comme spécification minimale requise. Nous avons réussi à le faire fonctionner sur une AMD Radeon Fury X, mais les fréquences d'images bégayaient parfois. L’option standard est beaucoup plus indulgente, mais les visuels en subissent un coup dur.

Cependant, ce n’est pas toujours le cas avec ce type de technologie. Kain Tietzel, PDG de Start VR, a déclaré à Digital Trends qu'il pensait que Nvidia pourrait exploiter du matériel sur mesure (peut-être semblable aux cœurs Tensor et RT trouvés dans ses cartes graphiques RTX) pour offrir des performances améliorées pour la capture vidéo volumétrique.

"Personne n'a vraiment écrit quoi que ce soit de spécifique pour gérer ce type de rendu", a-t-il déclaré. "À mesure que la demande augmente et que la production commence à devenir plus courante, j'imagine que nous allons commencer voir Nvidia disposer d'une accélération matérielle dédiée pour rendre les performances de plus en plus grandes réaliste."

La taille de l’installation était également une préoccupation majeure pour Start VR.

"La capture brute représente 10 Go par seconde de capture volumétrique brute, il y a donc beaucoup de travail à faire pour compresser 15 minutes dans un [téléchargement] de 10 Go", a déclaré Taylor. « Il utilise le dernier et le meilleur de tous les plugins d’Unreal Engine. Nous poussons définitivement le moteur à faire des choses qu’il ne fait pas nativement. Nous y travaillons quotidiennement.

Start VR pourrait opter pour des modèles de fidélité encore plus élevés que ceux qu’il utilise actuellement. Implémentations antérieures de capture volumétrique comme Usine 42 »Tenez le monde“ expérience éducative organisée par David Attenborough, plus belle que Éveillé dans certains sens. C’est parce qu’ils offrent une expérience de réalité virtuelle à seulement trois degrés de mouvement. Ils concentrent également toute l’attention sur le visage et le haut du corps.

« Vous pourriez augmenter le nombre de polygones que nous autorisons [dans Éveillé] juste dans le visage, puis cela devient une très haute résolution », a expliqué Taylor. « Il y a certains compromis que nous choisissons ici. Nous avons choisi d'opter pour des captures de corps entiers parce que nous voulons que les gens puissent voir chaque partie du personnage et se promener autour d'eux. J’ai vu des gens se rouler par terre pour voir si les personnages persistaient.

Jouer avec les hologrammes

Après tous les efforts et la considération particulière nécessaires à la création Éveillé expérience volumétrique, le résultat final est quelque chose de très différent de ce à quoi la plupart des joueurs seront habitués. La « texture » ​​des personnages varie d'extrêmement détaillée sur leurs visages à des zones grossières et floues dans les zones plus difficiles à atteindre. Le mélange de mouvements extrêmement réalistes et de modèles quelque peu en blocs nous a rappelé la sortie de Rockstar en 2011, La Noire avec son style visuel unique. Ou comme si quelqu’un avait enveloppé une vidéo UHD sur la coque d’un personnage Xbox original.

C’est loin d’être parfait, la technologie aux prises notamment avec les écarts entre les doigts et les cheveux, et le contour des personnages un peu en blocs. Mais c’est captivant d’une manière qu’il est rare de trouver dans une expérience de réalité virtuelle ou tout autre type d’expérience de réalité simulée, et cela recèle un énorme potentiel pour un autre type d’expérience interactive.

Tandis que les captures d'écran de Éveillé peut avoir une ambiance étrange de vallée, quand vous êtes réellement dans Éveillé monde, il y a quelque chose dans la capture volumétrique qui empêche complètement cette dépression. Les acteurs n’ont pas l’air parfaits, mais ils ont l’air réels, et c’est quelque chose qu’on ne peut pas dire, même pour les meilleurs modèles CGI capturés en mouvement.

Cette immersion dans le monde virtuel est aussi en quelque sorte renforcée en vous obligeant à prendre du recul par rapport à celui-ci. Vous n’êtes pas un participant à ce monde. Tu es un voyeur. Pour Start VR, c’était le plan depuis le début.

"[D'autres cinéastes] se sentent toujours obligés de demander aux interprètes de la scène de vous regarder, la caméra, et je ne sais pas si cela fonctionne nécessairement tout le temps", a déclaré Tietzel à Digital Trends. "Si vous êtes constamment traité comme si vous deviez être regardé, je pense que cela change la nature de la performance et je Je pense qu'il est rare que vous voyiez réellement des performances crédibles agissant devant une caméra et que vous soyez censé réagir à eux."

https://www.facebook.com/startvr/photos/a.558965407540304/1534047166698785/

Cela ne veut pas dire que vous ne vous sentez jamais impliqué dans la scène. Éveillé. Il y a des moments, spécialement conçus, où vous vous retrouvez dans le champ de vision d'un personnage, vous donnant des frissons d'émerveillement quant à savoir s'il peut vous voir ou non. Cela ne vous sort pas de l’expérience, mais vous rappelle votre rôle voyeuriste dans la scène. Au contraire, cela renforce le caractère personnel de l'histoire, malgré ses allusions à un récit plus vaste au-delà de ce premier épisode.

(Lucide) rêvant du futur

Start VR a huit épisodes prévus pour le Éveillé série déjà, Taylor ayant déjà passé des années à créer une histoire à la fois personnelle et expansive. Au fur et à mesure du déploiement de ces épisodes, nous pouvons nous attendre à de nombreuses améliorations, nous dit-on.

"La technologie, la précision et la fréquence d'images vont changer radicalement", a déclaré Tietzel à Digital Trends. « Même comprendre comment nous éclairons et dirigeons les performances – quelle est la meilleure façon d’obtenir les performances des acteurs dans cet espace changera également. C’est une expérience d’apprentissage.

En plus d'élargir sa propre expertise en matière de direction d'acteurs et de développement de jeux VR, Start VR travaille également avec Microsoft pour continuer à améliorer la technique de capture volumétrique afin d'apporter de nouvelles rides au virtuel toile.

"Faire en sorte que le personnage vous remarque est une façon de raconter une histoire et je pense déjà qu'il y a des variantes à venir dans lesquelles nous pouvons ajouter un regard", a souligné Taylor. "Nous travaillons avec Microsoft pour contrôler les mouvements de la tête du personnage afin de pouvoir se tourner et se verrouiller sur vous. jusqu'à environ 30 degrés de chaque côté de la position enregistrée […] Cela oblige également les gens à faire des choses réactives. Il y a donc des moments où le personnage tend la main pour vous donner quelque chose. Vous sentez-vous obligé d’essayer de leur enlever ça? Ce sont ces différentes façons de se connecter avec un personnage plutôt que de simplement le regarder que nous essayons.

Start VR prévoit également d'expérimenter plusieurs environnements (Réveillez-vous: épisode 1 se déroule presque exclusivement dans un seul. Peut-être un et demi), mais c'est au-delà de la portée de la réalité virtuelle que Taylor et Tietzel estiment que leurs expériences de capture volumétrique se feront le plus sentir.

"Nous explorons déjà ce que cela pourrait signifier d'introduire ce type de capture dans la réalité augmentée, et les performances réelles dans le monde réel sont la prochaine étape", a déclaré Tietzel. « Les premiers tests dans ce domaine ont donné des résultats fascinants. »

Ces expériences et le premier épisode de Start VR Éveillé mettre en évidence le potentiel passionnant de la capture volumétrique. Ils contournent le problèmes de performances de technologies comme le lancer de rayons pour un éclairage réaliste dans le jeu et offrir quelque chose de crédible de près, même s'il présente encore quelques défauts.

Réveillez-vous: épisode 1 est une première étape passionnante dans un voyage narratif, mais c’est un pas encore plus grand pour l’amélioration technologique qui a contribué à sa naissance dans le monde. Nous sommes ravis de ce Éveillé l’histoire et les technologies de capture qu’elle défend pourraient évoluer, et imaginez que nous en verrons beaucoup plus à l’avenir.

Réveillez-vous: épisode 1 est disponible sur Vapeur et Viveport avec un prix de 8 $.

Recommandations des rédacteurs

• Apporter le meilleur jeu Star Wars de VR sur PlayStation VR2 était une évidence, disent les développeurs
• Un impressionnant jeu de laser tag en réalité mixte pourrait être le nouvel atout de la réalité virtuelle
• Si vous voulez un Quest 2, achetez-en un avant qu'il ne connaisse une forte hausse de prix la semaine prochaine
• C'est quoi la Golf? suite, Twilight Zone VR et plus encore présentés dans le flux UploadVR
• Among Us VR, Ghostbusters et bien plus arrivent dans Meta Quest 2