L'IA de Nvidia et Ray Tracing réalise des selfies vidéo Moonwalk sur la Lune

En plus du lancement de 10 nouveaux ordinateurs portables RTX Studio destinés aux créateurs lors du SIGGRAPH, Nvidia a également annoncé une partie du travail. que réalisent ses équipes de recherche dans les domaines de l'intelligence artificielle, de la réalité augmentée et de l'informatique graphique. À l'occasion du 50e anniversaire de l'alunissage d'Apollo 11, Nvidia a montré comment la technologie de traçage de rayons de sa carte graphique RTX est utilisée pour améliorer visuellement les images capturé par la NASA il y a 50 ans. Chez SIGGRAPH, les efforts de Nvidia pour commémorer Apollo 11 vont encore plus loin, offrant aux fans de l'espace la possibilité de se superposer dans un court clip vidéo, comme s'il s'agissait des astronautes Neil Armstrong et Buzz Aldrin, en utilisant l'IA. et la puissance du lancer de rayons pour restituer ces vidéos en temps réel.

"Ce que nous faisons, c'est utiliser l'intelligence artificielle pour viser une caméra et des personnes simplement en tenue de ville, afin de pouvoir effectuer une estimation de pose en 3D", a expliqué Rob Estes, de Nvidia TKTK. "Nous savons où ils se trouvent dans l'espace 3D et nous savons comment leurs membres bougent. Nous dessinons donc cela en utilisant tracé laser et vous plaçant dans votre mouvement en tant qu'astronaute dans la scène.

Faire le moonwalk sur la marche sur la lune

Les réalisateurs d'effets visuels d'Hollywood font quelque chose de similaire depuis des années en utilisant un écran vert et des acteurs de capture de mouvement portant des costumes. avec des points pour reproduire le mouvement des membres, mais le lancer de rayons et l'IA. allez encore plus loin en éliminant le besoin d'équipement spécialisé et acteurs. "Vous pouvez faire cela partout où vous pouvez filmer quelqu'un", a expliqué Estes sur les avantages de l'IA. tracé laser dans cet exemple lunaire. Essentiellement, les participants au SIGGRAPH peuvent filmer un court montage vidéo d'eux-mêmes dans la combinaison spatiale d'Aldrin et d'Armstrong faisant le marche sur la lune comme s'ils étaient sur la lune dans le cadre de la mission Apollo 11.

"Nous allons avoir une maquette de la surface lunaire et de l'atterrisseur lunaire, et nous allons leur permettre de voir ce que cela signifie." ce serait comme s'ils étaient sur la lune. ", a-t-il déclaré, avec tous les effets d'éclairage et le rendu réalisés dans temps réel. « Il s’agit d’une recherche très avant-gardiste, et personne ne l’a fait auparavant. Vous peignez l’IA. et le lancer de rayons d'une manière qui présente de très nombreux avantages pratiques. Ces avantages aident non seulement Hollywood et ses équipes d'effets visuels mais aussi des concepteurs et des chercheurs essayant de résoudre des problèmes difficiles avec l'estimation de la recherche, Nvidia étendu.

Rendu fovéal avec lunettes de vue

Nvidia souhaite rendre le rendu des applications de réalité augmentée et virtuelle plus réaliste et plus net, et il applique sa technologie de rendu fovéal pour y parvenir. L'équipe de chercheurs de Nvidia a ajouté la prise en charge des verres correcteurs, une première dans l'industrie. Bien que la recherche en soit encore à ses débuts, Nvidia envisage un jour où les porteurs de lunettes de vue n’auront plus besoin de porter des lunettes distinctes de leurs appareils de réalité augmentée.

Nvidia travaille avec plusieurs types d'écran pour pouvoir créer un écran VR ou AR compatible avec les lunettes de vue que vous pourriez avoir. "C'est un gros problème", a déclaré Estes. « Vous n’avez jamais pu voir 20/20 auparavant, car il n’y avait tout simplement pas l’acuité visuelle nécessaire à ces écrans. »

De la même manière que le lancer de rayons peut apporter des effets cinématographiques réalistes aux jeux vidéo, fové le rendu peut rendre les scènes et les images AR plus réalistes avec une meilleure résolution en conservant puissance graphique. Plutôt que de restituer la scène entière, le rendu fovéal permet aux créateurs de restituer uniquement la partie centrale de la scène en haute résolution. la fidélité, sur laquelle vos yeux se concentrent généralement, et les zones périphériques peuvent être rendues avec moins de détails pour économiser sur le GPU pouvoir.

"Nous travaillons donc pour nous assurer que nous suivons où se trouve votre jeu et que nous l'appliquons pour que vous alliez plus vite. des fréquences d'images et de meilleurs graphismes dans la réalité augmentée, ou cela pourrait également être appliqué à la réalité virtuelle », a déclaré Estès.

GauGAN, l'IA. artiste, est libéré

Dans le passé, Nvidia a montré comment GauGAN L'outil de dessin peut transformer même ceux d'entre nous qui ont des difficultés artistiques en artistes en vous permettant de dessiner des dessins complexes, paysages de vie avec seulement quelques traits simples en tirant parti de la puissance de l'artificiel intelligence. Les scènes dessinées par l'IA, a révélé Nvidia, ont également été utilisées dans certains grands films hollywoodiens comme arrière-plans, les studios superposant des éléments qu'ils souhaitaient créer l'ambiance générale du clip.

Plutôt que d'utiliser l'IA. pour identifier des éléments d'une scène, comme un chien ou un chat, GauGAN, comme son nom l'indique, utilise un réseau contradictoire génératif, ou GAN. En spécifiant où se trouve le ciel en traçant une ligne d'horizon et où l'océan rencontre le ciel, GauGAN commence à « dessiner » la scène avec des nuages ​​et des vagues, et l'utilisateur peut ajouter des rochers et des falaises à ce paysage marin, rendant la scène avec des ombres et des ombres appropriées. reflets. Ainsi, au lieu d'identifier des objets dans une image, GAN aide à remplir l'image avec une création et un rendu réalistes de la scène, a expliqué Nvidia.

Compte tenu de la popularité de l'outil, Nvidia a révélé qu'il étendrait l'accès à GauGAN à tous. Pour le moment, Estes a déclaré qu'il n'était pas prévu de monétiser GauGAN, malgré son travail créatif dans le l'industrie cinématographique, et que la société savoure simplement la joie que les autres en retirent En l'utilisant.

Recommandations des rédacteurs

• Nvidia lance Portal: Prelude RTX, et vous pouvez y jouer gratuitement
• 5 fonctionnalités d'IA étonnantes dans Photoshop que vous pouvez utiliser maintenant
• Le supercalculateur de Nvidia pourrait ouvrir la voie à une nouvelle ère de ChatGPT
• 3 raisons pour lesquelles vous devriez toujours acheter un GPU Nvidia plutôt qu'AMD
• Si vous possédez une carte graphique Nvidia, votre processeur souffre peut-être en ce moment

Améliorez votre style de vieDigital Trends aide les lecteurs à garder un œil sur le monde en évolution rapide de la technologie avec toutes les dernières nouvelles, des critiques de produits amusantes, des éditoriaux perspicaces et des aperçus uniques.