Lors de la conférence sur le traitement de l'information neuronale à Montréal, au Canada, les chercheurs de Nvidia ont démontré qu'ils pourrait utiliser la puissance de l’intelligence artificielle pour restituer des scènes synthétiques, mais réalistes, avec des détails et textures. Les chercheurs affirment que les travaux en sont encore à leurs débuts et qu’il n’est pas clair quand la technologie sera disponible. publiés auprès des consommateurs, mais il existe un grand potentiel pour le rendu basé sur l'intelligence artificielle de Nvidia dans le espace de jeu.
"Ce travail concerne une nouvelle façon de rendre des infographies à l'aide de réseaux de neurones", a déclaré Bryan Catanzaro, vice-président de l'apprentissage profond appliqué de Nvidia, lors d'une conférence téléphonique. Fondamentalement, les chercheurs voulaient savoir comment appliquer l’IA à l’intelligence artificielle. pour améliorer l'infographie, et la solution consiste à appliquer l'apprentissage automatique aux vidéos du monde réel afin de restituer de nouveaux graphiques.
Vidéos recommandées
"Nous avons construit un système qui prend des représentations de haut niveau du monde physique, en prenant essentiellement un croquis vidéo et en le convertissant en une scène rendue", a déclaré Catanzaro. « Le modèle comprend les informations de haut niveau sur les objets du monde réel, puis les élabore pour ajouter des informations sur la texture et l'éclairage. Le but est de pouvoir synthétiser de nouvelles scènes avec des graphismes.
L'apprentissage automatique est utilisé pour analyser les vidéos existantes et Nvidia appliquerait des techniques de vision par ordinateur pour ajouter des étiquettes aux objets et à leurs propriétés. Cela signifie que l'A.I. serait capable de reconnaître un paysage urbain et de comprendre quels objets sont des arbres, des voitures ou des bâtiments, par exemple.
Cette technologie est issue de recherches existantes, comme celle de l'Université de Californie à Berkeley, selon Nvidia. La société a déjà présenté d'autres techniques de rendu basées sur l'IA, dont une qui permettrait supprimer le bruit d'une image.
Les chercheurs ont pu obtenir un rendu en temps réel sur un GPU Tensor Core, mais pour la conférence, Nvidia a présenté la technologie sur sa carte Titan V. « Bien que vous puissiez faire cela sur n’importe quel processeur, l’aspect temps réel nécessite beaucoup d’intelligence artificielle. débit », a expliqué Catanzaro, notant que le GPU Tensor Core est important.
En étant capable de créer du contenu et de l’ajouter à des mondes virtuels, le marché du jeu pourrait grandement bénéficier des travaux générés par cette recherche. Les développeurs, par exemple, pourraient « remasteriser » d’anciens jeux en restituant d’anciens titres pour ajouter des visuels haute définition, ou ils pourraient ajouter de nouveaux niveaux aux jeux existants avec peu d’effort.
À titre d'exemple de base de la façon dont cela fonctionnerait, les utilisateurs peuvent prendre une vidéo d'eux-mêmes, la télécharger dans un jeu, et le rendu permettra de créer des avatars hautement personnalisés à utiliser dans le jeu. Nvidia a mis en open source le code issu de ses recherches pour le moment, mais Catanzaro prévient que les premiers travaux dans ce domaine conviennent mieux aux informaticiens qu'aux développeurs de jeux.
Dans une démo distincte, Nvidia a montré qu'il pouvait analyser les mouvements de danse, comme dans le clip vidéo populaire. Gangnam Style – et transférez ces mouvements à une autre personne en utilisant les mêmes techniques de vision par ordinateur. "Nous analysons le code de la personne et cela devient notre croquis", a déclaré Catanzaro. "Et le modèle restitue la personne cible à partir de ce croquis."
Nvidia prévient qu'il s'agit encore d'une technologie à un stade précoce, mais vous pouvez également mettre à niveau les graphiques à partir de un jeu existant et former un modèle sur des images du monde réel pour restituer les anciens jeux afin de les rendre plus beaux. Parce que la technologie nécessite que l'ordinateur analyse des objets connus dans le monde réel, Catanzaro prévient qu'elle ne fonctionnera pas sur des choses fantastiques, comme le rendu des lutins du Père Noël. En théorie, admet-il, vous pouvez entraîner l'ordinateur à restituer les elfes, mais vous devez créer des elfes physiques et capturer des images pour que l'ordinateur puisse les apprendre.
Comme le tracé laser technologie introduite sur la récente série RTX de Nvidia cartes graphiques pour les consommateurs, la société a déclaré que ce rendu basé sur l’IA est utilisé de manière hybride et n’est pas destiné à remplacer les techniques de rendu traditionnelles. Au lieu de cela, le rendu basé sur l’IA est censé coexister et être utilisé avec les moteurs de rendu graphique traditionnels.
Pour l’instant, on ne sait pas quand cette technologie arrivera sur le marché des jeux vidéo. Cela pourrait prendre seulement quelques années, a spéculé Catanzaro avec optimisme. Combiné avec tracé laser, le rendu de scènes basé sur l'IA fournira des visuels de qualité dans les titres de jeux rendus en temps réel.
Recommandations des rédacteurs
- J'ai testé la nouvelle fonctionnalité RTX de Nvidia et elle a corrigé le pire aspect du jeu sur PC
- Les meilleurs auteurs exigent une rémunération des entreprises d’IA pour l’utilisation de leurs travaux
- Wix utilise ChatGPT pour vous aider à créer rapidement un site Web complet
- Ce mystérieux GPU Nvidia est une monstruosité absolue – et nous venons de jeter un autre regard
- Le RTX 4060 de Nvidia n’est peut-être pas une telle déception après tout
Améliorez votre style de vieDigital Trends aide les lecteurs à garder un œil sur le monde en évolution rapide de la technologie avec toutes les dernières nouvelles, des critiques de produits amusantes, des éditoriaux perspicaces et des aperçus uniques.
