Comment l'IA est sur le point de changer radicalement le développement de jeux

Cette histoire fait partie de la série ReSpec de Jacob Roach, couvrant le monde du jeu et du matériel PC.

De tous les cas d'utilisation de l'IA générative, je ne peux pas penser à un plus important que les jeux vidéo. Bien sûr, nous avons vu des gens créer des jeux simples à partir de GPT-4 - mais sûrement, j'ai supposé qu'une technologie aussi puissante était en cours de discussion aux niveaux supérieurs du développement de jeux aussi.

Pour avoir une idée de l'ampleur du changement, je voulais parler à quelqu'un qui comprend réellement comment les jeux sont créés au niveau technique. Marc Whitten, vice-président senior et directeur général de Unity Create, est certainement l'une de ces personnes. Il est particulièrement enthousiasmé par la façon dont l'IA pourrait transformer le développement de jeux, et nous avons parlé de la façon dont les outils qui pourraient permettre cette révolution sont déjà fait son chemin vers les créateurs.

Temps de création plus rapide

Les jeux prennent énormément de temps et d'efforts à développer, mais la majeure partie de ce temps est consacrée à la création de tout le contenu du jeu. Whitten dit que si vous regardez un studio AAA commun de 300 personnes, environ 80% d'entre eux se consacrent à la création de contenu. L'IA peut considérablement accélérer ce processus.

Whitten en a donné un exemple clair: Ziva Face Trainer. Ziva est une société acquise par Unity début 2022, et elle travaille sur son outil Face Trainer depuis un peu plus de deux ans. Il prend un modèle, l'entraîne sur un large éventail d'émotions et de mouvements, et génère quelque chose d'utilisable.

Combien de temps cela fait-il gagner? Whitten dit que le gréement haut de gamme d'un personnage peut prendre une équipe de quatre à six artistes de quatre à six mois: « Franchement, [c'est] pourquoi la qualité de pointe des personnages n'a pas vraiment progressé au cours des dix dernières années ou donc."

Avec Ziva Face Trainer, les développeurs "lui donnent un maillage et nous formons ce maillage par rapport à un grand ensemble de données... donc vous récupérez en cinq minutes un modèle de plate-forme qui vous permet ensuite de l'exécuter en temps réel. La technologie Ziva est utilisé beaucoup, aussi. C'est derrière la déformation de la combinaison dans Spider-Man: Miles Morales, ainsi que le Troll dans le La saga de Senua: Hellblade 2 bande-annonce. Vous l'avez probablement déjà vu dans quelques films et émissions de télévision - Capitaine Marvel, John Wick 3, et Game of Thrones sont sur la liste.

Cela ne devrait pas être une surprise. L'apprentissage automatique et les techniques procédurales (telles que des outils comme SpeedTree) ne sont pas vraiment nouveaux dans le monde du développement de jeux. Il est vrai que davantage de recherches sur les modèles d'IA peuvent conduire à des pipelines de création encore plus efficaces, mais nous constatons un changement avec IA générative. Nous parlons de grands modèles linguistiques (LLM) comme GPT-4 et modèles de diffusion comme Midjourney, et ils peuvent radicalement changer les jeux que nous voyons.

Changer le jeu

Whitten dit que l'espoir avec l'IA est de rendre les jeux "dix fois meilleurs", ce qui signifie des jeux dix fois plus rapides, dix fois plus faciles et dix fois moins chers à développer. Le résultat de cela n'est pas un flot des mêmes jeux que nous avons, cependant. Whitten pense que les résultats de cela sont «des mondes plus larges, plus grands et plus profonds».

J'ai demandé un exemple, et Whitten s'est demandé ce Bordeciel ressemblerait s'il avait un modèle d'IA génératif derrière lui. Nous avons tous entendu le mème "flèche vers le genou" du jeu, mais Whitten a imaginé un jeu où cette ligne jetable signifiait quelque chose de plus.

«Eh bien, et si chacun de ces gardes avait en fait un tableau de type Myers-Briggs? Un peu de trame de fond et franchement, une trame de fond qui aurait pu être impactée par cela. Que s'est-il passé avec le personnage en cours de route? Et puis un modèle d'IA pour générer ce qui serait une réponse rationnelle à partir de cela, compte tenu de tous ces événements particuliers.

Nous constatons des efforts là-bas avec des jeux comme L'affaire du meurtre en série de Portopia, qui, carrément, n'ont pas fait le meilleur cas pour l'IA dans les jeux. Il n'est pas difficile de voir le potentiel, cependant, en particulier dans les grands jeux avec des PNJ qui n'ont pas de quêtes définies ou de dialogue exhaustif.

Il y a aussi beaucoup de potentiel dans les jeux de style bac à sable. Whitten a imaginé un jeu de style GTA où vous "allez dans le prêteur sur gages et recrutez la personne derrière le bureau et, vous savez, avec peut-être le créateur du jeu n'a même jamais pensé à cela comme une possibilité à cause de quelque chose d'autre qui s'est passé dans le jeu. " Whitten pensait aussi à propos Scribblenautes, sauf dans un monde où vous pourriez vraiment créer n'importe quoi et lui attribuer n'importe quelles propriétés.

Le problème en ce moment est de faire en sorte que cela fonctionne réellement, comme en témoigne L'affaire du meurtre en série de Portopia. Whitten était l'un des membres fondateurs de l'équipe Xbox de Microsoft et il a aidé à diriger la campagne Kinect. À propos de Kinect, Whitten a déclaré: "Je dirais à tout le monde que cela fonctionne à merveille si je suis assis à côté de vous." Vous deviez l'inviter d'une manière spécifique, et si vous déviiez, cela ne fonctionnerait pas.

C'est le gros problème auquel l'IA est confrontée dans son ensemble, avec des assistants intelligents comme Alexa ne fonctionnant que dans une plage étroite. Les LLM modifient cette dynamique et permettent n'importe quelle invite, et c'est ce qui est excitant dans la création de mondes de jeu plus profonds. Il y a encore une route pour y arriver, cependant.

"Si vous mettez l'outil là-bas … [les créateurs vont] frapper quelles que soient les limites et dire:" Eh bien, ce n'est pas amusant. "Mais ensuite, ils vont réellement trouver l'espace auquel personne ne pense même", a déclaré Whitten.

Avec le déploiement de plus d'outils, nous pourrions voir quelques premières expériences avec l'IA au cours de la prochaine année. Nous avons déjà dans certains cas, comme le très populaire Donjon IA 2. Mais pour rendre ce genre de monde immersif possible à grande échelle, vous avez besoin d'un intermédiaire. Et pour Unity, cet intermédiaire est Barracuda.

Le Barracuda

Unity comprend une bibliothèque d'inférence de réseau neuronal appelée Barracuda. Comme l'explique Whitten, "C'est un moteur d'inférence qui vous permet de piloter soit la diffusion, soit d'autres formes de contenu génératif au moment de l'exécution sur l'appareil sans toucher le cloud et à un niveau très performant rythme."

Oh oui, les performances. Même si nous aimons parler de l'IA peut changer le contenu pour toujours, il y a un coût de calcul énorme (il y a une raison pour laquelle il a fallu des dizaines de milliers de GPU pour construire ChatGPT). Barracuda permet à ces modèles de fonctionner sur votre CPU ou GPU afin que vous n'ayez pas à vous rendre dans le cloud, ce qui, pour mémoire, serait un énorme gouffre financier pour les développeurs.

Unity travaille sur plus de fonctionnalités pour Barracuda, et Whitten dit que "l'intérêt de la communauté des créateurs de jeux a été extraordinairement élevé. C'est la clé qui rend possible l'IA générative dans le développement et la conception de jeux, en particulier sans nécessiter aucune matériel spécifique.

Whitten dit que l'équipe veut commencer à "créer des techniques qui permettent aux créateurs de commencer à vraiment cibler une partie importante et essentielle de leur conception de jeu, pas" Oh, ça va vraiment diminuer mon public si je conçois pour lui. "" Unreal Engine, pour sa part, a un outil similaire (l'outil bien nommé NeuralNetworkInference, ou NNI).

Ces bibliothèques, lorsqu'elles sont confrontées à de grands modèles d'IA génératifs et à une accélération du développement de contenu, peuvent conduire à une "explosion de créativité", selon Whitten. Et c'est quelque chose dont il faut se réjouir pour l'avenir des jeux.

Cet article fait partie de ReSpec – une colonne bihebdomadaire continue qui comprend des discussions, des conseils et des rapports approfondis sur la technologie derrière les jeux sur PC.

Recommandations des éditeurs

• J'ai essayé de revivre l'héritage oublié de Halo en tant que franchise Mac - et ce fut un désastre
• Avec des partenariats PC exclusifs, tout le monde perd
• Les pires ports PC de tous les temps - et pourquoi ils étaient si mauvais
• Les consoles ont toujours un gros avantage, et cela nuit aux jeux sur PC
• Comment un jeu de caméra corporelle virale a trompé Internet en lui faisant croire qu'il s'agissait de vraies images