Les développeurs de GT Sophy expliquent comment il a enseigné une conduite sportive à l'IA

En tant que première version publique importante de la technologie de Sony IA, qui a été créé en 2020, le prochain mode Gran Turismo Sophy Race Together pour Gran Turismo 7 Ce sera la première exposition de nombreux joueurs à une technologie d’IA complexe qui pourrait avoir un impact durable sur de nombreux jeux de Sony Interactive Entertainment. En tant que tel, si l’IA est grossière, injuste et imbattable pour de nombreux joueurs, GT Sophy pourrait être considérée comme un autre signe d’avertissement indiquant que l’IA n’est pas encore prête pour les heures de grande écoute. C’est pourquoi garantir à GT Sophy une bonne étiquette sportive est une priorité pour ses développeurs.

En course, vous devez vous assurer que vous conduisez de manière agressive parce que vous voulez gagner, mais en même temps, vous voulez conduire de manière équitable », Michael Spranger, COO de Sony AI, explique Digital Trends. « Vous ne pouvez pas croiser d’autres voitures pour obtenir un avantage et vous devez vous assurer que tout le monde peut concourir équitablement. C’est un domaine intéressant car ces règles sont assez imprécises; il existe un livre de règles, mais il nécessite l’interprétation des juges. Réussir les choses – conduire de manière agressive et compétitive plutôt que conduire équitablement – ​​est l’un des grands défis de GT Sophy.

Vidéos recommandées

Sony AI, Sony Interactive Entertainment et Polyphony Digital ont confirmé que les joueurs pourront courir GT Sophy pendant une durée limitée. Gran Turismo 7 mode à partir du 21 février. Pour en arriver là, ses développeurs ont fait beaucoup de travail pour affiner non seulement les compétences de GT Sophy via l'apprentissage par renforcement, mais également son étiquette envers un ensemble nébuleux de règles de courtoisie. Avant son ajout à Gran Turismo 7, Digital Trends s'est entretenu avec Michael Spranger, COO de Sony AI, et Peter Wurman, responsable du projet GT Sophy, pour en savoir plus sur leur approche éthique de la conduite sportive de GT Sophy et quelles utilisations futures ils envisagent pour cette technologie dans jeu.

L’interview suivante a été éditée par souci de concision et de clarté.

Qu’est-ce qui a fait de Gran Turismo l’option la plus attrayante pour développer une IA avancée ?

Une photo de Michael Spranger, PhD, COO de Sony AI.
Michael Spranger, PhD, COO de Sony AI

Michael Spranger : C'est parce que c'était possible et parce que Gran Turismo est un jeu vraiment passionnant. Gran Turismo fait partie de PlayStation depuis le tout début. Il s’agit d’un jeu emblématique qui propose ce domaine de défi spécifique lié au réalisme physique, à la stratégie, à la prise de décision et à l’étiquette sportive. De plus, un large public suit réellement le jeu, ce qui signifie que toute technologie que nous développons dans le jeu peut avoir un impact potentiellement significatif sur des millions de joueurs. J'aime aussi le jeu. Ces éléments combinés nous ont amenés à choisir Gran Turismo comme l’une des premières cibles des projets d’IA de jeu.

Comment l’apprentissage par renforcement permet-il à cette IA de prendre plus de risques ou de conduire de manière plus impressionnante que votre IA de jeu standard? Est-ce simplement essayer de conduire la ligne de course la plus précise?

Peter Wurman : Il existe différents niveaux de compétence. La base de référence est de rouler plus vite sur la piste, donc l'apprentissage par renforcement fonctionne en permettant à l'agent IA d'explorer l'effet de ses actions sur le monde, puis d'essayer de maximiser sa récompense. En lui donnant des signaux positifs pour aller plus vite sur la piste, il apprend à rouler très vite sur la piste. Il apprend à appuyer sur l’accélérateur et à prendre les virages pour ne pas s’écraser, ce qui fonctionne très bien pour l’entraîner à un scénario de contre-la-montre.

Pour en faire réellement un coureur de compétition, nous avons dû lui donner d'autres signaux de récompense pour dépasser les voitures qui se trouvent devant lui et ne pas empêcher les voitures derrière lui de le dépasser. Nous lui avons également infligé des pénalités en cas de collision ou de collision avec d'autres voitures. Cette combinaison de récompenses et de pénalités a demandé un certain effort pour réussir, mais une fois que nous nous sommes entraînés avec la bonne population d'adversaires, il a appris à être un coureur très efficace.

Une photo de Peter Wurman, responsable du projet GT Sophy et directeur de Sony AI America.
Peter Wurman, PhD, directeur de Sony AI America et chef de projet sur GT Sophy

Quels ont été les plus grands enseignements des deux premiers événements Race Together que vous avez organisés avec top Gran Turismo Sport joueurs?

Peter Wurman : Si vous avez suivi le projet, vous saurez qu’il y a eu deux courses. Nous avons bien réussi la première, mais nous n’avons pas gagné le Team Score. Certaines des choses intéressantes que nous en avons tirées concernaient la recherche d’un équilibre entre l’affirmation de soi et le fait d’être un bon sport. Nous avons découvert deux semaines auparavant que l’agent que nous avions formé était trop agressif et ne serait pas autorisé à courir, nous avons donc dû nous dépêcher et ajuster les choses. Vous ne pouvez pas avoir un agent IA vraiment doué pour conduire vite et un autre qui réfléchit aux aspects tactiques du dépassement; au lieu de cela, nous avons dû les intégrer ensemble dans un seul agent cohérent qui faisait les deux en même temps. Ce sont les choses que nous avons vues après Course de juillet 2021, nous nous sentions donc beaucoup plus confiants avant le Course d'octobre 2021.

Michael Spranger : Il y a eu ce truc où on nous a dit que c'était trop agressif, mais le premier jour de course d'exhibition, nous avons en fait perdu la course parce que nous n'étions pas assez agressifs et timides. Le problème de la manière d’équilibrer ces éléments était vraiment apparent tout au long du développement du projet.

Une rediffusion d'un match Gran Turismo Sophy Race Together dans Gran Turismo 7.

Quels changements ont dû être apportés à GT Sophy lorsque vous avez pris la décision de l'ajouter à Gran Turismo 7 et pas seulement le former dans un environnement de test?

Peter Wurman : Le plus important est que dans toutes les expositions, GT Sophy fonctionnait sur un ordinateur séparé et communiquait via une connexion réseau à la console PlayStation. Ici, GT Sophy est embarquée dans le jeu. Le faire fonctionner sur une PlayStation avec les ressources dont nous disposions après tout le rendu et d’autres choses en cours était un peu de travail d’ingénierie.

L'autre chose est que Polyphony Digital voulait vraiment que l'agent soit un très bon exemple de style et de compétences de course. Nous avons apporté quelques changements pour encourager GT Sophy à rester davantage dans les lignes. Si vous avez regardé l’une des expositions, vous verrez qu’il était vraiment bon d’utiliser toute la piste, en mettant parfois deux pneus dans l’herbe. C’est légal, mais ce n’est pas exactement ce que vous pourriez faire dans une vraie voiture de course. Nous avons apporté quelques modifications pour garder GT Sophy davantage entre les lignes. C’est toujours très rapide mais un peu plus propre.

Nous nous efforçons principalement de respecter les règles d’esprit sportif dans les courses automobiles.

Quelles sont les principales choses que l'équipe Sony AI espère apprendre en ajoutant Gran Turismo Sophy Race Together à Gran Turismo 7?

Peter Wurman : Le principal est que nous espérons que les gens apprécieront de jouer contre ce jeu, se sentiront vraiment mis au défi à tous les niveaux de compétence et apprendront à devenir des pilotes de course mieux simulés.

Michael Spranger : Nous voulons également voir comment les gens interagissent avec la technologie. À l’heure actuelle, seule une poignée de personnes ont fait l’expérience de la technologie. Nous sommes donc curieux de voir comment les gens vont l’utiliser pour apprendre par eux-mêmes, acquérir de nouvelles compétences et vivre de nouvelles expériences. Je pense que c’est au cœur du projet à bien des égards. Nous avons une avancée technologique, et je pense que c'est vraiment important, mais je pense que nous ouvrons une toute nouvelle étape pour les gens et dans Gran Turismo. À bien des égards, l’IA intégrée a une bande de performances assez étroite, et vous pouvez la surpasser une fois que vous devenez un pilote intermédiaire dans chaque difficulté.

Même avec le peu de combinaisons piste-voiture que nous avons dévoilées ici, de ce que je peux faire à ce que certains des meilleurs joueurs peuvent faire, tout le monde peut trouver un match vraiment intéressant. Nous espérons en voir davantage et voir comment les gens en tireront des leçons. C’est aussi très difficile pour certains joueurs de trouver de bons adversaires, et pour la première fois, on peut avoir interactions répétées avec un adversaire digne de ce nom sans avoir à appeler tous vos amis et à les faire venir ensemble. Ce sera quelque chose dans lequel les gens pourront faire beaucoup de progrès pour s’améliorer dans le jeu, car ils pourront vivre dans une certaine mesure ces expériences personnalisées.

Une perspective à la première personne d'une course Gran Turismo Sophy Race Together dans Gran Turismo 7.

Sur le plan éthique, pouvez-vous nous expliquer le processus de détermination de ce qui constitue un comportement sportif pour GT Sophy afin qu'il ne harcèle pas certains joueurs ?

Peter Wurman : Bien, il ne peut pas te parler, donc il y a beaucoup de mauvaises choses que GT Sophy ne peut pas faire parce que cela ne fait pas partie du jeu. Nous nous efforçons principalement de respecter les règles d’esprit sportif dans les courses automobiles; maintenant, ceux-ci sont assez nébuleux. Vous ne pouvez pas bloquer une opportunité de dépassement légitime et des choses comme ça. Il y a un tas de mots flous dans ces règles qui étaient difficiles à coder et à programmer, nous avons donc dû les rapprocher avec des signaux de récompense et des pénalités si cela faisait des choses comme heurter une autre voiture.

Ensuite, nous avons dû le confier à Polyphony Digital et aux pilotes d'essai et les laisser nous donner leur avis, car les courses contre d’autres agents IA ne nous montre pas vraiment s’il est prêt à courir contre la variété des courses humaines modes. Cela a demandé des efforts et des itérations pour y parvenir.

Michael Spranger : Pour cette version, je pense qu’il est juste de dire qu’elle est compétitive. Il va essayer de dépasser les joueurs, mais il ne va pas les bombarder en piqué. C’est compétitif mais poli. Cela vous met définitivement de la pression; vous allez le voir dans les rétroviseurs en essayant de vous dépasser. En même temps, cela va essayer de vous donner un peu d’espace pour que vous puissiez courir de manière compétitive mais équitable.

Peter Wurman : Mais si vous faites des dégâts, il en profitera.

Michael Spranger : C'est vrai, instantanément !

Menu d'options de course du mode Gran Tursimo Sophy Race Together dans Gran Turismo 7.

Où voyez-vous GT Sophy et la technologie IA dans les jeux Sony au cours des cinq prochaines années ?

Michael Spranger : Évidemment, nous ne pouvons rien annoncer de spécifique, mais en général, il y a plusieurs niveaux. Il y a encore des défis et des choses que nous pouvons faire dans Gran Turismo pour débloquer de nouvelles expériences, et je ne pense pas que nous en ayons fini avec cela. Il y a un réel enthousiasme à l’idée de pousser la technologie plus loin. Ensuite, du point de vue de Sony AI en matière de R&D et d’initiatives stratégiques de l’entreprise, nous sommes vraiment enthousiasmés par ce que cette technologie peut apporter au jeu en général.

D'autres jeux nous proposeront un défi différent à relever et renforceront les capacités de la technologie. Il s’agit d’une technologie émergente qui a connu quelques succès dans le passé, mais je pense que ce que nous faisons ici est assez différent du reste. nous avons le sentiment que nous faisons des percées scientifiques, mais ensuite nous les déployons également et veillons à ce que les gens mettent la main sur l'IA. technologie. Cela va faire avancer la technologie et débloquer de plus grandes expériences.

L’interaction est au cœur de PlayStation, ce n’est pas une erreur si elle s’appelle Sony Interactive Entertainment. Il s'agit vraiment de votre interaction avec les choses que vous trouvez dans le jeu, et je pense que cela la technologie a le potentiel de réellement débloquer la prochaine génération de jeux, et nous sommes vraiment enthousiasmés par cette idée. que.

Recommandations des rédacteurs

  • CES 2023: Gran Turismo 7 arrive sur PS VR2 en tant que jeu de lancement
  • Gran Turismo 7 va modifier les paiements de crédit suite à des réactions négatives
  • Gran Turismo 7 propose un musée pour les passionnés d'histoire automobile