Facebook utilise Minecraft pour former des assistants IA, un bloc à la fois

Les ingénieurs de Facebook ont créé un assistant Minecraft pour vous aider dans certaines des tâches subalternes impliquées dans le générateur de bac à sable. L'assistant, qui apparaît et travaille à vos côtés dans le jeu, peut recevoir des instructions simples pour les choses. comme construire une tour, creuser un trou ou construire un mur, réduire le temps de construction pour les projets de tous tailles.

Une fois installé, l'assistant se lance dans votre Minecraft monde. Vous utilisez une boîte de discussion pour relayer les commandes à votre nouveau compagnon comme bon vous semble. Les commandes doivent être aussi simples que possible, décomposant les tâches jusqu'à leurs éléments les plus élémentaires. Vous pouvez lui demander de « faire un mur de cinq par cinq » ou de « creuser sept blocs ». En utilisant cela comme base, le robot peut apprendre à effectuer des tâches plus complexes à mesure que vous passez du temps avec lui.

Cela pourrait rendre la vie dans Minecraft plus facile, mais le véritable objectif est encore plus ambitieux. La formation du robot donne aux ingénieurs de Facebook des informations précieuses sur la manière dont l’IA peut mieux comprendre les humains au quotidien.

« Je peux accéder au jeu Minecraft et c’est facile. Je n’ai pas besoin d’apprendre à me déplacer d’un endroit à un autre, je n’ai pas besoin d’apprendre à détruire un bloc ou à construire quelque chose », Arthur Szlam, responsable du projet Minecraft AI chez Facebook Research, a déclaré à Digital Trends. « D’un autre côté, l’espace des choses que les gens pourraient demander à un assistant dans Minecraft est immense. Le problème de la compréhension du langage est donc au premier plan.

Un outil de recherche dans un jeu créatif

Minecraft incite depuis longtemps les joueurs à créer tout ce que leur imagination désire. Entre la communauté mondiale et les racines de l’open source, il offre aux ingénieurs une voie idéale pour présenter cette expérience à un public plus large.

Les testeurs de jeu ont commencé à utiliser le bot en janvier 2019, et une version publique est désormais disponible pour tous ceux qui le souhaitent. Il existe une petite liste d’exigences à télécharger en premier, et vous devrez passer à la version 1.12. Une fois que cela est fait, cependant, votre nouvelle aide vous appartient.

La compagnie du robot semble étrange au début. L'expérience normalement isolée (au moins en mode solo) est interrompue par un visage qui vous regarde, attendant votre contribution dans la boîte de discussion.

J'ai commencé par dire poliment « bonjour » tout en encerclant mon copain imbécile. Mon appréhension s’est estompée une fois que j’ai vu le premier bloc construit à ma demande. Cela m'a donné une poussée de puissance. Les allers-retours avec le bot sont conviviaux, mais robotiques. Il remercie pour les compliments et dit « je ne sais pas » si vous lui dites de faire quelque chose qui dépasse ses limites. Lentement mais sûrement, on m'a appris à me construire une petite cabane d'une seule pièce.

Si la chose que vous voulez créer peut être décomposée en cercles et en carrés sans trop de complexité, le robot peut le gérer. Cela signifie qu’une maison, une tour ou un repaire souterrain sont réalisables. Enseigner au robot a pris plus de temps que de construire la cabane moi-même, mais une fois qu'il a appris, il a pu construire autant de cabanes que je le souhaitais.

Bien sûr, la statue de Mickey Mouse – ou tout autre objet utilisant des détails granulaires – est bien plus difficile. Ces types de structures complexes créent des obstacles que les ingénieurs de Facebook ne savent pas vraiment comment résoudre. Ils espèrent que les chercheurs pourront utiliser Minecraft pour trouver des solutions.

« [Pour] cette version du bot, le public n'est pas constitué de joueurs de Minecraft. C’est la communauté des chercheurs », m’a dit Larry Zitnick, chercheur scientifique chez Facebook. "Nous le publions délibérément avant qu'il ne fonctionne vraiment bien, car nous voulons que le reste de la communauté des chercheurs travaille avec nous pour explorer et essayer d'améliorer ce robot."

Je robot

Avoir un assistant robot à proximité, c'est comme avoir le vôtre Alexa ou Siri, dans Minecraft. La conversation est joyeuse mais clairement robotique. Donner le bon commandement signifie penser dans les termes les plus élémentaires et parler de manière rigide, directe et détaillée.

C'était une évidence lorsque j'ai voulu aménager une fenêtre dans l'un des murs de ma cabane. J'ai dû travailler étape par étape. Je ne pouvais pas dire au robot de construire un mur avec une fenêtre (même si peut-être qu’un jour, il pourrait l’apprendre). Les variables qui jouent sur la signification de « fenêtre » et de « mur » confondent facilement le bot. Quel mur? Quelle taille de mur? Quelle taille de fenêtre? Quels matériaux doit-il utiliser ?

Au lieu de cela, je lui ai demandé de créer un carré de six blocs sur six. Puis, une fois cette tâche terminée, je lui ai dit de faire un trou en plein milieu de la place. Ensuite, j'ai fini en lui demandant de mettre du verre dans le trou. Les commandes doivent être formulées de la manière la plus élémentaire possible, en vue d'obtenir un résultat.

Amener le bot jusqu’ici n’est pas le défi. Les logiciels de commande vocale imprègnent nos vies depuis de nombreuses années. Aujourd’hui, vous pouvez le trouver dans les ordinateurs, téléphones, tablettes, voitures et bien plus encore. Le véritable défi auquel les utilisateurs sont confrontés est le saut entre la compréhension de tâches simples, comme « appeler maman », et la discernement de phrases qui fournissent moins de contexte et ne ressemblent pas exactement à une valeur par défaut prédéfinie.

Je suis irlandais et, même si mon accent n’est pas prononcé, il peut devenir fort si je parle à des gens d’autres régions du pays ou si je parle rapidement. Demander Alexa pour jouer des chansons qui utilisent l'irlandais, comme « The Jail of Cluain Meala » (prononcé « Cloon-Malla ») des Dubliners, m'oblige à ralentir mon rythme. Je dois rendre chaque syllabe parfaitement compréhensible. Ingénierie autour des accents et langues est un défi permanent.

Enseigner à l’IA une compréhension plus nuancée de notre langage peut sembler simple, mais l’informatisation de ce niveau de parole est un problème aux multiples facettes enchevêtré dans d’autres problèmes aux multiples facettes. Cela implique de travailler sur le contexte, l'argot et le ton d'utilisateurs spécifiques. Tout cela est rendu plus compliqué lorsqu’il n’y a pas beaucoup de documents de référence sur lesquels s’appuyer.

"Nous n'avons pas beaucoup de données de formation pour aucune de ces choses", a déclaré Szlam. « Le nombre d’exemples dont nous disposons pour entraîner cette chose est minuscule dans un certain sens. Il y en a quelques dizaines de milliers, et ce sont des reformulations à partir de modèles numériques.

Une nouvelle frontière pour l'IA dans les jeux vidéo

Les jeux vidéo utilisent depuis longtemps l’IA de manière fascinante et créative, depuis Psycho Mantis lisant la carte mémoire du joueur dans Metal en 1997. Gear Solid, aux réponses personnalisées des personnages de la série Animal Crossing de Nintendo, au fracassant Undertale de Toby Fox, et au-delà. La technologie de Facebook est conçue pour que certains aspects puissent être facilement utilisés dans d'autres jeux. Cela signifie que d’autres développeurs pourraient nous rejoindre.

Une utilisation potentielle semble évidente. Accessibilité. Google prévoit de implémenter un assistant avec Google Stadia qui peut aider les joueurs en appuyant simplement sur un bouton. Des aides intuitives dans le jeu pourraient fournir toutes sortes d’assistance aux joueurs en difficulté.

Les ingénieurs derrière le bot Minecraft travaillent activement sur ce problème. Une interface de commande vocale a déjà été ajoutée, mais n'est pas encore disponible dans la version publique du bot. Ils ont l’intention de s’appuyer sur le relais textuel en fonction des tendances qu’ils remarquent chez les utilisateurs de Facebook.

"Sur Facebook, il y a cette tendance à décrire les images sur les flux des gens", explique Szlar. « Nous pensions vraiment à « oh, pourrais-je jouer à Minecraft où je dirais au robot de faire quelque chose? et puis il me disait ce qu'il faisait, me le décrivait » et il disait « J'ai construit un cube là-bas et là.'"

Des mises à jour plus importantes du bot sont à l’horizon. Outre le chat textuel évolué, un système de vision amélioré pourrait aider le robot à recréer d'autres créations finies qu'il voit. Apprendre par le dialogue, enseigner quelque chose au robot par le biais de mots dans le chat, est un autre objectif à long terme. Ils ont parlé à Katja Hoffman, directrice de recherche principale à Projet Malmö – L’équipe de recherche interne de Microsoft en IA – à propos d’une collaboration officielle.

L’espoir est qu’en présentant l’IA comme une entité de soutien, les ingénieurs de Facebook pourront changer les perceptions enracinées. sur ce que les jeux vidéo peuvent faire, ainsi que cultiver des expériences comme Minecraft – où le simple fait de créer des choses est la récompense.

"J'espère que nous verrons un changement de" voici cette IA dont j'ai besoin pour la battre "à" voici une IA, elle m'aidera à atteindre des objectifs finaux créatifs "", a déclaré Zitnick. « Vous pouvez imaginer une toute nouvelle sorte de jeux où le but n’est pas de gagner. Le but est de créer. En tant qu’humains, nous avons beaucoup de difficulté à créer. Faire de la musique, concevoir des choses… Ce ne sont pas des choses qui viennent naturellement à tout le monde, et si nous pouvions avoir des robots qui nous aideraient à faire ces choses, cela permettrait à beaucoup d'entre nous d'être beaucoup plus créatif."

"Je pense que nous en sommes loin", a ajouté Zitnick. "Mais c'est là que j'aimerais voir cela se dérouler."

Recommandations des rédacteurs

• Échecs. Péril. Aller. Pourquoi utilisons-nous les jeux comme référence pour l’IA?
• Facebook utilise Minecraft comme terrain d'entraînement pour la prochaine étape de l'IA.
• Une I.A. conçoit des jeux vidéo rétro – et ils sont étonnamment bons