Facebook gebruikt Minecraft om AI-assistenten te trainen, blok voor blok

Ingenieurs bij Facebook hebben dat gedaan heeft een Minecraft-assistent gemaakt om u te helpen met enkele van de ondergeschikte taken die betrokken zijn bij de sandboxbouwer. De helper, die in het spel verschijnt en naast je werkt, kan eenvoudige instructies voor bepaalde dingen krijgen zoals het bouwen van een toren, het graven van een gat of het maken van een muur, waardoor de bouwtijd voor allerlei projecten wordt verkort maten.

Eenmaal geïnstalleerd, komt de assistent in uw systeem terecht Minecraft wereld. U gebruikt een chatbox om naar eigen inzicht opdrachten door te geven aan uw nieuwe metgezel. Orders moeten zo eenvoudig mogelijk zijn, waarbij taken worden opgesplitst in de meest elementaire elementen. Je kunt hem de opdracht geven ‘een muur van vijf bij vijf te maken’ of ‘zeven blokken uit te graven’. Door dat als basis te gebruiken, kan de bot complexere taken leren uitvoeren naarmate u er meer tijd aan besteedt.

Dit zou het leven in Minecraft gemakkelijker kunnen maken, maar het echte doel is nog ambitieuzer. De opleiding van de bot geeft de technici van Facebook waardevol inzicht in hoe AI mensen in het dagelijks leven beter kan begrijpen.

“Ik kan het Minecraft-spel spelen, en het is gemakkelijk. Ik hoef niet te leren hoe ik van de ene locatie naar de andere moet gaan, ik hoef niet te leren hoe ik een blok moet vernietigen of iets moet bouwen”, zegt Arthur Szlam, hoofd van het Minecraft AI-project bij Facebook Onderzoek, vertelde Digital Trends. “Aan de andere kant is de hoeveelheid dingen die mensen aan een assistent in Minecraft kunnen vragen enorm groot. Het probleem van het taalbegrip staat dus centraal.”

Een onderzoeksinstrument in een creatief spel

Minecraft inspireert spelers al lang om te maken wat hun verbeelding maar wenst. Tussen de mondiale gemeenschap en open source-roots biedt het een ideaal pad voor ingenieurs om dit experiment naar een breder publiek te brengen.

Play-testers begonnen de bot in januari 2019 te gebruiken en er is nu een openbare versie live voor iedereen die hem wil. Er is een kleine waslijst met vereisten die u eerst moet downloaden, en u zult moeten downgraden naar versie 1.12. Zodra dat echter is gebeurd, mag u uw nieuwe helper houden.

Het gezelschap van de bot voelt in eerste instantie vreemd. De normaal afgezonderde ervaring (tenminste in de singleplayer) wordt onderbroken door een gezicht dat naar je staart, wachtend op jouw input in de chatbox.

Ik begon met beleefd ‘hallo’ te zeggen terwijl ik om mijn domkopvriend heen liep. Mijn angst vervaagde toen ik het eerste blok zag dat op mijn verzoek werd gebouwd. Het gaf mij een stroom van kracht. Het heen-en-weer-verkeer met de bot is vriendelijk, maar robotachtig. Het bedankt voor complimenten en zegt “Ik weet het niet” als je het zegt iets te doen dat buiten zijn bereik ligt. Langzaam maar zeker leerde ik dat ik een kleine hut met één kamer moest bouwen.

Als het ding dat je wilt maken zonder veel ingewikkeldheid kan worden opgesplitst in cirkels en vierkanten, kan de bot het aan. Dat betekent dat een huis, een toren of een ondergronds hol haalbaar zijn. Het lesgeven aan de bot kostte meer tijd dan het zelf bouwen van de hut, maar zodra hij het leerde, kon hij zoveel hutten bouwen als ik wilde.

Natuurlijk is een standbeeld van Mickey Mouse – of iets anders dat gedetailleerde details gebruikt – veel moeilijker. Dit soort ingewikkelde structuren creëren hindernissen waarvan de technici van Facebook niet zeker weten hoe ze deze moeten oplossen. Ze hopen dat onderzoekers Minecraft kunnen gebruiken om de oplossingen te helpen vinden.

“[Voor] deze release van de bot bestaat het publiek niet uit Minecraft-spelers. Het is de onderzoeksgemeenschap”, vertelde Larry Zitnick, onderzoekswetenschapper bij Facebook, mij. “We brengen het met opzet op de markt voordat het echt goed werkt, omdat we willen dat de rest van de onderzoeksgemeenschap met ons samenwerkt bij het verkennen en proberen deze bot beter te maken.”

Ik robot

Als je een robotassistent in de buurt hebt, is het alsof je je eigen robotassistent hebt Alexa of Siri, in Minecraft. Het gesprek is vrolijk maar duidelijk robotachtig. Het juiste bevel geven betekent dat je in de meest elementaire termen moet denken en op een rigide, duidelijke en gedetailleerde manier moet spreken.

Dit werd duidelijk toen ik een raam wilde bouwen in een van de muren van mijn hut. Ik moest stap voor stap te werk gaan. Ik kon niet tegen de bot zeggen dat hij een muur met een raam moest bouwen (hoewel hij dat misschien ooit wel zou kunnen leren). De variabelen die een rol spelen in wat ‘venster’ en ‘muur’ betekenen, kunnen de bot gemakkelijk in verwarring brengen. Welke muur? Hoe groot is een muur? Hoe groot is een raam? Welke materialen moet het gebruiken?

In plaats daarvan vroeg ik hem een ​​vierkant van zes bij zes blokken te maken. Toen die taak voltooid was, zei ik dat hij een gat in het midden van het vierkant moest maken. Toen eindigde ik door hem te vragen glas in het gat te plaatsen. Bestellingen moeten in de meest elementaire bewoordingen worden geformuleerd, waarbij wordt toegewerkt naar het resultaat.

De bot zo ver brengen is niet de uitdaging. Spraakbesturingssoftware is al vele jaren in ons leven doorgedrongen. Tegenwoordig kun je het vinden in computers, telefoons, tablets, auto's en nog veel meer. De echte uitdaging waarmee gebruikers worden geconfronteerd, is de sprong tussen het begrijpen van eenvoudige taken, zoals ‘bel moeder’, naar het onderscheiden van zinnen die minder context bieden en niet precies klinken als een vooraf gedefinieerde standaard.

Ik ben Iers, en hoewel mijn accent niet uitgesproken is, kan het sterk worden als ik met mensen uit andere delen van het land heb gesproken, of als ik snel praat. Vragen Alexa om liedjes af te spelen die Iers gebruiken, zoals ‘The Jail of Cluain Meala’ (uitgesproken als ‘Cloon-Malla’) van The Dubliners, dwingt me om langzamer te rollen. Ik moet elke lettergreep volkomen begrijpelijk maken. Engineering rondom accenten En talen is een voortdurende uitdaging.

Het aanleren van AI om een ​​genuanceerder begrip van onze taal te krijgen klinkt misschien eenvoudig, maar het automatiseren van dat spraakniveau is een veelzijdig probleem dat verstrikt is in andere veelzijdige problemen. Het gaat om het omgaan met context, jargon en de toon van specifieke gebruikers. Dit alles wordt ingewikkelder gemaakt als er niet veel referentiemateriaal is om uit te putten.

“We hebben voor geen van deze dingen zoveel trainingsgegevens”, aldus Szlam. “Het aantal voorbeelden dat we hebben om dit ding te trainen is in zekere zin minuscuul. Het zijn er een paar tienduizenden, en deze zijn herformuleerd op basis van digitale sjablonen.”

Een nieuwe grens voor AI in videogames

Videogames hebben een geschiedenis van het gebruik van AI op fascinerende en creatieve manieren, van Psycho Mantis die de geheugenkaart van de speler leest in Metal uit 1997. Gear Solid, op de persoonlijke karakterreacties van Nintendo’s Animal Crossing-serie, op Toby Fox’s vierdemuurverpletterende Undertale, en voorbij. De technologie van Facebook is zo gebouwd dat aspecten gemakkelijk in andere games kunnen worden gebruikt. Dat betekent dat andere ontwikkelaars zich kunnen aansluiten.

Eén mogelijk gebruik lijkt voor de hand te liggen. Toegankelijkheid. Google is van plan implementeer een assistent met Google Stadia die spelers met één druk op de knop kan helpen. Intuïtieve in-game helpers kunnen allerlei soorten hulp bieden aan spelers die het moeilijk hebben.

De ingenieurs achter de Minecraft-bot werken actief aan dit probleem. Er is al een spraakopdrachtinterface toegevoegd, maar deze is nog niet beschikbaar in de openbare versie van de bot. Ze zijn van plan voort te bouwen op de tekstrelais op basis van trends die ze opmerken bij Facebook-gebruikers.

“Op Facebook gaat het om het beschrijven van afbeeldingen in de feeds van mensen”, zegt Szlar. “We dachten echt na over ‘oh, zou ik Minecraft kunnen spelen waarbij ik de bot zou vertellen iets te doen’ en dan vertelde het me wat het deed, beschreef het aan mij’ en het zei: ‘Ik heb daar een kubus gebouwd en daar.'"

Er staan ​​enkele grotere updates voor de bot in het verschiet. Naast de geëvolueerde tekstchat kan een geüpgraded visiesysteem de bot helpen andere, voltooide creaties die hij ziet opnieuw te creëren. Leren via dialoog, de bot iets leren via woorden in de chat, is een ander langetermijndoel. Ze hebben gesproken met Katja Hoffman, de hoofdonderzoeksmanager van Project Malmö – Het interne AI-onderzoeksteam van Microsoft – over een officiële samenwerking.

De hoop is dat de technici van Facebook, door de AI als een ondersteunende entiteit te beschouwen, diepgewortelde percepties kunnen veranderen over wat videogames kunnen doen, en over het cultiveren van ervaringen zoals Minecraft – waar het alleen maar om dingen maken gaat beloning.

“Hopelijk zien we een verschuiving van ‘hier is deze AI die ik nodig heb om hem te verslaan’ naar ‘hier is een AI, die zal me helpen creatieve einddoelen te bereiken’,” zei Zitnick. “Je kunt je een heel nieuw soort games voorstellen waarbij het doel niet is om te winnen. Het doel is creëren. Als mensen hebben we veel moeite met creëren. Muziek maken, dingen ontwerpen… Dit zijn niet de dingen die voor iedereen vanzelfsprekend zijn, en als we dat zouden kunnen Als we bots hebben die ons zouden helpen deze dingen te doen, zouden velen van ons veel meer kunnen zijn creatief."

“Ik denk dat we daar nog ver van verwijderd zijn”, voegde Zitnick eraan toe. “Maar dat is waar ik dit graag zou zien verdwijnen.”

Aanbevelingen van de redactie

• Schaken. Gevaar. Gaan. Waarom gebruiken we games als maatstaf voor AI?
• Facebook gebruikt Minecraft als oefenterrein voor de volgende fase van A.I.
• Een A.I. ontwerpt retro-videogames – en ze zijn verrassend goed