Facebook använder Minecraft för att träna AI-assistenter, ett block i taget

Ingenjörer på Facebook har skapade en Minecraft-assistent för att hjälpa dig med några av de svåra uppgifterna som är involverade i sandlådebyggaren. Hjälparen, som spawnar och arbetar tillsammans med dig i spelet, kan få enkla instruktioner för saker och ting som att bygga ett torn, gräva ett hål eller göra en mur, minska byggtiden för alla projekt storlekar.

När assistenten har installerats hamnar den i din Minecraft värld. Du använder en chattbox för att vidarebefordra kommandon till din nya följeslagare som du vill. Beställningar måste vara så enkla som möjligt och dela upp uppgifter till de mest grundläggande delarna. Du kan instruera den att "göra en fem gånger fem vägg" eller "gräva ner sju block." Genom att använda det som en grund kan boten lära sig att göra mer komplexa jobb ju mer tid du spenderar med den.

Detta kan göra livet i Minecraft enklare, men det sanna målet är ännu mer ambitiöst. Botens utbildning ger Facebooks ingenjörer värdefull insikt i hur AI bättre kan förstå människor i vardagen.

"Jag kan gå in i Minecraft-spelet, och det är enkelt. Jag behöver inte lära mig att flytta från en plats till en plats, jag behöver inte lära mig hur man förstör ett block eller bygger något, säger Arthur Szlam, chef för Minecraft AI Project på Facebook Research, berättade för Digital Trends. "Å andra sidan är utrymmet för saker som folk kan be en assistent i Minecraft att göra enormt. Så, språkförståelsesproblemet står i centrum.”

Ett forskningsverktyg i ett kreativt spel

Minecraft har länge inspirerat spelare att göra vad deras fantasi vill. Mellan det globala samhället och rötter med öppen källkod är det en idealisk väg för ingenjörer att föra detta experiment till en bredare publik.

Speltestare började använda boten i januari 2019, och en offentlig version är nu live för alla som vill ha den. Det finns en liten tvättlista med krav att ladda ner först, och du måste nedgradera till version 1.12. När det är gjort är din nya hjälpare dock din att behålla.

Botens företag känns konstigt till en början. Den normalt avskilda upplevelsen (åtminstone i singelspelare) avbryts av ett ansikte som stirrar på dig och väntar på din input i chattboxen.

Jag började med att artigt säga "hej" medan jag kretsade runt min tjockisande kompis. Min oro försvann när jag såg det första blocket byggt på min beställning. Det gav mig en ström av makt. Fram och tillbaka med boten är vänlig, men robotisk. Den tackar för komplimanger och säger "Jag vet inte" om du säger åt den att göra något utanför dess räckvidd. Sakta men säkert fick jag lära mig att bygga en liten enrumsstuga för mig.

Om det du vill göra kan brytas ner till cirklar och fyrkanter utan mycket krånglighet, kan boten hantera det. Det betyder att ett hus, ett torn eller en underjordisk lya är möjliga. Att lära ut boten tog mer tid än att bygga hyddan själv, men när den väl lärde sig kunde den bygga så många hyddor som jag ville.

Naturligtvis är staty av Musse Pigg – eller något annat som använder granulära detaljer – mycket svårare. Dessa typer av intrikata strukturer skapar hinder som Facebooks ingenjörer inte är säkra på hur de ska lösa. De hoppas att forskare kan använda Minecraft för att hitta lösningarna.

"[För] den här versionen av boten är publiken inte Minecraft-spelare. Det är forskarsamhället, säger Larry Zitnick, forskare på Facebook, till mig. "Vi lägger ut det medvetet innan det verkligen fungerar bra eftersom vi vill att resten av forskarsamhället ska arbeta med oss ​​för att utforska och försöka göra den här boten bättre."

Jag robot

Att ha en robotassistent i närheten är som att ha en egen Alexa eller Siri, i Minecraft. Samtalet är muntert men helt enkelt robotiskt. Att utfärda rätt kommando innebär att tänka i de mest grundläggande termer och tala på ett stel, rakt och detaljerat sätt.

Detta var uppenbart när jag ville bygga ett fönster i en av väggarna i min koja. Jag fick jobba steg för steg. Jag kunde inte tala om för boten att bygga en vägg med ett fönster (även om den kanske en dag kan lära sig det). Variablerna som spelar in i vad "fönster" och "vägg" betyder förvirrar lätt boten. Vilken vägg? Hur stor vägg? Hur stort fönster? Vilka material ska den använda?

Istället bad jag den att göra en fyrkant med sex gånger sex block. Sedan, när den uppgiften var klar, sa jag till den att sätta ett hål precis i mitten av torget. Sedan avslutade jag med att be den sätta glas i hålet. Beställningar måste gå med den mest grundläggande möjliga formuleringen, bygga mot resultatet.

Att föra boten så långt är inte utmaningen. Programvara för röststyrning har genomsyrat våra liv i många år. Idag kan du hitta det i datorer, telefoner, surfplattor, bilar och mycket mer. Den verkliga utmaningen användarna står inför är språnget mellan att förstå enkla uppgifter, som "ringa mamma", till kräsna fraser som ger mindre sammanhang och som inte låter precis som en fördefinierad standard.

Jag är irländsk, och även om min accent inte är uttalad kan den bli stark om jag har pratat med människor från andra delar av landet, eller om jag pratar snabbt. Frågar Alexa för att spela låtar som använder irländska, som "The Jail of Cluain Meala" (uttalas "Cloon-Malla") av The Dubliners, tvingar mig att sakta ner min roll. Jag måste göra varje stavelse fullt förståelig. Teknik runt accenter och språk är en pågående utmaning.

Att lära AI att ha en mer nyanserad förståelse av vårt språk kan låta enkelt, men att datorisera den nivån av tal är ett mångfacetterat problem trasslat in i andra mångfacetterade problem. Det innebär att arbeta kring sammanhang, slang och tonen hos specifika användare. Allt detta görs mer komplicerat när det inte finns mycket referensmaterial att hämta från.

"Vi har inte så mycket träningsdata för någon av dessa saker," sa Szlam. "Antalet exempel som vi har för att träna den här saken är minimalt i någon mening. Det handlar om några tiotusentals, och dessa är omformulerade från digitala mallar."

En ny gräns för AI i videospel

Videospel har en historia av att använda AI på fascinerande och kreativa sätt, från Psycho Mantis som läste spelarens minneskort i 1997 års Metal Gear Solid, till de personliga karaktärssvaren i Nintendos Animal Crossing-serie, till Toby Foxs fjärde väggs sönderfallande Undertale, och bortom. Facebooks teknik är byggd så att aspekter lätt kan användas i andra spel. Det betyder att andra utvecklare kan gå med.

En potentiell användning verkar uppenbar. Tillgänglighet. Google planerar att implementera en assistent med Google Stadia som kan hjälpa spelare med en knapptryckning. Intuitiva hjälpare i spelet kan ge all slags hjälp till spelare som har det kämpigt.

Ingenjörerna bakom Minecraft-boten arbetar aktivt med detta problem. Ett röstkommandogränssnitt har redan lagts till, men är ännu inte tillgängligt i den offentliga versionen av boten. De har för avsikt att bygga vidare på textreläet baserat på trender de märker från Facebook-användare.

"På Facebook finns det det här med att beskriva bilder på folks flöden", säger Szlar. "Vi tänkte verkligen på" åh, kan jag spela Minecraft där jag skulle säga till boten att göra något och sedan skulle den berätta för mig vad den gjorde, beskriva den för mig" och den sa "Jag byggde en kub där och där.'"

Några större uppdateringar av boten är i horisonten. Förutom en utvecklad textchatt kan ett uppgraderat visionsystem hjälpa boten att återskapa andra färdiga skapelser den ser. Att lära sig genom dialog, lära boten något genom ord i chatten, är ett annat långsiktigt mål. De har pratat med Katja Hoffman, forskningschef på Projekt Malmö – Microsofts interna AI-forskningsteam – om ett officiellt samarbete.

Förhoppningen är att genom att utforma AI som en stödjande enhet kan Facebooks ingenjörer ändra invanda uppfattningar om vad videospel kan göra, samt odla upplevelser som Minecraft – där bara att göra saker är pris.

"Förhoppningsvis kommer vi att se en förändring från "här är den här AI som jag behöver för att slå den" till "här är en AI, den kommer att hjälpa mig att göra kreativa slutmål", sa Zitnick. "Du kan föreställa dig en helt ny typ av spel där målet inte är att vinna. Målet är att skapa. Som människor har vi mycket svårt att skapa. Att göra musik, designa saker... Det här är inte saker som kommer naturligt för alla, och om vi kunde har bots som skulle hjälpa oss att göra dessa saker, det skulle tillåta många av oss att vara mycket fler kreativ."

"Jag tror att vi är långt ifrån det," tillade Zitnick. "Men det är dit jag skulle älska att se det här."

Redaktörens rekommendationer

• Schack. Jeopardy. Gå. Varför använder vi spel som ett riktmärke för A.I.?
• Facebook använder Minecraft som träningsplats för nästa steg av A.I.
• En A.I. designar retrovideospel – och de är förvånansvärt bra