Facebook bruker Minecraft til å trene AI-assistenter, én blokk om gangen

Ingeniører på Facebook har opprettet en Minecraft-assistent for å hjelpe deg med noen av de enkle oppgavene som er involvert i sandkassebyggeren. Hjelperen, som gyter og jobber sammen med deg i spillet, kan få enkle instruksjoner for ting som å bygge et tårn, grave et hull eller lage en vegg, redusere byggetiden for alle prosjekter størrelser.

Når den er installert, faller assistenten inn i din Minecraft verden. Du bruker en chatteboks til å videresende kommandoer til den nye følgesvennen din slik det passer deg. Bestillinger må være så enkle som mulig, og bryte oppgavene ned til de mest grunnleggende elementene. Du kan instruere den til å "lage en fem-av-fem-vegg" eller "grave ned syv blokker." Ved å bruke det som grunnlag kan roboten lære å gjøre mer komplekse jobber jo mer tid du bruker med den.

Dette kan gjøre livet i Minecraft enklere, men det sanne målet er enda mer ambisiøst. Botens utdannelse gir Facebooks ingeniører verdifull innsikt i hvordan AI bedre kan forstå mennesker i hverdagen.

"Jeg kan gå inn i Minecraft-spillet, og det er enkelt. Jeg trenger ikke å lære å flytte fra et sted til et sted, jeg trenger ikke å lære å ødelegge en blokk eller bygge noe,» Arthur Szlam, leder for Minecraft AI Project på Facebook Research, fortalte Digital Trends. "På den annen side er plassen med ting som folk kan spørre en assistent i Minecraft om å gjøre enorm. Så, språkforståelsesproblemet står i sentrum.»

Et forskningsverktøy i et kreativt spill

Minecraft har lenge inspirert spillere til å lage hva fantasien måtte ønske. Mellom det globale fellesskapet og åpen kildekode-røtter gir det en ideell vei for ingeniører for å bringe dette eksperimentet til et bredere publikum.

Play-testere begynte å bruke boten i januar 2019, og en offentlig versjon er nå live for alle som vil ha den. Det er en liten klesvaskliste med krav som må lastes ned først, og du må nedgradere til versjon 1.12. Når det er gjort, er det imidlertid din nye hjelper du kan beholde.

Botens selskap føles rart i begynnelsen. Den normalt bortgjemte opplevelsen (i det minste i enkeltspiller) blir avbrutt av et ansikt som stirrer på deg og venter på innspill i chatboksen.

Jeg startet med å høflig si «hei» mens jeg sirklet rundt min kjedelige kompis. Bekymringen min bleknet da jeg så den første blokken bygget etter mitt oppdrag. Det ga meg et rush av makt. Frem og tilbake med roboten er vennlig, men robotisk. Den takker for komplimenter og sier "Jeg vet ikke" hvis du ber den om å gjøre noe utenfor dets omfang. Sakte, men sikkert, ble jeg lært det å bygge meg en liten, enkeltroms hytte.

Hvis tingen du vil lage kan brytes ned til sirkler og firkanter uten mye forviklinger, kan boten håndtere det. Det betyr at et hus, eller et tårn, eller en underjordisk hule, er mulig. Å lære roboten tok mer tid enn å bygge hytta selv, men når den først lærte, kunne den bygge så mange hytter jeg ønsket.

Selvfølgelig er statue av Mikke Mus – eller noe annet som bruker granulære detaljer – langt vanskeligere. Disse typer intrikate strukturer skaper hindringer Facebooks ingeniører er ikke sikre på hvordan de skal løse. De håper forskere kan bruke Minecraft til å finne løsningene.

"[For] denne utgivelsen av boten er ikke publikum Minecraft-spillere. Det er forskningsfellesskapet," fortalte Larry Zitnick, forsker ved Facebook. "Vi legger det ut med vilje før det virkelig fungerer bra, fordi vi vil at resten av forskningsmiljøet skal samarbeide med oss ​​i å utforske og prøve å gjøre denne boten bedre."

Jeg, Robot

Å ha en robotassistent rundt er som å ha din egen Alexa eller Siri, i Minecraft. Samtalen er munter, men tydelig robotisk. Å gi den riktige kommandoen betyr å tenke i de mest grunnleggende termer og snakke på en stiv, grei og detaljert måte.

Dette var tydelig da jeg ville bygge et vindu i en av veggene i hytta mi. Jeg måtte jobbe steg for steg. Jeg kunne ikke fortelle boten bygge en vegg med et vindu (selv om den kanskje en dag kunne lære det). Variablene som spiller inn i hva "vindu" og "vegg" betyr, forvirrer lett boten. Hvilken vegg? Hvor stor er en vegg? Hvor stort vindu? Hvilke materialer skal den bruke?

I stedet ba jeg den om å lage en seks-av-seks blokker firkant. Så, med den oppgaven fullført, ba jeg den om å sette et hull rett i midten av firkanten. Så avsluttet jeg med å be den sette glass i hullet. Bestillinger må gå etter den mest grunnleggende mulige formuleringen, bygge mot resultatet.

Å bringe boten så langt er ikke utfordringen. Programvare for talestyring har gjennomsyret livene våre i mange år. I dag finner du det på datamaskiner, telefoner, nettbrett, biler og mye mer. Den virkelige utfordringen brukere står overfor er spranget mellom å forstå enkle oppgaver, som «ringe mamma», til kresne fraser som gir mindre kontekst og som ikke høres akkurat ut som en forhåndsdefinert standard.

Jeg er irsk, og selv om aksenten min ikke er uttalt, kan den bli sterk hvis jeg har snakket med folk fra andre deler av landet, eller hvis jeg snakker raskt. Spør Alexa for å spille sanger som bruker irsk, som «The Jail of Cluain Meala» (uttales «Cloon-Malla») av The Dubliners, tvinger meg til å bremse rullen. Jeg må gjøre hver stavelse helt forståelig. Engineering rundt aksenter og språk er en pågående utfordring.

Å lære AI å ha en mer nyansert forståelse av språket vårt kan høres enkelt ut, men databehandling av det talenivået er et mangefasettert problem som er viklet inn i andre mangefasetterte problemer. Det innebærer å jobbe rundt kontekst, slang og tonen til spesifikke brukere. Alt dette gjøres mer komplisert når det ikke er mye referansemateriale å trekke fra.

"Vi har ikke så mye treningsdata for noen av disse tingene," sa Szlam. "Antallet av eksempler på at vi har for å trene denne tingen er minimalt på en eller annen måte. Det er noen titusenvis, og disse er omformulert fra digitale maler.»

En ny grense for AI i videospill

Videospill har en historie med bruk av AI på fascinerende og kreative måter, fra Psycho Mantis leste spillerens minnekort i Metal fra 1997 Gear Solid, til de personlige karaktersvarene fra Nintendos Animal Crossing-serie, til Toby Foxs fjerde veggs knusende Undertale, og bortenfor. Facebooks teknologi er bygget slik at aspekter enkelt kan brukes i andre spill. Det betyr at andre utviklere kan bli med.

En potensiell bruk virker åpenbar. Tilgjengelighet. Google planlegger å implementere en assistent med Google Stadia som kan hjelpe spillere med et trykk på en knapp. Intuitive hjelpere i spillet kan gi all slags hjelp til spillere som sliter.

Ingeniørene bak Minecraft-boten jobber aktivt med dette problemet. Et talekommandogrensesnitt er allerede lagt til, men er ennå ikke tilgjengelig i den offentlige versjonen av boten. De har til hensikt å bygge videre på tekstreléet basert på trender de legger merke til fra Facebook-brukere.

"På Facebook er det dette med å beskrive bilder på folks feeder," sier Szlar. "Vi tenkte virkelig på 'å, kunne jeg spille Minecraft der jeg ville be boten om å gjøre noe og så ville den fortelle meg hva den gjorde, beskrive den for meg' og den sa 'Jeg bygde en kube der og der.'"

Noen større oppdateringer til boten er i horisonten. Bortsett fra utviklet tekstchat, kan et oppgradert synssystem hjelpe boten med å gjenskape andre, ferdige kreasjoner den ser. Å lære gjennom dialog, lære boten noe gjennom ord i chat, er et annet langsiktig mål. De har snakket med Katja Hoffman, hovedforskningsleder ved Prosjekt Malmö – Microsofts interne AI-forskningsteam – om et offisielt samarbeid.

Håpet er at ved å utforme AI som en støttende enhet, kan Facebooks ingeniører endre inngrodde oppfatninger om hva videospill kan gjøre, i tillegg til å dyrke opplevelser som Minecraft – der bare å lage ting er belønning.

"Forhåpentligvis vil vi se et skifte fra "her er denne AI jeg trenger for å slå den" til "her er en AI, den vil hjelpe meg å gjøre kreative sluttmål", sa Zitnick. "Du kan forestille deg en helt ny type spill der målet ikke er å vinne. Målet er å skape. Som mennesker har vi store problemer med å skape. Å lage musikk, designe ting... Dette er ikke ting som kommer naturlig for alle, og hvis vi kunne har roboter som vil hjelpe oss med å gjøre disse tingene, vil det tillate mange av oss å være mye mer kreativ."

"Jeg tror vi er langt unna det," la Zitnick til. "Men det er der jeg vil gjerne se dette gå."

Redaktørenes anbefalinger

• Sjakk. Fare. Gå. Hvorfor bruker vi spill som målestokk for A.I.?
• Facebook bruker Minecraft som treningsplass for neste trinn av A.I.
• En A.I. designer retro videospill - og de er overraskende gode