Facebook nutzt Minecraft, um KI-Assistenten Block für Block zu trainieren

Ingenieure bei Facebook haben hat einen Minecraft-Assistenten erstellt um Ihnen bei einigen der einfachen Aufgaben des Sandbox-Builders zu helfen. Dem Helfer, der im Spiel erscheint und mit Ihnen zusammenarbeitet, können einfache Anweisungen für Dinge gegeben werden B. einen Turm bauen, ein Loch graben oder eine Mauer bauen, um die Bauzeit für Projekte aller Art zu verkürzen Größen.

Nach der Installation erscheint der Assistent in Ihrem Minecraft Welt. Sie verwenden eine Chatbox, um nach Belieben Befehle an Ihren neuen Begleiter weiterzuleiten. Aufträge müssen so einfach wie möglich sein und Aufgaben auf ihre grundlegendsten Elemente herunterbrechen. Sie können es anweisen, „eine fünf mal fünf große Wand zu bauen“ oder „sieben Blöcke einzugraben“. Auf dieser Grundlage kann der Bot lernen, komplexere Aufgaben zu erledigen, je mehr Zeit Sie mit ihm verbringen.

Dies könnte das Leben in Minecraft einfacher machen, aber das wahre Ziel ist noch ehrgeiziger. Die Ausbildung des Bots gibt den Facebook-Ingenieuren wertvolle Einblicke, wie KI Menschen im Alltag besser verstehen kann.

„Ich kann in das Minecraft-Spiel einsteigen, und es ist einfach. Ich muss nicht lernen, wie man sich von Ort zu Ort bewegt, ich muss nicht lernen, wie man einen Block zerstört oder etwas baut“, sagt Arthur Szlam, Leiter des Minecraft AI-Projekts bei Facebook Forschung, sagte Digital Trends. „Andererseits ist der Spielraum für Dinge, die man in Minecraft von einem Assistenten verlangen könnte, riesig. Das Problem des Sprachverständnisses steht also im Vordergrund.“

Ein Recherchetool in einem kreativen Spiel

Minecraft inspiriert Spieler seit langem dazu, alles zu machen, was ihre Fantasie begehrt. Zwischen der globalen Gemeinschaft und den Open-Source-Wurzeln bietet es Ingenieuren einen idealen Weg, dieses Experiment einem breiteren Publikum zugänglich zu machen.

Spieletester haben im Januar 2019 damit begonnen, den Bot zu nutzen, und jetzt ist eine öffentliche Version für jeden verfügbar, der ihn haben möchte. Zuerst müssen Sie eine kleine Liste mit Anforderungen herunterladen, und Sie müssen ein Downgrade auf Version 1.12 durchführen. Sobald dies jedoch erledigt ist, können Sie Ihren neuen Helfer behalten.

Die Gesellschaft des Bots fühlt sich zunächst seltsam an. Das normalerweise zurückhaltende Erlebnis (zumindest im Einzelspielermodus) wird von einem Gesicht unterbrochen, das Sie anstarrt und auf Ihre Eingabe in der Chatbox wartet.

Ich begann damit, höflich „Hallo“ zu sagen, während ich meinen dickköpfigen Kumpel umkreiste. Meine Besorgnis ließ nach, als ich sah, wie der erste Block auf meinen Wunsch gebaut wurde. Es gab mir einen Kraftschub. Das Hin und Her mit dem Bot ist freundlich, aber roboterhaft. Es bedankt sich für Komplimente und sagt „Ich weiß nicht“, wenn man ihm sagt, dass es etwas tun soll, was über seinen Rahmen hinausgeht. Langsam aber sicher wurde mir beigebracht, mir eine kleine Hütte mit nur einem Raum zu bauen.

Wenn das, was Sie erstellen möchten, ohne großen Aufwand in Kreise und Quadrate zerlegt werden kann, kann der Bot damit umgehen. Das heißt, ein Haus, ein Turm oder ein unterirdisches Versteck sind machbar. Es dauerte länger, dem Bot beizubringen, die Hütte selbst zu bauen, aber sobald er es gelernt hatte, konnte er so viele Hütten bauen, wie ich wollte.

Natürlich ist eine Statue von Mickey Mouse – oder alles andere, das detaillierte Details verwendet – weitaus schwieriger. Solche komplizierten Strukturen stellen Hürden dar, die die Ingenieure von Facebook nicht lösen können. Sie hoffen, dass Forscher Minecraft nutzen können, um bei der Suche nach Lösungen zu helfen.

„[Für] diese Veröffentlichung des Bots besteht das Publikum nicht aus Minecraft-Spielern. Es ist die Forschungsgemeinschaft“, sagte mir Larry Zitnick, Forschungswissenschaftler bei Facebook. „Wir veröffentlichen es absichtlich, bevor es wirklich gut funktioniert, weil wir möchten, dass der Rest der Forschungsgemeinschaft mit uns bei der Erforschung und Verbesserung dieses Bots zusammenarbeitet.“

Ich Roboter

Einen Roboterassistenten in der Nähe zu haben, ist wie einen eigenen zu haben Alexa oder Siri, in Minecraft. Das Gespräch ist fröhlich, aber eindeutig roboterhaft. Den richtigen Befehl zu erteilen bedeutet, in den grundlegendsten Begriffen zu denken und streng, geradlinig und detailliert zu sprechen.

Das war klar, als ich ein Fenster in eine der Wände meiner Hütte einbauen wollte. Ich musste Schritt für Schritt arbeiten. Ich konnte dem Bot nicht sagen, dass er eine Wand mit einem Fenster baut (obwohl er das vielleicht eines Tages lernen könnte). Die Variablen, die bei der Bedeutung von „Fenster“ und „Wand“ eine Rolle spielen, verwirren den Bot leicht. Welche Wand? Wie groß ist eine Mauer? Wie groß ist ein Fenster? Welche Materialien sollen verwendet werden?

Stattdessen bat ich ihn, ein Blockquadrat von sechs mal sechs zu bilden. Nachdem diese Aufgabe erledigt war, sagte ich ihm, er solle genau in der Mitte des Quadrats ein Loch machen. Dann bat ich ihn abschließend, Glas in das Loch zu stecken. Bestellungen müssen möglichst einfach formuliert sein und auf das Ergebnis ausgerichtet sein.

Den Bot so weit zu bringen, ist nicht die Herausforderung. Sprachbefehlssoftware prägt seit vielen Jahren unser Leben. Heute findet man es in Computern, Telefonen, Tablets, Autos und vielem mehr. Die eigentliche Herausforderung für Benutzer besteht darin, vom Verständnis einfacher Aufgaben wie „Mama anrufen“ zu anspruchsvollen Phrasen zu gelangen, die weniger Kontext bieten und nicht genau wie eine vordefinierte Standardeinstellung klingen.

Ich bin Ire und obwohl mein Akzent nicht ausgeprägt ist, kann er stark werden, wenn ich mit Menschen aus anderen Teilen des Landes gesprochen habe oder wenn ich schnell spreche. Fragen Alexa, um Lieder abzuspielen die Irisch verwenden, wie zum Beispiel „The Jail of Cluain Meala“ (ausgesprochen „Cloon-Malla“) von The Dubliners, zwingen mich, langsamer vorzugehen. Ich muss jede Silbe vollkommen verständlich machen. Maschinenbau um Akzente Und Sprachen ist ein ständige Herausforderung.

Der KI beizubringen, unsere Sprache differenzierter zu verstehen, mag einfach klingen, aber die Computerisierung dieser Sprachebene ist ein vielschichtiges Problem, das mit anderen vielschichtigen Problemen verwoben ist. Dabei geht es darum, den Kontext, die Umgangssprache und den Tonfall bestimmter Benutzer zu berücksichtigen. All dies wird noch komplizierter, wenn nicht viel Referenzmaterial zur Verfügung steht.

„Für all diese Dinge haben wir nicht so viele Trainingsdaten“, erklärte Szlam. „Die Anzahl der Beispiele, die wir zum Trainieren dieses Dings haben, ist in gewisser Weise winzig. Es sind ein paar Zehntausend, und diese werden anhand digitaler Vorlagen umformuliert.“

Eine neue Grenze für KI in Videospielen

Videospiele haben eine lange Tradition darin, KI auf faszinierende und kreative Weise einzusetzen, angefangen bei Psycho Mantis, als er 1997 in „Metal“ die Speicherkarte des Spielers las Gear Solid, zu den personalisierten Charakterreaktionen von Nintendos Animal Crossing-Reihe, zu Toby Fox‘ erschütterndem Undertale und darüber hinaus. Die Technologie von Facebook ist so konzipiert, dass Aspekte problemlos in anderen Spielen verwendet werden können. Das bedeutet, dass andere Entwickler mitmachen könnten.

Eine mögliche Verwendung scheint offensichtlich. Barrierefreiheit. Google plant es Implementieren Sie einen Assistenten mit Google Stadia das den Spielern per Knopfdruck weiterhelfen kann. Intuitive Helfer im Spiel könnten Spielern, die Schwierigkeiten haben, jede Art von Hilfe bieten.

Die Ingenieure hinter dem Minecraft-Bot arbeiten aktiv an diesem Problem. Eine Sprachbefehlsschnittstelle wurde bereits hinzugefügt, ist jedoch in der öffentlichen Version des Bots noch nicht verfügbar. Sie beabsichtigen, auf der Textweiterleitung aufzubauen, die auf Trends basiert, die sie bei Facebook-Nutzern bemerken.

„Auf Facebook geht es darum, Bilder in den Feeds der Leute zu beschreiben“, sagt Szlar. „Wir haben wirklich darüber nachgedacht, ‚Oh, könnte ich Minecraft spielen, bei dem ich dem Bot sagen würde, er solle etwas tun?‘“ und dann erzählte es mir, was es tat, beschrieb es mir“ und es hieß: „Ich habe dort und dort einen Würfel gebaut.“ Dort.'"

Einige größere Updates für den Bot sind in Planung. Abgesehen vom weiterentwickelten Text-Chat könnte ein verbessertes Vision-System dem Bot dabei helfen, andere, fertige Kreationen, die er sieht, nachzubilden. Ein weiteres langfristiges Ziel ist das Lernen durch Dialog, dem Bot durch Worte im Chat etwas beizubringen. Sie haben mit Katja Hoffman gesprochen, der Hauptforschungsmanagerin bei Projekt Malmö – Microsofts hauseigenes KI-Forschungsteam – über eine offizielle Zusammenarbeit.

Die Hoffnung besteht darin, dass die Ingenieure von Facebook tief verwurzelte Wahrnehmungen ändern können, indem sie die KI als unterstützende Einheit betrachten darüber, was Videospiele leisten können, und kultivieren Erfahrungen wie Minecraft – wo es nur darauf ankommt, Dinge zu erschaffen belohnen.

„Hoffentlich erleben wir einen Wandel von ‚Hier ist diese KI, die ich besiegen muss‘ zu ‚Hier ist eine KI, sie wird mir helfen, kreative Endziele zu erreichen‘“, sagte Zitnick. „Man kann sich eine ganz neue Art von Spielen vorstellen, bei denen das Ziel nicht darin besteht, zu gewinnen. Das Ziel ist zu schaffen. Als Menschen haben wir große Schwierigkeiten, etwas zu erschaffen. Musik machen, Dinge entwerfen … Das sind nicht Dinge, die für jeden selbstverständlich sind, und wenn wir es könnten Wenn wir Bots hätten, die uns bei diesen Dingen helfen würden, könnten viele von uns noch viel mehr sein kreativ."

„Ich denke, davon sind wir noch weit entfernt“, fügte Zitnick hinzu. „Aber dort würde ich das gerne sehen.“

Empfehlungen der Redaktion

• Schach. Gefahr. Gehen. Warum nutzen wir Spiele als Maßstab für KI?
• Facebook nutzt Minecraft als Übungsgelände für die nächste Stufe der KI
• Eine K.I. entwickelt Retro-Videospiele – und sie sind überraschend gut