Wie GPT-3 leise die KI einleitet Revolution

Wozu ist es gut? Absolut alles

Kürzlich rief Francis Jervis, der Gründer eines Startups, an Augmentiert, nutzte GPT-3, um Menschen, die mit ihrer Miete zu kämpfen hatten, dabei zu helfen, Briefe zu schreiben, in denen sie über Mietrabatte verhandelten. „Ich würde den Anwendungsfall hier als ‚Stiltransfer‘ beschreiben“, sagte Jervis gegenüber Digital Trends. „[Es nimmt] Aufzählungspunkte auf, die nicht einmal in perfektem Englisch sein müssen, und [gibt] zwei bis drei Sätze in formaler Sprache aus.“

Basierend auf diesem äußerst leistungsstarken Sprachmodell ermöglicht das Tool von Jervis Mietern, ihre Situation und den Grund, warum sie eine vergünstigte Miete benötigen, zu beschreiben. „Geben Sie einfach ein paar Worte darüber ein, warum Sie Ihr Einkommen verloren haben, und in wenigen Sekunden erhalten Sie einen Vorschlag für einen überzeugenden, formellen Absatz, den Sie Ihrem Brief hinzufügen können“, behauptet das Unternehmen.

Dies ist nur die Spitze des Eisbergs. Wann Aditya Joshi, ein Wissenschaftler für maschinelles Lernen und ehemaliger Amazon Web Services-Ingenieur, stieß zum ersten Mal auf GPT-3 und war von dem, was er sah, so überwältigt, dass er eine Website einrichtete. www.gpt3examples.com, um den Überblick über die Besten zu behalten.

„Kurz nachdem OpenAI seine API angekündigt hatte, begannen Entwickler, beeindruckende Demos von Anwendungen zu twittern, die mit GPT-3 erstellt wurden“, sagte er gegenüber Digital Trends. „Sie waren erstaunlich gut. Ich habe [meine Website] erstellt, um es der Community zu erleichtern, diese Beispiele zu finden und kreative Möglichkeiten zu entdecken, GPT-3 zur Lösung von Problemen in ihrem eigenen Bereich zu nutzen.“

Vollständig interaktive synthetische Personas mit GPT-3 und https://t.co/ZPdnEqR0Hn 🎇

Sie wissen, wer sie sind, wo sie gearbeitet haben, wer ihr Chef ist und vieles mehr. Das ist nicht der Bot deines Vaters... pic.twitter.com/kt4AtgYHZL

— Tyler Lastovich (@tylerlastovich) 18. August 2020

Joshi verweist auf mehrere Demos, die ihn wirklich beeindruckt haben. Eins, ein Layoutgenerator, stellt ein funktionales Layout dar, indem JavaScript-Code aus einer einfachen Textbeschreibung generiert wird. Möchten Sie einen Button mit der Aufschrift „Abonnieren“ in Form einer Wassermelone? Lust auf Bannertext mit einer Reihe von Knöpfen in den Farben des Regenbogens? Erklären Sie sie einfach in einfachen Texten, und der Layoutgenerator von Sharif Shameem schreibt den Code für Sie. Ein anderer, ein GPT-3-basierte Suchmaschine erstellt von Paras Chopra, kann jede schriftliche Anfrage in eine Antwort und einen URL-Link für die Bereitstellung weiterer Informationen umwandeln. Eine andere, die Umkehrung von Francis Jervis‘ von Michael Tefula, übersetzt juristische Dokumente ins einfache Englisch. Noch ein weiteres, von Raphaël Millière, schreibt philosophische Essays. Und ein anderer, von Gwern Branwen, kann es kreative Fiktion generieren.

„Ich hätte nicht erwartet, dass ein einzelnes Sprachmodell bei einem so vielfältigen Aufgabenspektrum, von der Sprachübersetzung und -generierung bis hin zur Textzusammenfassung und Entitätsextraktion, so gut funktioniert“, sagte Joshi. "In eines meiner eigenen ExperimenteIch habe GPT-3 verwendet, um chemische Verbrennungsreaktionen vorherzusagen, und das lief überraschend gut.“

Mehr dazu, woher das kommt

Auch die transformativen Einsatzmöglichkeiten von GPT-3 enden hier nicht. Informatiker Tyler Lastovich hat GPT-3 verwendet, um Erschaffe falsche Menschen, einschließlich Hintergrundgeschichte, mit dem dann per Text interagiert werden kann. Inzwischen hat Andrew Mayne gezeigt, dass GPT-3 dies kann Wird verwendet, um Filmtitel in Emojis umzuwandeln. Nick Walton, Chief Technology Officer von Latitude, dem Studio hinter dem GPT-generierten Text-Abenteuerspiel KI-Dungeon habe vor Kurzem das Gleiche getan, um zu sehen, ob es sich drehen lässt Längere Zeichenfolgen mit Textbeschreibungen in Emojis. Und Copy.ai, ein Startup, das Copywriting-Tools mit GPT-3 entwickelt, nutzt das Modell mit einem monatlichen Rabatt aus, so gut es geht wiederkehrender Umsatz von 67.000 US-Dollar Stand März – und eine aktuelle Finanzierungsrunde in Höhe von 2,9 Millionen US-Dollar.

„Auf jeden Fall gab es Überraschung und große Ehrfurcht vor der Kreativität, für die die Leute GPT-3 genutzt haben.“ Sandhini Agarwal, eine K.I. Politikforscher für OpenAI sagte gegenüber Digital Trends. „So viele Anwendungsfälle sind einfach so kreativ, und in Bereichen, die selbst ich nicht vorhergesehen hatte, würde es viel Wissen geben. Das ist interessant zu sehen. Abgesehen davon war GPT-3 – und diese gesamte Forschungsrichtung, die OpenAI verfolgte – stark von der Hoffnung geprägt, dass uns dies eine K.I. Modell, das allgemeiner einsetzbar war. Der springende Punkt einer Allzweck-K.I. Modell ist [dass es] ein Modell wäre, das all diese verschiedenen KI-Funktionen ausführen könnte. Aufgaben."

Viele der Projekte verdeutlichen einen der großen Vorteile von GPT-3: den Mangel an erforderlicher Schulung. Maschinelles Lernen hat in den letzten Jahrzehnten in vielerlei Hinsicht einen Wandel bewirkt. Doch maschinelles Lernen erfordert eine große Anzahl an Trainingsbeispielen, um korrekte Antworten ausgeben zu können. GPT-3 hingegen verfügt über eine „Fähigkeit für wenige Schüsse“, die es ermöglicht, ihm anhand einer kleinen Handvoll Beispiele beizubringen, etwas zu tun.

Plausibler Blödsinn

GPT-3 ist sehr beeindruckend. Aber es bringt auch Herausforderungen mit sich. Einige davon beziehen sich auf die Kosten: Für hochvolumige Dienste wie Chatbots, die von der Magie von GPT-3 profitieren könnten, könnte die Nutzung des Tools zu teuer sein. (Eine einzelne Nachricht könnte 6 Cent kosten, was zwar nicht gerade die Bank sprengt, sich aber auf jeden Fall summiert.)

Andere beziehen sich auf die weit verbreitete Verfügbarkeit, was bedeutet, dass es wahrscheinlich schwierig sein wird, ein Startup ausschließlich darauf aufzubauen, da der starke Wettbewerb wahrscheinlich die Margen schmälern wird.

Ein weiterer Grund ist der Mangel an Gedächtnis; Sein Kontextfenster umfasst zuvor etwas weniger als 2.000 Wörter auf einmal, wie Guy Pierces Charakter im Film Erinnerung, wird sein Speicher zurückgesetzt. „Dies begrenzt die Länge des Texts, der generiert werden kann, erheblich, etwa auf einen kurzen Absatz pro Anfrage“, sagte Lastovich. „Praktisch bedeutet das, dass es nicht möglich ist, lange Dokumente zu erstellen und sich gleichzeitig daran zu erinnern, was am Anfang passiert ist.“

Die vielleicht bemerkenswerteste Herausforderung hängt jedoch auch mit seiner größten Stärke zusammen: seinen Konfabulationsfähigkeiten. Konfabulation ist ein von Ärzten häufig verwendeter Begriff, um die Art und Weise zu beschreiben, wie manche Menschen mit Gedächtnisproblemen dazu in der Lage sind Informationen fabrizieren, die auf den ersten Blick überzeugend erscheinen, einer näheren Betrachtung aber nicht unbedingt standhalten Inspektion. Die Konfabulationsfähigkeit von GPT-3 ist je nach Kontext eine Stärke und eine Schwäche. Für kreative Projekte kann es großartig sein, wenn man über Themen nachdenken kann, ohne sich um etwas so Alltägliches wie die Wahrheit zu kümmern. Bei anderen Projekten kann es schwieriger sein.

Francis Jervis von Augrented verweist auf die Fähigkeit von GPT-3, „plausiblen Schwachsinn zu erzeugen“. Nick Walton von KI-Dungeon sagte: „GPT-3 ist sehr gut darin, kreative Texte zu schreiben, die aussehen, als ob sie von einem Menschen geschrieben worden wären … Einer davon.“ Die Schwäche besteht jedoch darin, dass es oft so schreiben kann, als wäre es sehr selbstbewusst – auch wenn es keine Ahnung hat, wie die Antwort auf eine Frage lautet die Frage ist."

Zurück im Chinesischen Zimmer

In dieser Hinsicht führt uns GPT-3 auf das vertraute Terrain von John Searles Chinese Room zurück. 1980 veröffentlichte der Philosoph Searle einer der bekanntesten K.I. Gedankenexperimente, konzentrierte sich auf das Thema „Verstehen“. „The Chinese Room“ fordert uns auf, uns eine Person vorzustellen, die in einem Raum mit einer Menge Schriften in einer Sprache eingesperrt ist, die sie nicht versteht. Alles, was sie erkennen, sind abstrakte Symbole. Der Raum enthält auch eine Reihe von Regeln, die zeigen, wie ein Satz von Symbolen einem anderen entspricht. Da eine Reihe von Fragen zu beantworten sind, muss der Bewohner des Raums Fragesymbole mit Antwortsymbolen zuordnen. Nachdem sie diese Aufgabe viele Male wiederholt haben, werden sie mit der Ausführung vertraut – auch wenn sie keine Ahnung haben, was die beiden Symbolsätze bedeuten, sondern lediglich, dass das eine dem anderen entspricht.

GPT-3 ist Welten entfernt von den Arten sprachlicher KI. das existierte zu der Zeit, als Searle schrieb. Die Frage des Verständnisses ist jedoch nach wie vor heikel.

„Dies ist ein sehr kontroverser Fragebereich, wie Sie sicher wissen, weil es so viele Unterschiede gibt Meinungen darüber, ob Sprachmodelle im Allgemeinen … jemals [wahres] Verständnis haben würden“, sagte Sandhini von OpenAI Agarwal. „Wenn Sie mich jetzt nach GPT-3 fragen, funktioniert es manchmal sehr gut, manchmal jedoch nicht sehr gut. Es besteht gewissermaßen eine Zufälligkeit darüber, wie aussagekräftig die Ausgabe für Sie sein könnte. Manchmal werden Sie von der Ausgabe begeistert sein, und manchmal ist die Ausgabe einfach unsinnig. Angesichts dessen scheint GPT-3 derzeit meiner Meinung nach kein Verständnis dafür zu haben.“

Eine weitere Besonderheit des heutigen Chinese-Room-Experiments besteht darin, dass GPT-3 nicht bei jedem Schritt von einem kleinen Forscherteam programmiert wird. Es handelt sich um ein riesiges Modell, das auf einem riesigen Datensatz trainiert wurde, der, nun ja, aus dem Internet besteht. Dies bedeutet, dass es Schlussfolgerungen und Vorurteile erkennen kann, die möglicherweise in online gefundenen Texten kodiert sind. Sie haben den Ausdruck gehört, dass Sie der Durchschnitt der fünf Menschen sind, mit denen Sie sich umgeben? Nun, GPT-3 wurde auf nahezu unvorstellbare Mengen an Textdaten aus mehreren Quellen trainiert, darunter Bücher, Wikipedia und andere Artikel. Daraus lernt es, das nächste Wort in einer beliebigen Reihenfolge vorherzusagen, indem es seine Trainingsdaten nach zuvor verwendeten Wortkombinationen durchsucht. Dies kann unbeabsichtigte Folgen haben.

Fütterung der stochastischen Papageien

Diese Herausforderung bei großen Sprachmodellen wurde erstmals in a hervorgehoben bahnbrechendes Papier zum Thema sogenannte stochastische Papageien. Ein stochastischer Papagei – ein Begriff, der von den Autoren geprägt wurde, zu denen auch der frühere Co-Leiter von Googles ethischer KI gehörte. Team, Timnit Gebru – bezieht sich auf ein großes Sprachmodell „Fügt willkürlich Sequenzen sprachlicher Formen zusammen, die es in seinen umfangreichen Trainingsdaten beobachtet hat, anhand probabilistischer Informationen darüber, wie sie kombiniert werden, jedoch ohne jegliche Referenz.“ zum Sinn.“

„Nachdem wir einen großen Teil des Internets kennengelernt haben, ist es wichtig anzuerkennen, dass es einige seiner Vorurteile mit sich bringt.“ Albert Gozzi, ein weiterer GPT-3-Benutzer, sagte gegenüber Digital Trends. „Ich weiß, dass das OpenAI-Team hart daran arbeitet, dieses Problem auf verschiedene Weise zu entschärfen, aber ich gehe davon aus, dass dies noch einige Zeit lang ein Problem bleiben wird.“

Zu den Gegenmaßnahmen von OpenAI zur Abwehr von Voreingenommenheit gehört ein Toxizitätsfilter, der bestimmte Sprachen oder Themen herausfiltert. OpenAI arbeitet auch an Möglichkeiten, menschliches Feedback zu integrieren, um festzulegen, in welche Bereiche man sich nicht verirren sollte. Darüber hinaus kontrolliert das Team den Zugriff auf das Tool, sodass bestimmten negativen Verwendungszwecken des Tools kein Zugriff gewährt wird.

„Einer der Gründe, warum Sie möglicherweise nicht allzu viele dieser böswilligen Benutzer gesehen haben, ist, dass wir intern einen intensiven Überprüfungsprozess haben“, sagte Agarwal. „Wir arbeiten so, dass Sie jedes Mal, wenn Sie GPT-3 in einem Produkt verwenden möchten, das tatsächlich bereitgestellt werden soll Sie müssen einen Prozess durchlaufen, bei dem ein Team – beispielsweise ein Team aus Menschen – tatsächlich überprüft, wie Sie es verwenden möchten Es. … Anschließend wird Ihnen Zugriff gewährt, sofern sichergestellt ist, dass es sich nicht um etwas Bösartiges handelt.“

Einiges davon ist jedoch eine Herausforderung – nicht zuletzt, weil Voreingenommenheit nicht immer ein eindeutiger Fall der Verwendung bestimmter Wörter ist. Jervis weist darauf hin, dass seine GPT-3-Mietbotschaften manchmal „zu stereotypen Geschlechts- oder Klassenklischees tendieren können“. Annahmen." Wenn es unbeaufsichtigt bleibt, könnte es sein, dass die Geschlechtsidentität der Person auf einem Mietbrief anhand ihrer Familie angegeben wird Rolle oder Job. Dies ist möglicherweise nicht das schlimmste Beispiel für KI. Voreingenommenheit, aber es zeigt, was passiert, wenn große Datenmengen aufgenommen und dann probabilistisch in einem Sprachmodell wieder zusammengesetzt werden.

„Voreingenommenheit und das Potenzial für explizite Renditen sind absolut vorhanden und erfordern Anstrengungen der Entwickler, um sie zu vermeiden“, sagte Tyler Lastovich. „OpenAI weist zwar auf potenziell toxische Ergebnisse hin, bringt aber letztendlich eine Haftung mit sich, über die Kunden gründlich nachdenken müssen, bevor sie das Modell in Produktion bringen. Ein besonders schwierig zu umgehender Randfall ist die Neigung des Modells zu lügen – da es keine Vorstellung von wahren oder falschen Informationen hat.“

Sprachmodelle und die Zukunft von K.I.

Neun Monate nach seinem Debüt wird GPT-3 seinem Ruf als Game Changer mit Sicherheit gerecht. Was einst reines Potenzial war, hat sich als verwirklichtes Potenzial erwiesen. Die Anzahl der faszinierenden Anwendungsfälle für GPT-3 zeigt, wie eine textgenerierende K.I. ist viel vielseitiger, als diese Beschreibung vermuten lässt.

Nicht, dass es heutzutage der Neue auf dem Block wäre. Anfang des Jahres wurde GPT-3 als größtes Sprachmodell überholt. Google Brain stellte ein neues Sprachmodell vor mit rund 1,6 Billionen ParameternDamit ist es neunmal so groß wie das Angebot von OpenAI. Dies wird wahrscheinlich auch nicht das Ende des Weges für Sprachmodelle sein. Dabei handelt es sich um äußerst wirkungsvolle Werkzeuge – mit dem Potenzial, die Gesellschaft zu verändern, möglicherweise zum Guten wie zum Schlechten.

Bei diesen Technologien gibt es sicherlich Herausforderungen, denen sich Unternehmen wie OpenAI, unabhängige Forscher und andere weiterhin stellen müssen. Aber insgesamt lässt sich kaum argumentieren, dass sich Sprachmodelle nicht zu einem der interessantesten und wichtigsten Bereiche der Forschung im Bereich der künstlichen Intelligenz entwickeln.

Wer hätte gedacht, dass Textgeneratoren so überaus wichtig sein könnten? Willkommen in der Zukunft der künstlichen Intelligenz.

Empfehlungen der Redaktion

• Analoge KI? Es klingt verrückt, aber es könnte die Zukunft sein
• Lesen Sie die unheimlich schöne „synthetische Schrift“ einer KI. das denkt, es sei Gott
• Algorithmische Architektur: Sollten wir K.I. Entwerfen Sie Gebäude für uns?
• Frauen mit Byte: Vivienne Mings Plan, „chaotische menschliche Probleme“ mit K.I. zu lösen
• Warum es der Schlüssel zur KI der nächsten Generation sein könnte, Robotern das Versteckenspielen beizubringen