GPT-3: Das neue textgenerierende neuronale Netzwerk von OpenAI ist da

Als der Textgenerierungsalgorithmus GPT-2 im Jahr 2019 erstellt wurde, galt er als einer der „gefährlich„K.I. Algorithmen in der Geschichte. Tatsächlich argumentierten einige, dass es so gefährlich sei, dass es niemals der Öffentlichkeit zugänglich gemacht werden sollte (Spoiler: Das war es), damit es nicht die „Roboter-Apokalypse.“ Das ist natürlich nie passiert. GPT-2 wurde schließlich der Öffentlichkeit zugänglich gemacht, und nachdem es die Welt nicht zerstörte, gingen seine Schöpfer zum nächsten Schritt über. Aber wie verfolgt man den gefährlichsten Algorithmus, der jemals entwickelt wurde?

Die Antwort ist, zumindest auf dem Papier, einfach: Genau wie die Fortsetzung eines jeden erfolgreichen Films macht man etwas, das größer, schlimmer und teurer ist. Nur ein Xenomorph im ersten Außerirdischer? Fügen Sie ein ganzes Nest davon in die Fortsetzung ein, Außerirdische. Nur eine einzige nahezu unzerstörbare Maschine, die aus der Zukunft zurückgeschickt wurde

Terminator? Geben Sie dem Publikum zwei davon, mit denen es sich auseinandersetzen kann Terminator 2: Tag des Jüngsten Gerichts.

Das Gleiche gilt für die KI. - in diesem Fall, GPT-3, ein kürzlich veröffentlichtes neuronales Netzwerk zur Verarbeitung natürlicher Sprache, das von OpenAI erstellt wurde, dem Forschungslabor für künstliche Intelligenz, das einst (aber nicht mehr), gesponsert von SpaceX und Tesla-CEO Elon Musk.

GPT-3 ist das neueste einer Reihe textgenerierender neuronaler Netze. Der Name GPT steht für Generative Pretrained Transformer und bezieht sich auf ein Jahr 2017 Google-Innovation namens Transformer Damit lässt sich die Wahrscheinlichkeit ermitteln, mit der ein bestimmtes Wort in den umgebenden Wörtern vorkommt. Gefüttert mit ein paar Sätzen, etwa dem Anfang einer Nachrichtenmeldung, wird das GPT vorab trainierte Sprachmodell kann überzeugend genaue Fortsetzungen erzeugen, sogar einschließlich der Formulierung von Fabrikaten Zitate.

Aus diesem Grund befürchteten einige, dass es sich als gefährlich erweisen könnte, indem es dazu beiträgt, falschen Text zu generieren, der z Deepfakes, könnte Helfen Sie mit, Fake News online zu verbreiten. Mit GPT-3 ist es jetzt größer und intelligenter als je zuvor.

Geschichte vom Band

GPT-3 ist, wie ein Box-ähnlicher „Tape of the Tape“-Vergleich deutlich machen würde, ein echter Schwergewichts-Kampfkandidat. Das ursprüngliche GPT von OpenAI aus dem Jahr 2018 hatte 110 Millionen Parameter und bezog sich auf die Gewichtungen der Verbindungen, die es einem neuronalen Netzwerk ermöglichen, zu lernen. GPT-2 aus dem Jahr 2019, das einen Großteil der vorherigen Aufregung über seine potenziellen Schadanwendungen auslöste, verfügte über 1,5 Milliarden Parameter. Im vergangenen MonatMicrosoft führte das damals weltweit größte ähnliche vorab trainierte Sprachmodell mit 17 Milliarden Parametern ein. Im Vergleich dazu hat der monströse GPT-3 von 2020 eine erstaunliche Leistung 175 Milliarden Parameter. Berichten zufolge kostete die Ausbildung rund 12 Millionen US-Dollar.

„Die Stärke dieser Modelle besteht darin, dass sie, um das nächste Wort erfolgreich vorhersagen zu können, am Ende eine wirklich mächtige Welt lernen müssen „Modelle, die für alle möglichen interessanten Dinge verwendet werden können“, Nick Walton, Chief Technology Officer von Latitude, dem Studio hinter K.I. Verlies, ein A.I.-generiertes Text-Abenteuerspiel auf Basis von GPT-2, sagte Digital Trends. „Sie können die Basismodelle auch feinabstimmen, um die Generation in eine bestimmte Richtung zu formen und gleichzeitig das Wissen beizubehalten, das das Modell im Vortraining gelernt hat.“

Gwern Branwen, ein Kommentator und Forscher, der über Psychologie, Statistik und Technologie schreibt, sagte gegenüber Digital Trends, dass die Das vorab trainierte Sprachmodell, das GPT darstellt, ist zu einem „immer wichtigeren Bestandteil jeder maschinellen Lernaufgabe geworden.“ auf Text. Ebenso wie [der Standardvorschlag für] viele bildbezogene Aufgaben zu „Verwenden Sie a“ geworden ist [Faltungs-Neuronales Netzwerk], viele sprachbezogene Aufgaben sind dazu geworden, „eine fein abgestimmte [Sprache“ zu verwenden.“ Modell.'"

OpenAI – das einen Kommentar zu diesem Artikel ablehnte – ist nicht das einzige Unternehmen, das beeindruckende Arbeit im Bereich der Verarbeitung natürlicher Sprache leistet. Wie bereits erwähnt, ist Microsoft mit einigen großartigen eigenen Arbeiten an die Spitze getreten. Facebook, investiert inzwischen stark in die Technologie und hat Durchbrüche wie hervorgebracht BlenderBot, der größte Open-Source-Open-Domain-Chatbot aller Zeiten. Es übertrifft andere in puncto Engagement und fühlt sich menschlichen Bewertern zufolge auch menschlicher an. Jeder, der in den letzten Jahren einen Computer benutzt hat, weiß, dass Maschinen uns immer besser verstehen als je zuvor – und die Verarbeitung natürlicher Sprache ist der Grund dafür.

Die Größe ist wichtig

Aber GPT-3 von OpenAI steht in seiner rekordverdächtigen Größe immer noch allein da. „GPT-3 sorgt vor allem wegen seiner Größe für Aufsehen“, sagt Joe Davison, Forschungsingenieur bei Umarmendes Gesicht, ein Startup, das an der Weiterentwicklung der Verarbeitung natürlicher Sprache arbeitet, indem es Open-Source-Tools entwickelt und Grundlagenforschung durchführt, sagte Digital Trends.

Die große Frage ist, wofür das alles verwendet wird. GPT-2 fand seinen Weg in eine Vielzahl von Anwendungen und wurde für verschiedene Textgenerierungssysteme eingesetzt.

Davison äußerte eine gewisse Vorsicht, dass GPT-3 durch seine Größe eingeschränkt sein könnte. „Das Team von OpenAI hat zweifellos die Grenzen der Größe dieser Modelle erweitert und gezeigt, dass ihre Erweiterung unsere Abhängigkeit von aufgabenspezifischen Daten auf der ganzen Linie verringert“, sagte er. „Die Rechenressourcen, die für die tatsächliche Verwendung von GPT-3 in der realen Welt erforderlich sind, machen es jedoch äußerst unpraktisch. Obwohl die Arbeit sicherlich interessant und aufschlussreich ist, würde ich sie nicht als großen Fortschritt für das Fachgebiet bezeichnen.“

Andere sind jedoch anderer Meinung. „Die [internal-link post_id="NN"]Community der künstlichen Intelligenz[/internal-link] beobachtet seit langem, dass immer größere Modelle mit immer mehr Daten kombiniert werden führt zu fast vorhersehbaren Verbesserungen der Leistung dieser Modelle, ganz ähnlich dem Mooreschen Gesetz zur Skalierung der Rechenleistung“, sagte Yannic Kilcher, ein KI-Experte. Forscher WHO betreibt einen YouTube-Kanal, sagte Digital Trends. „Aber ähnlich wie beim Mooreschen Gesetz haben viele spekuliert, dass wir am Ende der Fähigkeit sind, Sprachmodelle durch einfache Skalierung zu verbessern Um eine höhere Leistung zu erzielen, müssten wir erhebliche Erfindungen in Bezug auf neue Architekturen oder Schulungen machen Methoden. GPT-3 zeigt, dass das nicht stimmt, und die Fähigkeit, die Leistung einfach durch Skalierung zu steigern, scheint ungebrochen – und ein Ende ist nicht wirklich in Sicht.“

Den Turing-Test bestehen?

Branwen vermutet, dass Tools wie GPT-3 eine große Störfaktor sein könnten. „Eine Möglichkeit, sich das vorzustellen, ist: Welche Aufgaben bestehen darin, einen Text zu nehmen, ihn umzuwandeln und einen anderen Text auszugeben?“ Sagte Branwen. „Jeder Job, der damit beschrieben wird – etwa medizinische Kodierung, Rechnungsstellung, Empfangsmitarbeiter, Kundensupport usw. – wäre ein gutes Ziel für die Feinabstimmung von GPT-3 und den Ersatz dieser Person.“ Bei vielen Aufgaben handelt es sich mehr oder weniger um das „Kopieren von Feldern aus einer Tabellenkalkulation oder PDF in eine andere Tabellenkalkulation oder PDF“ und diese Art der Büroautomatisierung, die zu chaotisch ist Wenn Sie einfach ein normales Programm schreiben, um es zu ersetzen, wäre es anfällig für GPT-3, da es alle Ausnahmen und verschiedenen Konventionen lernen und genauso gut funktionieren kann wie der Mensch würde."

Letztendlich mag die Verarbeitung natürlicher Sprache nur ein Teil der KI sein, aber sie bringt den Traum der künstlichen Intelligenz wohl auf eine Weise auf den Punkt, wie es nur wenige andere Disziplinen auf diesem Gebiet tun. Der berühmten Turing-Test, eine der bahnbrechenden Debatten, die dieses Fachgebiet in Gang gesetzt hat, ist ein Problem bei der Verarbeitung natürlicher Sprache: Kann man eine KI bauen? der sich überzeugend als Person ausgeben kann? Die neueste Arbeit von OpenAI bringt dieses Ziel zweifellos voran. Nun bleibt abzuwarten, welche Anwendungsmöglichkeiten Forscher dafür finden werden.

„Ich denke, es ist die Tatsache, dass GPT-2-Text so leicht als menschlich durchgehen könnte, dass es schwierig wird, ihn als ‚nur Mustererkennung‘ oder ‚nur Auswendiglernen‘ abzutun“, sagte Branwen. „Jeder, der sicher war, dass die Dinge, die Deep Learning bewirkt, nichts mit Intelligenz zu tun haben, muss seinen Glauben erschüttert haben, um zu sehen, wie weit es gekommen ist.“

Empfehlungen der Redaktion

• Top-Autoren verlangen von KI-Firmen eine Bezahlung für die Nutzung ihrer Arbeit
• Der ChatGPT-Hersteller OpenAI steht vor einer FTC-Untersuchung wegen Verbraucherschutzgesetzen
• OpenAI baut neues Team auf, um zu verhindern, dass superintelligente KI abtrünnig wird
• ChatGPT-Ersteller versucht, Chatbot-„Halluzinationen“ zu beseitigen
• Die neue ChatGPT-App von OpenAI ist kostenlos für iPhone und iPad