Comment GPT-3 inaugure tranquillement l’IA Révolution

À quoi ça sert? Absolument tout

Récemment, Francis Jervis, fondateur d'une startup appelée Augmenté, a utilisé GPT-3 pour aider les personnes en difficulté avec leur loyer à rédiger des lettres pour négocier des réductions de loyer. "Je décrirais le cas d'utilisation ici comme un" transfert de style "", a déclaré Jervis à Digital Trends. «[Il intègre] des puces, qui n'ont même pas besoin d'être dans un anglais parfait, et [produisent] deux à trois phrases dans un langage formel.»

Alimenté par ce modèle linguistique ultra-puissant, l’outil de Jervis permet aux locataires de décrire leur situation et la raison pour laquelle ils ont besoin d’un règlement à prix réduit. « Entrez simplement quelques mots expliquant pourquoi vous avez perdu des revenus et, en quelques secondes, vous obtiendrez une suggestion de paragraphe convaincant et formel à ajouter à votre lettre », affirme la société.

Ce n'est que la pointe de l'iceberg. Quand Aditya Joshi, scientifique en apprentissage automatique et ancien ingénieur d'Amazon Web Services, a découvert GPT-3 pour la première fois. Il a été tellement époustouflé par ce qu'il a vu qu'il a créé un site Web, www.gpt3examples.com, pour garder une trace des meilleurs.

"Peu de temps après qu'OpenAI a annoncé son API, les développeurs ont commencé à tweeter des démos impressionnantes d'applications créées à l'aide de GPT-3", a-t-il déclaré à Digital Trends. «Ils étaient étonnamment bons. J'ai créé [mon site Web] pour permettre à la communauté de trouver facilement ces exemples et de découvrir des façons créatives d'utiliser GPT-3 pour résoudre des problèmes dans son propre domaine.

Personnages synthétiques entièrement interactifs avec GPT-3 et https://t.co/ZPdnEqR0Hn 🎇

Ils savent qui ils sont, où ils ont travaillé, qui est leur patron et bien plus encore. Ce n'est pas le robot de ton père… pic.twitter.com/kt4AtgYHZL

– Tyler Lastovitch (@tylerlastovich) 18 août 2020

Joshi cite plusieurs démos qui l'ont vraiment marqué. Un, un générateur de mise en page, restitue une mise en page fonctionnelle en générant du code JavaScript à partir d'une simple description textuelle. Vous voulez un bouton qui dit « s’abonner » en forme de pastèque? Envie d'un texte de bannière avec une série de boutons aux couleurs de l'arc-en-ciel? Expliquez-les simplement dans un texte de base et le générateur de mise en page de Sharif Shameem écrira le code pour vous. Un autre, un Moteur de recherche basé sur GPT-3 créé par Paras Chopra, peut transformer n'importe quelle requête écrite en une réponse et un lien URL pour fournir plus d'informations. Un autre, l’inverse de celui de Francis Jervis de Michael Tefula, traduit des documents juridiques en anglais simple. Encore un autre, de Raphaël Millière, écrit des essais philosophiques. Et un autre, de Gwern Branwen, peut générer de la fiction créative.

"Je ne m'attendais pas à ce qu'un modèle de langage unique fonctionne aussi bien sur un éventail de tâches aussi diversifié, de la traduction et de la génération de langages à la synthèse de texte et à l'extraction d'entités", a déclaré Joshi. "Dans une de mes propres expériences, j’ai utilisé GPT-3 pour prédire les réactions de combustion chimique, et il l’a fait étonnamment bien.

Plus d'où ça vient

Les utilisations transformatrices de GPT-3 ne s’arrêtent pas là non plus. Informaticien Tyler Lastovitch a utilisé GPT-3 pour créer de fausses personnes, y compris la trame de fond, avec qui on peut ensuite interagir via le texte. Pendant ce temps, Andrew Mayne a montré que GPT-3 peut être utilisé pour transformer les titres de films en emojis. Nick Walton, directeur de la technologie de Latitude, le studio derrière le jeu d'aventure textuel généré par GPT Donjon IA récemment fait la même chose pour voir si ça pouvait tourner des chaînes plus longues de description textuelle en emoji. Et Copy.ai, une startup qui crée des outils de rédaction avec GPT-3, exploite le modèle à fond, avec un mensuel revenus récurrents de 67 000 $ en mars – et un récent cycle de financement de 2,9 millions de dollars.

"Certainement, il y a eu une surprise et beaucoup d'admiration en termes de créativité pour laquelle les gens ont utilisé GPT-3", Sandhini Agarwal, une I.A. chercheur en politiques pour OpenAI a déclaré à Digital Trends. « De nombreux cas d'utilisation sont tellement créatifs, et dans des domaines que même moi n'avais pas prévus, il aurait beaucoup de connaissances. C’est intéressant à voir. Mais cela étant dit, GPT-3 – et toute cette direction de recherche poursuivie par OpenAI – espérait vraiment que cela nous donnerait une intelligence artificielle. modèle plus polyvalent. Tout l’intérêt d’une IA à usage général. Le modèle est [que ce serait] un modèle qui pourrait faire tous ces différents systèmes d'IA. Tâches."

De nombreux projets mettent en évidence l’une des grandes valeurs ajoutées du GPT-3: le manque de formation qu’il nécessite. L’apprentissage automatique a été transformateur de toutes sortes de manières au cours des deux dernières décennies. Mais l’apprentissage automatique nécessite un grand nombre d’exemples de formation pour pouvoir produire des réponses correctes. GPT-3, en revanche, a une « capacité de quelques tirs » qui lui permet d'apprendre à faire quelque chose avec seulement une petite poignée d'exemples.

Connerie plausible

GPT-3 est très impressionnant. Mais cela pose aussi des défis. Certains d’entre eux sont liés au coût: pour les services à volume élevé comme les chatbots, qui pourraient bénéficier de la magie de GPT-3, l’outil pourrait être trop coûteux à utiliser. (Un seul message pourrait coûter 6 cents, ce qui, même s'il ne s'agit pas exactement d'une rupture bancaire, s'additionne certainement.)

D’autres concernent sa large disponibilité, ce qui signifie qu’il sera probablement difficile de créer une startup exclusivement autour, car une concurrence féroce réduira probablement les marges.

Un autre problème est le manque de mémoire; sa fenêtre contextuelle contient un peu moins de 2 000 mots à la fois, comme le personnage de Guy Pierce dans le film Mémento, sa mémoire est réinitialisée. "Cela limite considérablement la longueur du texte qu'il peut générer, à peu près à un court paragraphe par requête", a déclaré Lastovich. "En pratique, cela signifie qu'il est incapable de générer de longs documents tout en se souvenant de ce qui s'est passé au début."

Mais le défi le plus notable concerne peut-être aussi sa plus grande force: ses capacités de confabulation. La confabulation est un terme fréquemment utilisé par les médecins pour décrire la manière dont certaines personnes ayant des problèmes de mémoire parviennent à fabriquer des informations qui semblent initialement convaincantes, mais qui ne résistent pas nécessairement à un examen plus approfondi inspection. La capacité de GPT-3 à fabuler est, selon le contexte, une force et une faiblesse. Pour les projets créatifs, cela peut être génial, lui permettant de riffer sur des thèmes sans se soucier de quelque chose d'aussi banal que la vérité. Pour d’autres projets, cela peut être plus délicat.

Francis Jervis d'Augranted fait référence à la capacité de GPT-3 à « générer des conneries plausibles ». Nick Walton de Donjon IA a déclaré: « GPT-3 est très doué pour écrire un texte créatif qui semble avoir pu être écrit par un humain… L'un de ses Sa faiblesse, cependant, est qu'il peut souvent écrire comme s'il était très confiant - même s'il n'a aucune idée de la réponse à une question. la question est."

De retour dans la salle chinoise

À cet égard, GPT-3 nous ramène au terrain familier de la salle chinoise de John Searle. En 1980, Searle, philosophe, a publié l'un des systèmes d'IA les plus connus. expériences de pensée, axé sur le thème de la « compréhension ». The Chinese Room nous demande d'imaginer une personne enfermée dans une pièce avec une masse d'écrits dans une langue qu'elle ne comprend pas. Tout ce qu’ils reconnaissent, ce sont des symboles abstraits. La salle contient également un ensemble de règles qui montrent comment un ensemble de symboles correspond à un autre. Étant donné une série de questions auxquelles répondre, l’occupant de la pièce doit faire correspondre les symboles de questions avec les symboles de réponse. Après avoir répété cette tâche plusieurs fois, ils deviennent experts dans son exécution, même s'ils n'ont aucune idée de la signification de l'un ou l'autre ensemble de symboles, simplement que l'un correspond à l'autre.

GPT-3 est un monde loin des types d'IA linguistique. qui existait à l'époque où Searle écrivait. Cependant, la question de la compréhension reste toujours aussi épineuse.

« Il s’agit d’un domaine de questionnement très controversé, comme vous le savez sûrement, car il y a tellement de questions différentes. opinions sur la question de savoir si, en général, les modèles de langage… auraient un jour une [vraie] compréhension », a déclaré Sandhini d'OpenAI. Agarwal. « Si vous me posez des questions sur GPT-3 en ce moment, il fonctionne très bien parfois, mais pas très bien à d'autres moments. Il y a ce caractère aléatoire dans la façon dont le résultat peut vous sembler significatif. Parfois, vous pourriez être impressionné par le résultat, et parfois, le résultat sera tout simplement absurde. Compte tenu de cela, à mon avis pour le moment… GPT-3 ne semble pas comprendre.

Une particularité supplémentaire de l'expérience Chinese Room aujourd'hui est que GPT-3 n'est pas programmé à chaque étape par une petite équipe de chercheurs. Il s’agit d’un modèle massif qui a été formé sur un énorme ensemble de données composé, eh bien, d’Internet. Cela signifie qu’il peut détecter des inférences et des préjugés qui pourraient être codés dans le texte trouvé en ligne. Vous avez entendu l’expression selon laquelle vous êtes la moyenne des cinq personnes qui vous entourent? Eh bien, GPT-3 a été formé sur des quantités presque insondables de données textuelles provenant de plusieurs sources, notamment des livres, Wikipédia et d'autres articles. À partir de là, il apprend à prédire le mot suivant dans n'importe quelle séquence en parcourant ses données d'entraînement pour voir les combinaisons de mots utilisées auparavant. Cela peut avoir des conséquences inattendues.

Nourrir les perroquets stochastiques

Ce défi posé par les grands modèles de langage a été mis en évidence pour la première fois dans un papier révolutionnaire au sujet des perroquets dits stochastiques. Un perroquet stochastique – un terme inventé par les auteurs, qui comprenaient dans leurs rangs l’ancien co-responsable du programme éthique d’IA de Google. équipe, Timnit Gebru — fait référence à un grand modèle de langage qui « [assemble] au hasard des séquences de formes linguistiques qu'il a observées dans ses vastes données de formation, selon des informations probabilistes sur la façon dont elles se combinent, mais sans aucune référence. au sens. »

« Ayant été formé sur une grande partie d’Internet, il est important de reconnaître qu’il comporte certains de ses préjugés. » Albert Gozzi, un autre utilisateur de GPT-3, a déclaré à Digital Trends. "Je sais que l'équipe OpenAI travaille dur pour atténuer ce problème de différentes manières, mais je m'attends à ce que cela soit un problème pendant un certain temps encore."

Les contre-mesures d'OpenAI pour se défendre contre les préjugés incluent un filtre de toxicité, qui filtre certains langages ou sujets. OpenAI travaille également sur les moyens d'intégrer le feedback humain afin de pouvoir préciser dans quels domaines ne pas s'aventurer. De plus, l’équipe contrôle l’accès à l’outil afin que certaines utilisations négatives de l’outil ne soient pas autorisées.

"L'une des raisons pour lesquelles vous n'avez peut-être pas vu un trop grand nombre de ces utilisateurs malveillants est que nous avons un processus d'examen intensif en interne", a déclaré Agarwal. « Notre façon de travailler est la suivante: chaque fois que vous souhaitez utiliser GPT-3 dans un produit qui serait réellement déployé, vous devez passer par un processus au cours duquel une équipe - comme une équipe d'humains - examine réellement la façon dont vous souhaitez utiliser il. … Ensuite, en vous assurant qu’il ne s’agit pas de quelque chose de malveillant, l’accès vous sera accordé.

Cependant, cela reste en partie un défi, notamment parce que les préjugés ne sont pas toujours un cas évident d’utilisation de certains mots. Jervis note que, parfois, ses messages de loyer GPT-3 peuvent « tendre vers des stéréotypes de genre [ou] de classe ». hypothèses." Laissé sans surveillance, il pourrait assumer l'identité de genre du sujet sur une lettre de loyer, en fonction de sa famille. rôle ou emploi. Ce n’est peut-être pas l’exemple le plus grave de l’IA. biais, mais il met en évidence ce qui se passe lorsque de grandes quantités de données sont ingérées puis réassemblées de manière probabiliste dans un modèle de langage.

"Les biais et le potentiel de rendements explicites existent absolument et nécessitent des efforts de la part des développeurs pour les éviter", a déclaré Tyler Lastovich. « OpenAI signale des résultats potentiellement toxiques, mais en fin de compte, cela ajoute une responsabilité à laquelle les clients doivent réfléchir attentivement avant de mettre le modèle en production. Un cas limite particulièrement difficile à développer est la propension du modèle à mentir, car il n’a aucune notion d’information vraie ou fausse.

Modèles de langage et avenir de l’IA

Neuf mois après ses débuts, GPT-3 est certainement à la hauteur de sa réputation de révolutionnaire. Ce qui était autrefois purement potentiel s’est révélé être un potentiel réalisé. Le nombre de cas d’utilisation intrigants de GPT-3 met en évidence la façon dont une IA génératrice de texte peut être utilisée. est beaucoup plus polyvalent que cette description pourrait le suggérer.

Non pas que ce soit le petit nouveau du quartier ces jours-ci. Plus tôt cette année, GPT-3 a été dépassé en tant que modèle linguistique le plus important. Google Brain a lancé un nouveau modèle de langage avec quelque 1,6 billion de paramètres, ce qui en fait neuf fois la taille de l’offre d’OpenAI. Il est peu probable que cela soit la fin du chemin pour les modèles linguistiques. Il s’agit d’outils extrêmement puissants, susceptibles de transformer la société, potentiellement pour le meilleur et pour le pire.

Des défis existent certainement avec ces technologies, et ce sont des défis que des entreprises comme OpenAI, des chercheurs indépendants et d’autres doivent continuer à relever. Mais dans l’ensemble, il est difficile de prétendre que les modèles linguistiques ne sont pas en train de devenir l’une des frontières les plus intéressantes et les plus importantes de la recherche sur l’intelligence artificielle.

Qui aurait pensé que les générateurs de texte pourraient être si importants? Bienvenue dans le futur de l’intelligence artificielle.

Recommandations des rédacteurs

• Une IA analogique? Ça paraît fou, mais ça pourrait être l'avenir
• Lisez les « écritures synthétiques » étrangement belles d’un IA. qui pense que c'est Dieu
• Architecture algorithmique: Faut-il laisser l’IA concevoir des bâtiments pour nous?
• Women with Byte: le plan de Vivienne Ming pour résoudre les « problèmes humains compliqués » grâce à l’IA
• Pourquoi apprendre aux robots à jouer à cache-cache pourrait être la clé de l’IA de nouvelle génération