GPT-3: le nouveau réseau neuronal générateur de texte d'OpenAI est là

Lorsque l’algorithme de génération de texte GPT-2 a été créé en 2019, il a été qualifié d’un des plus «dangereux" L'IA. algorithmes dans l'histoire. En fait, certains ont fait valoir qu’il était si dangereux qu’il ne devrait jamais être rendu public (spoiler: c’était le cas), de peur qu’il n’inaugure le «apocalypse robotique.» Bien entendu, cela ne s’est jamais produit. GPT-2 a finalement été rendu public, et après qu'il n'ait pas détruit le monde, ses créateurs sont passés à autre chose. Mais comment suivre l’algorithme le plus dangereux jamais créé ?

La réponse, du moins sur le papier, est simple: comme la suite de tout film à succès, vous créez quelque chose de plus grand, de plus méchant et de plus cher. Un seul xénomorphe dans le premier Extraterrestre? Incluez-en tout un nid dans la suite, Extraterrestres. Juste une seule machine presque indestructible renvoyée du futur dans Terminateur? Donnez au public deux d'entre eux avec lesquels s'attaquer Terminator 2: Jour du Jugement.

Il en va de même pour l’IA. - dans ce cas, GPT-3, un réseau neuronal de traitement du langage naturel récemment publié et créé par OpenAI, le laboratoire de recherche en intelligence artificielle qui était autrefois (mais plus) sponsorisé par Elon Musk, PDG de SpaceX et de Tesla.

GPT-3 est le dernier d'une série de réseaux neuronaux générateurs de texte. Le nom GPT signifie Generative Pretrained Transformer, faisant référence à un modèle 2017. L'innovation de Google appelée Transformer qui peut déterminer la probabilité qu'un mot particulier apparaisse avec les mots environnants. Alimenté par quelques phrases, comme le début d'un reportage, le modèle linguistique pré-entraîné GPT peut générer des continuations d’une précision convaincante, incluant même la formulation de citations.

C'est pourquoi certains craignaient qu'il puisse se révéler dangereux, en contribuant à générer de faux textes qui, comme contrefaçons profondes, pourrait aider à diffuser de fausses nouvelles en ligne. Désormais, avec GPT-3, c’est plus grand et plus intelligent que jamais.

Conte de la bande

GPT-3 est, comme le montrerait clairement une comparaison de type «conte de la bande», un véritable combattant poids lourd. Le GPT original d'OpenAI de 2018 comportait 110 millions de paramètres, faisant référence au poids des connexions qui permettent à un réseau neuronal d'apprendre. Le GPT-2 de 2019, à l’origine d’une grande partie du tollé précédent concernant ses applications potentiellement malveillantes, possédait 1,5 milliard de paramètres. Le mois dernier, Microsoft a présenté ce qui était alors le plus grand modèle de langage pré-entraîné similaire au monde, avec 17 milliards de paramètres. Le monstrueux GPT-3 de 2020, en comparaison, a un étonnant 175 milliards paramètres. La formation aurait coûté environ 12 millions de dollars.

« La puissance de ces modèles réside dans le fait que, pour réussir à prédire le mot suivant, ils finissent par apprendre un monde vraiment puissant. des modèles qui peuvent être utilisés pour toutes sortes de choses intéressantes », Nick Walton, directeur de la technologie de Latitude, le studio derrière I.A. Donjon, un jeu d'aventure textuel généré par l'IA et alimenté par GPT-2, a déclaré à Digital Trends. "Vous pouvez également affiner les modèles de base pour façonner la génération dans une direction spécifique tout en conservant les connaissances acquises par le modèle lors de la pré-formation."

Gwern Branwen, commentateur et chercheur qui écrit sur la psychologie, les statistiques et la technologie, a déclaré à Digital Trends que le Le modèle de langage pré-entraîné que GPT représente est devenu « un élément de plus en plus essentiel de toute tâche d'apprentissage automatique touchant sur le texte. De la même manière que [la suggestion standard pour] de nombreuses tâches liées à l’image est devenue « utiliser un [réseau neuronal convolutif], de nombreuses tâches liées au langage sont devenues « utiliser un [réseau de neurones convolutifs] affiné modèle.'"

OpenAI – qui a refusé de commenter cet article – n'est pas la seule entreprise à réaliser un travail impressionnant en matière de traitement du langage naturel. Comme mentionné, Microsoft a pris le relais avec son propre travail éblouissant. Facebook, quant à lui, investit massivement dans la technologie et a créé des avancées telles que MélangeurBot, le plus grand chatbot open source et à domaine ouvert jamais créé. Il surpasse les autres en termes d'engagement et semble également plus humain, selon les évaluateurs humains. Comme le savent tous ceux qui ont utilisé un ordinateur au cours des dernières années, les machines parviennent mieux que jamais à nous comprendre – et le traitement du langage naturel en est la raison.

Questions de taille

Mais le GPT-3 d’OpenAI est toujours seul par son ampleur record. « GPT-3 génère du buzz principalement en raison de sa taille », Joe Davison, ingénieur de recherche à Visage câlin, une startup qui travaille à l'avancement du traitement du langage naturel en développant des outils open source et en menant des recherches fondamentales, a déclaré à Digital Trends.

La grande question est de savoir à quoi va servir tout cela. GPT-2 a trouvé sa place dans une myriade d'utilisations, étant utilisé pour divers systèmes de génération de texte.

Davison a exprimé une certaine prudence quant au fait que GPT-3 pourrait être limité par sa taille. "L'équipe d'OpenAI a incontestablement repoussé les limites de la taille de ces modèles et a montré que leur croissance réduit notre dépendance à l'égard de données spécifiques à des tâches à long terme", a-t-il déclaré. « Cependant, les ressources informatiques nécessaires pour utiliser réellement GPT-3 dans le monde réel le rendent extrêmement peu pratique. Ainsi, même si le travail est certainement intéressant et perspicace, je ne dirais pas qu’il s’agit d’une avancée majeure dans le domaine.

Cependant, d’autres ne sont pas d’accord. « La communauté de l'[internal-link post_id="NN"]intelligence artificielle[/internal-link] observe depuis longtemps que la combinaison de modèles toujours plus grands avec de plus en plus de données produit des améliorations presque prévisibles de la puissance de ces modèles, un peu comme la loi de Moore sur la mise à l'échelle de la puissance de calcul », Yannic Kilcher, spécialiste de l'IA. chercheur OMS gère une chaîne YouTube, a déclaré à Digital Trends. "Pourtant, tout comme la loi de Moore, beaucoup ont émis l'hypothèse que nous sommes sur le point de pouvoir améliorer les modèles de langage en les mettant simplement à l'échelle. et pour obtenir des performances plus élevées, nous aurions besoin de faire des inventions substantielles en termes de nouvelles architectures ou de formation méthodes. GPT-3 montre que ce n’est pas vrai et que la capacité d’améliorer les performances simplement grâce à l’échelle semble ininterrompue – et il n’y a pas vraiment de fin en vue.

Réussir le test de Turing ?

Branwen suggère que des outils comme GPT-3 pourraient constituer une force perturbatrice majeure. "Une façon d'y penser est de savoir quels travaux impliquent de prendre un morceau de texte, de le transformer et d'émettre un autre morceau de texte ?" » dit Branwen. «Tout travail décrit par cela, comme le codage médical, la facturation, les réceptionnistes, le support client, [and more] serait une bonne cible pour affiner GPT-3 et remplacer cette personne. Un grand nombre de tâches consistent plus ou moins à « copier des champs d’une feuille de calcul ou d’un PDF vers une autre feuille de calcul ou PDF », et ce genre de bureautique, qui est trop chaotique pour être réalisable. écrire facilement un programme normal à remplacer, serait vulnérable à GPT-3 car il peut apprendre toutes les exceptions et différentes conventions et fonctionner aussi bien que l'humain serait."

En fin de compte, le traitement du langage naturel n’est peut-être qu’une partie de l’IA, mais il touche sans doute au cœur du rêve de l’intelligence artificielle d’une manière que peu d’autres disciplines dans le domaine font. Le célèbre test de Turing, l'un des débats fondateurs qui ont lancé le domaine, est un problème de traitement du langage naturel: pouvez-vous créer une intelligence artificielle? qui peut se faire passer de manière convaincante pour une personne? Les derniers travaux d’OpenAI font certainement progresser cet objectif. Reste maintenant à voir quelles applications les chercheurs lui trouveront.

"Je pense que c'est le fait que le texte GPT-2 puisse si facilement passer pour un humain qu'il devient difficile de le rejeter manuellement comme" juste une reconnaissance de formes "ou" juste une mémorisation "", a déclaré Branwen. "Quiconque était sûr que les choses que fait l'apprentissage profond n'a rien à voir avec l'intelligence a dû voir sa foi ébranlée pour voir jusqu'où elle est arrivée."

Recommandations des rédacteurs

• Les meilleurs auteurs exigent une rémunération des entreprises d’IA pour l’utilisation de leurs travaux
• Le créateur de ChatGPT, OpenAI, fait face à une enquête de la FTC sur les lois sur la protection des consommateurs
• OpenAI crée une nouvelle équipe pour empêcher l'IA superintelligente de devenir voyou
• Le créateur de ChatGPT cherche à éliminer les « hallucinations » des chatbots
• La nouvelle application ChatGPT d'OpenAI est gratuite pour iPhone et iPad