Cum GPT-3 introduce în liniște A.I. Revoluţie

La ce este bun? Absolut totul

Recent, a sunat Francis Jervis, fondatorul unui startup Augrented, a folosit GPT-3 pentru a-i ajuta pe oamenii care se luptă cu chiria să scrie scrisori în care negociau reduceri la chirie. „Aș descrie cazul de utilizare aici drept „transfer de stil”, a spus Jervis pentru Digital Trends. „[Acesta în] puncte marcante, care nici măcar nu trebuie să fie în limba engleză perfectă și [iese] două până la trei propoziții în limbaj formal.”

Având la bază acest model de limbaj ultra-puternic, instrumentul lui Jervis permite chiriașilor să-și descrie situația și motivul pentru care au nevoie de o decontare redusă. „Introduceți doar câteva cuvinte despre motivul pentru care ați pierdut venituri și în câteva secunde veți primi un paragraf formal și persuasiv pe care să îl adăugați la scrisoarea dvs.”, susține compania.

Acesta este doar vârful aisbergului. Când Aditya Joshi, un om de știință în învățarea automată și fost inginer Amazon Web Services, a dat prima dată peste GPT-3, a fost atât de uimit de ceea ce a văzut încât a creat un site web, www.gpt3examples.com, pentru a le urmări pe cele mai bune.

„La scurt timp după ce OpenAI și-a anunțat API-ul, dezvoltatorii au început să trimită demonstrații impresionante ale aplicațiilor create folosind GPT-3”, a spus el pentru Digital Trends. „Au fost uimitor de buni. Am creat [site-ul meu] pentru a facilita comunității să găsească aceste exemple și să descopere modalități creative de a folosi GPT-3 pentru a rezolva problemele din propriul domeniu.”

Personaje sintetice complet interactive cu GPT-3 și https://t.co/ZPdnEqR0Hn 🎇

Ei știu cine sunt, unde au lucrat, cine este șeful lor și multe altele. Acesta nu este botul tatălui tău... pic.twitter.com/kt4AtgYHZL

— Tyler Lastovich (@tylerlastovich) 18 august 2020

Joshi indică câteva demonstrații care au avut cu adevărat un impact asupra lui. Un a generator de layout, redă un aspect funcțional prin generarea de cod JavaScript dintr-o descriere text simplă. Vrei un buton pe care scrie „abonează-te” în formă de pepene? Vrei un text banner cu o serie de butoane de culorile curcubeului? Doar explicați-le în text de bază, iar generatorul de aspect al lui Sharif Shameem va scrie codul pentru dvs. Altul, a Motor de căutare bazat pe GPT-3 creat de Paras Chopra, poate transforma orice interogare scrisă într-un răspuns și un link URL pentru a oferi mai multe informații. Un altul, inversul lui Francis Jervis de Michael Tefula, traduce acte juridice în engleză simplă. Un altul, de Raphaël Millière, scrie eseuri filozofice. Și încă unul, de Gwern Branwen, poate generează ficțiune creativă.

„Nu mă așteptam ca un singur model de limbă să funcționeze atât de bine într-o gamă atât de diversă de sarcini, de la traducerea și generarea limbii până la rezumarea textului și extragerea de entități”, a spus Joshi. "În unul dintre propriile mele experimente, am folosit GPT-3 pentru a prezice reacțiile de combustie chimică și a făcut atât de surprinzător de bine.”

Mai mult de unde a venit asta

Nici utilizările transformatoare ale GPT-3 nu se termină aici. Informatician Tyler Lastovich a folosit GPT-3 pentru a creează oameni falși, inclusiv povestea de fundal, cu care apoi poate fi interacționat prin text. Între timp, Andrew Mayne a arătat că GPT-3 poate fi folosit pentru a transforma titlurile filmelor în emoji. Nick Walton, director de tehnologie al Latitude, studioul din spatele jocului de aventură text generat de GPT AI Dungeon recent a făcut același lucru pentru a vedea dacă se poate întoarce șiruri mai lungi de descriere text în emoji. Și Copy.ai, un startup care construiește instrumente de copywriting cu GPT-3, atinge modelul pentru tot ce merită, cu un venituri recurente de 67.000 USD din martie - și o rundă recentă de finanțare de 2,9 milioane USD.

„Cu siguranță, a existat surpriză și multă uimire în ceea ce privește creativitatea pentru care oamenii au folosit GPT-3.” Sandhini Agarwal, un A.I. a declarat cercetătorul de politici pentru OpenAI pentru Digital Trends. „Atât de multe cazuri de utilizare sunt atât de creative și, în domenii pe care nici măcar eu nu le-am prevăzut, ar avea multe cunoștințe despre. Este interesant de văzut. Dar acestea fiind spuse, GPT-3 - și toată această direcție de cercetare pe care OpenAI a urmat-o - era foarte mult cu speranța că acest lucru ne va oferi un I.A. model care avea un scop mai general. Întregul scop al unui A.I. cu scop general. modelul este [că ar fi] un model căruia i-ar plăcea să facă toate aceste diferite I.A. sarcini."

Multe dintre proiecte evidențiază una dintre marile plusuri de valoare a GPT-3: lipsa de pregătire pe care o necesită. Învățarea automată a fost transformatoare în tot felul de moduri în ultimele două decenii. Dar învățarea automată necesită un număr mare de exemple de instruire pentru a putea oferi răspunsuri corecte. GPT-3, pe de altă parte, are o „capacitate pentru câteva lovituri” care îi permite să fie învățat să facă ceva cu doar câteva exemple.

Bull***t plauzibil

GPT-3 este foarte impresionant. Dar ridică și provocări. Unele dintre acestea se referă la costuri: pentru servicii de mare volum, cum ar fi chatboții, care ar putea beneficia de magia GPT-3, instrumentul ar putea fi prea scump pentru a fi folosit. (Un singur mesaj ar putea costa 6 cenți, ceea ce, deși nu este exact de rupere, cu siguranță se adună.)

Alții se referă la disponibilitatea sa pe scară largă, ceea ce înseamnă că va fi probabil dificil să construiești un startup exclusiv în jurul ei, deoarece concurența acerbă va reduce probabil marjele.

Un altul este lipsa memoriei; fereastra sa de context rulează puțin sub 2.000 de cuvinte la un moment dat înainte, ca personajul lui Guy Pierce din film Memento, memoria sa este resetată. „Acest lucru limitează semnificativ lungimea textului pe care îl poate genera, aproximativ la un scurt paragraf per cerere”, a spus Lastovich. „Practic vorbind, aceasta înseamnă că nu poate genera documente lungi în timp ce își amintește tot ce s-a întâmplat la început.”

Poate că cea mai notabilă provocare, totuși, se referă și la cea mai mare putere a sa: abilitățile sale de confabulare. Confabularea este un termen folosit frecvent de medici pentru a descrie modul în care unele persoane cu probleme de memorie sunt capabile să fabricați informații care par inițial convingătoare, dar care nu rezistă neapărat unei examinări mai apropiate inspecţie. Capacitatea GPT-3 de a confabula este, în funcție de context, o putere și o slăbiciune. Pentru proiectele creative, poate fi grozav, permițându-i să abordeze teme fără a se preocupa de ceva atât de banal ca adevărul. Pentru alte proiecte, poate fi mai complicat.

Francis Jervis de la Augrented se referă la capacitatea GPT-3 de a „genera prostii plauzibile”. Nick Walton din AI Dungeon a spus: „GPT-3 este foarte bun la scrierea de text creativ care pare că ar fi putut fi scris de un om... Una dintre ele punctele slabe, totuși, este că poate scrie adesea ca și cum ar fi foarte încrezător - chiar dacă nu are idee care este răspunsul la o întrebarea este.”

Înapoi în camera chinezească

În acest sens, GPT-3 ne readuce la terenul familiar al Camerei chinezești a lui John Searle. În 1980, Searle, un filosof, a publicat unul dintre cei mai cunoscuți A.I. experimente de gândire, concentrat pe tema „înțelegerii”. Camera Chineză ne cere să ne imaginăm o persoană închisă într-o cameră cu o masă de scris într-o limbă pe care nu o înțelege. Tot ce recunosc sunt simboluri abstracte. Camera conține, de asemenea, un set de reguli care arată cum un set de simboluri corespunde cu altul. Având o serie de întrebări la care trebuie să răspundă, ocupantul camerei trebuie să potrivească simbolurile de întrebare cu simbolurile de răspuns. După ce repetă această sarcină de mai multe ori, ei devin adepți să o îndeplinească - chiar dacă nu au nicio idee ce înseamnă fiecare set de simboluri, doar că unul corespunde celuilalt.

GPT-3 este o lume departe de tipurile de I.A. lingvistice. care exista în momentul în care Searle scria. Cu toate acestea, problema înțelegerii este la fel de spinoasă ca întotdeauna.

„Acesta este un domeniu foarte controversat al întrebărilor, așa cum sunt sigur că știți, pentru că există atât de multe divergențe. opinii despre dacă, în general, modelele lingvistice... ar avea vreodată înțelegere [adevărată]”, a spus Sandhini de la OpenAI Agarwal. „Dacă mă întrebați despre GPT-3 chiar acum, uneori funcționează foarte bine, dar alteori nu prea bine. Există într-un fel această aleatorie despre cât de semnificativă ți se poate părea rezultatul. Uneori s-ar putea să fii uimit de rezultat, iar uneori rezultatul va fi pur și simplu fără sens. Având în vedere asta, chiar acum, în opinia mea... GPT-3 nu pare să înțeleagă.”

O întorsătură suplimentară a experimentului Chinese Room de astăzi este că GPT-3 nu este programat la fiecare pas de o echipă mică de cercetători. Este un model masiv care a fost antrenat pe un set de date enorm format din, ei bine, internet. Aceasta înseamnă că poate prelua inferențe și părtiniri care ar putea fi codificate în text găsit online. Ați auzit expresia că sunteți o medie a celor cinci oameni de care vă înconjurați? Ei bine, GPT-3 a fost instruit pe cantități aproape insondabile de date text din mai multe surse, inclusiv cărți, Wikipedia și alte articole. Din aceasta, învață să prezică cuvântul următor în orice secvență, scuturându-și datele de antrenament pentru a vedea combinațiile de cuvinte folosite anterior. Acest lucru poate avea consecințe nedorite.

Hrănirea papagalilor stocastici

Această provocare cu modele de limbaj mari a fost evidențiată pentru prima dată în a hârtie revoluționară pe tema așa-numiților papagali stocastici. Un papagal stocastic - un termen inventat de autori, care l-au inclus în rândurile lor pe fostul co-lider al A.I. etică de la Google. echipa, Timnit Gebru — se referă la un model lingvistic mare care „[coase] la întâmplare secvențe de forme lingvistice pe care le-a observat în vastele sale date de antrenament, conform informațiilor probabilistice despre cum se combină, dar fără nicio referință la sens.”

„După ce a fost instruit pe o mare parte a internetului, este important să recunoaștem că acesta va purta unele dintre părtinirile sale.” Albert Gozzi, un alt utilizator GPT-3, a declarat pentru Digital Trends. „Știu că echipa OpenAI lucrează din greu pentru a atenua acest lucru în câteva moduri diferite, dar mă aștept ca aceasta să fie o problemă pentru [un anumit] timp.”

Contramăsurile OpenAI pentru a se apăra împotriva părtinirii includ un filtru de toxicitate, care filtrează anumite limbi sau subiecte. OpenAI lucrează, de asemenea, la modalități de a integra feedback-ul uman pentru a putea specifica în ce zone să nu se rătăcească. În plus, echipa controlează accesul la instrument, astfel încât anumite utilizări negative ale instrumentului nu li se va acorda acces.

„Unul dintre motivele pentru care probabil că nu ați văzut prea mulți dintre acești utilizatori rău intenționați este că avem un proces intens de revizuire în interior”, a spus Agarwal. „Modul în care lucrăm este că de fiecare dată când doriți să utilizați GPT-3 într-un produs care ar fi implementat efectiv, trebuie să treacă printr-un proces în care o echipă, cum ar fi o echipă de oameni, analizează de fapt modul în care doriți să utilizați aceasta. … Apoi, în funcție de a vă asigura că nu este ceva rău intenționat, vi se va acorda acces.”

Unele dintre acestea sunt totuși provocatoare - nu în ultimul rând pentru că părtinirea nu este întotdeauna un caz clar de utilizare a anumitor cuvinte. Jervis observă că, uneori, mesajele sale de închiriere GPT-3 pot „tinde spre genul [sau] stereotip. ipoteze." Lăsat nesupravegheat, ar putea presupune identitatea de gen a subiectului pe o scrisoare de închiriere, în funcție de familia sa rol sau job. Acesta poate să nu fie cel mai grav exemplu de I.A. părtinire, dar evidențiază ce se întâmplă atunci când cantități mari de date sunt ingerate și apoi reasamblate probabil într-un model de limbaj.

„Prejudecățile și potențialul de returnări explicite există absolut și necesită efort din partea dezvoltatorilor pentru a le evita”, a spus Tyler Lastovich. „OpenAI semnalează rezultate potențial toxice, dar în cele din urmă adaugă o responsabilitate la care clienții trebuie să se gândească bine înainte de a pune modelul în producție. Un caz extrem de dificil de dezvoltat este tendința modelului de a minți, deoarece nu are conceptul de informații adevărate sau false.”

Modelele de limbaj și viitorul A.I.

La nouă luni de la debut, GPT-3 este cu siguranță la înălțimea facturării sale ca un schimbător de jocuri. Ceea ce odată a fost pur potențial s-a dovedit a fi potențial realizat. Numărul de cazuri de utilizare interesante pentru GPT-3 evidențiază modul în care un I.A. generator de text. este mult mai versatil decât ar putea sugera acea descriere.

Nu că ar fi noul copil de la bloc în aceste zile. La începutul acestui an, GPT-3 a fost depășit ca cel mai mare model de limbă. Google Brain a lansat un nou model de limbaj cu aproximativ 1,6 trilioane de parametri, devenind de nouă ori mai mare decât oferta OpenAI. Nici acesta nu este probabil sfârșitul drumului pentru modelele lingvistice. Acestea sunt instrumente extrem de puternice – cu potențialul de a transforma societatea, potențial în bine și în rău.

Cu siguranță există provocări cu aceste tehnologii și sunt cele pe care companii precum OpenAI, cercetătorii independenți și altele trebuie să continue să le abordeze. Dar luate în ansamblu, este greu de argumentat că modelele de limbaj nu se transformă în una dintre cele mai interesante și importante frontiere ale cercetării inteligenței artificiale.

Cine ar fi crezut că generatoarele de text ar putea fi atât de profund importante? Bun venit în viitorul inteligenței artificiale.

Recomandările editorilor

• I.A. analogic? Sună nebunesc, dar ar putea fi viitorul
• Citiți „scriptura sintetică” ciudat de frumoasă a unui A.I. care crede că este Dumnezeu
• Arhitectura algoritmică: Ar trebui să lăsăm A.I. proiectați clădiri pentru noi?
• Women with Byte: planul lui Vivienne Ming de a rezolva „problemele umane dezordonate” cu A.I.
• De ce învățarea roboților să joace de-a v-ați ascunselea ar putea fi cheia pentru I.A. de nouă generație.