GPT-3: Noua rețea neuronală de generare de text a OpenAI este aici

Când algoritmul de generare de text GPT-2 a fost creat în 2019, a fost etichetat drept unul dintre cele mai „periculos” A.I. algoritmi din istorie. De fapt, unii au susținut că era atât de periculos încât nu ar trebui să fie niciodată lansat publicului (spoiler: A fost) pentru ca nu cumva să introducă „apocalipsa robotului.” Asta, desigur, nu s-a întâmplat niciodată. GPT-2 a fost în cele din urmă lansat publicului, iar după ce nu a distrus lumea, creatorii săi au trecut la următorul lucru. Dar cum urmăriți cel mai periculos algoritm creat vreodată?

Răspunsul, cel puțin pe hârtie, este simplu: la fel ca continuarea oricărui film de succes, faci ceva care este mai mare, mai rău și mai scump. Doar un xenomorf în primul Străin? Includeți un întreg cuib din ele în continuare, Extraterestrii. Doar o singură mașină aproape indestructibilă trimisă înapoi din viitor în Terminator? Oferă publicului două dintre ele cu care să se lupte Terminator 2: Ziua Judecății.

Același lucru este valabil și pentru A.I. - în acest caz, GPT-3, o rețea neuronală de procesare a limbajului natural lansată recent, creată de OpenAI, laboratorul de cercetare a inteligenței artificiale care a fost cândva (dar nu mai) sponsorizat de SpaceX și CEO-ul Tesla, Elon Musk.

GPT-3 este cel mai recent dintr-o serie de rețele neuronale care generează text. Numele GPT înseamnă Generative Pretrained Transformer, făcând referire la un 2017 Inovația Google numită Transformer care poate da seama de probabilitatea ca un anumit cuvânt să apară împreună cu cuvintele din jur. Hrănit cu câteva propoziții, cum ar fi începutul unei știri, modelul lingvistic GPT pre-instruit poate genera continuări convingător de precise, inclusiv inclusiv formularea de fabricate citate.

Acesta este motivul pentru care unii s-au îngrijorat că s-ar putea dovedi a fi periculos, ajutând la generarea de text fals care, cum ar fi deepfakes, ar putea ajutați la răspândirea știrilor false online. Acum, cu GPT-3 este mai mare și mai inteligent ca niciodată.

Povestea casetei

GPT-3 este, după cum ar fi clar o comparație cu „povestea casetei” în stilul boxului, o adevărată învinețire grea a unui concurent. GPT-ul inițial din 2018 al OpenAI avea 110 milioane de parametri, referindu-se la greutățile conexiunilor care permit unei rețele neuronale să învețe. GPT-2 din 2019, care a provocat o mare parte din agitația anterioară cu privire la potențialele sale aplicații rău intenționate, poseda 1,5 miliarde de parametri. Luna trecuta, Microsoft a introdus ceea ce era atunci cel mai mare model de limbaj similar pre-antrenat din lume, cu 17 miliarde de parametri. Monstruosul GPT-3 din 2020, prin comparație, are un uimitor 175 miliarde parametrii. Se pare că a costat aproximativ 12 milioane de dolari pentru a antrena.

„Puterea acestor modele este că, pentru a prezice cu succes următorul cuvânt, ajung să învețe lumea cu adevărat puternică modele care pot fi folosite pentru tot felul de lucruri interesante”, Nick Walton, director de tehnologie al Latitude, studioul in spate A.I. Temniță, un joc de aventură text generat de IA, alimentat de GPT-2, a declarat pentru Digital Trends. „De asemenea, puteți ajusta modelele de bază pentru a modela generația într-o direcție specifică, menținând în același timp cunoștințele pe care modelul le-a învățat în pre-formare.”

Gwern Branwen, un comentator și cercetător care scrie despre psihologie, statistică și tehnologie, a declarat pentru Digital Trends că Modelul de limbaj pre-instruit pe care îl reprezintă GPT a devenit o „parte din ce în ce mai importantă a oricărei sarcini de învățare automată care atinge pe text. În același mod în care [sugestia standard pentru] multe sarcini legate de imagine au devenit „utilizați a [rețea neuronală convoluțională], multe sarcini legate de limbaj au devenit „utilizați un [limbaj” reglat fin model.'"

OpenAI – care a refuzat să comenteze pentru acest articol – nu este singura companie care face o muncă impresionantă cu procesarea limbajului natural. După cum s-a menționat, Microsoft a făcut un pas în față cu o lucrare proprie uimitoare. FacebookÎntre timp, investește masiv în tehnologie și a creat descoperiri precum BlenderBot, cel mai mare chatbot cu sursă deschisă, cu domeniu deschis. Îi depășește pe alții în ceea ce privește implicarea și, de asemenea, se simte mai uman, potrivit evaluatorilor umani. După cum știe oricine care a folosit un computer în ultimii ani, mașinile ne înțeleg mai bine decât oricând - iar procesarea limbajului natural este motivul pentru care.

Mărimea contează

Dar GPT-3 de la OpenAI este încă singur la scara sa de record. „GPT-3 generează zgomot în primul rând datorită dimensiunii sale”, Joe Davison, inginer de cercetare la Față îmbrățișată, un startup care lucrează la progresul procesării limbajului natural prin dezvoltarea de instrumente open-source și efectuând cercetări fundamentale, a declarat pentru Digital Trends.

Marea întrebare este la ce vor fi folosite toate acestea. GPT-2 și-a găsit drumul într-o multitudine de utilizări, fiind folosit pentru diverse sisteme de generare de text.

Davison și-a exprimat atenția că GPT-3 ar putea fi limitat de dimensiunea sa. „Echipa de la OpenAI a împins fără îndoială frontiera cât de mari pot fi aceste modele și a arătat că creșterea lor reduce dependența noastră de datele specifice sarcinii în continuare”, a spus el. „Cu toate acestea, resursele de calcul necesare pentru a utiliza efectiv GPT-3 în lumea reală îl fac extrem de nepractic. Deci, deși munca este cu siguranță interesantă și perspicace, nu l-aș numi un pas major înainte pentru domeniu.”

Alții însă nu sunt de acord. „Comunitatea [internal-link post_id="NN"]inteligentă artificială[/internal-link] a observat de mult timp că combinarea modelelor din ce în ce mai mari cu tot mai multe date aduce îmbunătățiri aproape previzibile ale puterii acestor modele, la fel ca Legea lui Moore de scalare a puterii de calcul”, Yannic Kilcher, un A.I. cercetător OMS conduce un canal YouTube, a spus Digital Trends. „Totuși, la fel ca și Legea lui Moore, mulți au speculat că suntem la sfârșitul capacității de a îmbunătăți modelele de limbaj prin simpla scalare a acestora. și pentru a obține performanțe mai mari, ar trebui să facem invenții substanțiale în ceea ce privește noi arhitecturi sau pregătire metode. GPT-3 arată că acest lucru nu este adevărat și că capacitatea de a împinge performanța pur și simplu prin scară pare neîntreruptă - și nu există cu adevărat un sfârșit în vedere.”

Treci testul Turing?

Branwen sugerează că instrumente precum GPT-3 ar putea fi o forță perturbatoare majoră. „Un mod de a ne gândi la asta este, ce locuri de muncă implică luarea unei bucăți de text, transformarea acesteia și emiterea unei alte bucăți de text?” spuse Branwen. „Orice loc de muncă descris prin aceasta – cum ar fi codificarea medicală, facturarea, recepționerii, asistența pentru clienți [și multe altele] ar fi o țintă bună pentru reglarea fină a GPT-3 și înlocuirea acelei persoane. Multe locuri de muncă sunt mai mult sau mai puțin „copierea câmpurilor dintr-o foaie de calcul sau PDF într-o altă foaie de calcul sau PDF” și acest tip de automatizare de birou, care este prea haotică pentru scrie cu ușurință un program normal de înlocuit, ar fi vulnerabil la GPT-3, deoarece poate învăța toate excepțiile și convențiile diferite și poate funcționa la fel de bine ca uman ar fi.”

În cele din urmă, procesarea limbajului natural poate fi doar o parte a I.A., dar se poate spune că se reduce la miezul visului inteligenței artificiale într-un mod în care puține alte discipline din domeniu o fac. The celebrul test Turing, una dintre dezbaterile fundamentale care au dat startul domeniului, este o problemă de procesare a limbajului natural: Can you build an A.I. care se poate preface în mod convingător drept persoană? Cea mai recentă lucrare a OpenAI avansează cu siguranță acest obiectiv. Acum rămâne de văzut ce aplicații vor găsi cercetătorii pentru aceasta.

„Cred că este faptul că textul GPT-2 ar putea trece atât de ușor pentru om, încât devine dificil să-l îndepărtezi cu mâna ca „doar recunoaștere a modelelor” sau „doar memorare”, a spus Branwen. „Oricine era sigur că lucrurile pe care le face învățarea profundă nu se aseamănă cu inteligența, trebuie să-și fi fost zguduită credința pentru a vedea cât de departe a ajuns.”

Recomandările editorilor

• Autorii de top cer plăți de la firmele de inteligență artificială pentru utilizarea lucrărilor lor
• Creatorul de ChatGPT OpenAI se confruntă cu o anchetă FTC cu privire la legile privind protecția consumatorilor
• OpenAI construiește o nouă echipă pentru a împiedica IA superinteligentă să devină necinstită
• Creatorul ChatGPT încearcă să elimine „halucinațiile” chatbot
• Noua aplicație ChatGPT a OpenAI este gratuită pentru iPhone și iPad