GPT-3: OpenAI uus teksti genereeriv närvivõrk on kohal

Kui tekstigenereerimisalgoritm GPT-2 loodi 2019. aastal, märgiti see üheks kõige "ohtlik"A.I. algoritmid ajaloos. Tegelikult väitsid mõned, et see on nii ohtlik, et seda ei tohiks kunagi avalikkusele avaldada (spoiler: see oli), et see ei tooks sisse "roboti apokalüpsis.” Seda muidugi kunagi ei juhtunud. GPT-2 avaldati lõpuks avalikkusele ja pärast seda, kui see maailma ei hävitanud, läksid selle loojad järgmise asja juurde. Kuidas aga järgida kõige ohtlikumat algoritmi, mis eales loodud?

Vastus, vähemalt paberil, on lihtne: nagu iga eduka filmi järg, teete midagi suuremat, halvemat ja kallimat. Esimeses ainult üks ksenomorf Tulnukas? Kaasake järgesse terve pesa neist, Tulnukad. Vaid üksainus peaaegu hävimatu masin, mis saadeti tulevikust tagasi Terminaator? Andke publikule kaks neist maadlemiseks Terminaator 2: Kohtupäev.

Sama kehtib ka A.I. - sel juhul, GPT-3, hiljuti välja antud loomulikku keelt töötlev närvivõrk, mille lõi OpenAI, tehisintellekti uurimislabor, mis kunagi oli (

aga mitte enam), mille sponsoriks on SpaceX ja Tesla tegevjuht Elon Musk.

GPT-3 on uusim teksti genereerivate närvivõrkude seerias. Nimi GPT tähistab Generative Pretraained Transformer, mis viitab 2017. aastale Google'i uuendus nimega Transformer mis võib välja selgitada tõenäosuse, et konkreetne sõna ilmub koos ümbritsevate sõnadega. Toidetud mõne lausega, näiteks uudisloo algusega, GPT eelkoolitatud keelemudeliga suudab genereerida veenvalt täpseid jätke, kaasa arvatud isegi väljamõeldud sõnastus tsitaat.

Seetõttu on mõned mures, et see võib osutuda ohtlikuks, aidates luua valeteksti, mis sügavad võltsingud, võiks aidata levitada võltsuudiseid võrgus. Nüüd on see GPT-3-ga suurem ja nutikam kui kunagi varem.

Lugu lindist

GPT-3 on, nagu poksistiilis "lindiloo" võrdlus selgeks saaks, tõeline konkurendi raskekaalu murja. OpenAI algsel 2018. aasta GPT-l oli 110 miljonit parameetrit, viidates nende ühenduste kaalule, mis võimaldavad närvivõrgul õppida. 2019. aasta GPT-2-l, mis põhjustas suure osa varasemast kärast võimalike pahatahtlike rakenduste pärast, oli 1,5 miljardit parameetrit. Eelmine kuuMicrosoft tutvustas tollal maailma suurimat sarnast eelkoolitatud keelemudelit, millel oli 17 miljardit parameetrit. Võrdluseks, 2020. aasta koletu GPT-3 on hämmastav 175 miljardit parameetrid. Väidetavalt maksis selle treenimine umbes 12 miljonit dollarit.

"Nende mudelite jõud seisneb selles, et järgmise sõna edukaks ennustamiseks õpivad nad lõpuks tõeliselt võimsa maailma mudelid, mida saab kasutada igasuguste huvitavate asjade jaoks,” stuudio Latitude'i tehnoloogiajuht Nick Walton taga A.I. Dungeon, A.I. loodud tekstiliseiklusmäng, mida toetab GPT-2, rääkis Digital Trends. "Saate ka baasmudeleid peenhäälestada, et kujundada põlvkonda kindlas suunas, säilitades samal ajal teadmised, mida mudel eelkoolituses õppis."

Gwern Branwen, psühholoogiast, statistikast ja tehnoloogiast kirjutav kommentaator ja teadlane, ütles Digital Trendsile, et Eelkoolitatud keelemudel, mida GPT esindab, on muutunud „üha olulisemaks osaks igas masinõppeülesandes, mis puudutab teksti peal. Samamoodi nagu [standardne soovitus] paljude kujutisega seotud ülesannete jaoks on muutunud „kasuta a [konvolutsiooniline närvivõrk], on paljud keelega seotud ülesanded muutunud „kasutage peenhäälestatud [keelt mudel."

OpenAI, kes keeldus seda artiklit kommenteerimast, pole ainus ettevõte, kes teeb loomuliku keele töötlemisega muljetavaldavat tööd. Nagu mainitud, on Microsoft saavutanud omaenda silmipimestava töö. Facebook, investeerib samal ajal palju tehnoloogiasse ja on loonud selliseid läbimurdeid nagu BlenderBot, kõigi aegade suurim avatud lähtekoodiga avatud domeeniga vestlusbot. See ületab seotuse poolest teisi ja tundub inimhindajate sõnul ka inimlikumana. Nagu kõik, kes on viimastel aastatel arvutit kasutanud, teavad, mõistavad masinad meid paremini kui kunagi varem – ja loomuliku keele töötlemine on põhjus.

Suurus loeb

Kuid OpenAI GPT-3 on oma rekordilisel skaalal endiselt üksi. „GPT-3 tekitab uudishimu eelkõige oma suuruse tõttu,” ütles ettevõtte uurimisinsener Joe Davison. Kallistav nägu, idufirma, kes tegeleb loomuliku keele töötlemise edendamisega, arendades avatud lähtekoodiga tööriistu ja viies läbi alusuuringuid, ütles Digital Trends.

Suur küsimus on, milleks seda kõike kasutatakse. GPT-2 leidis tee lugematul hulgal kasutusaladele, seda kasutati mitmesuguste tekstigenereerimissüsteemide jaoks.

Davison väljendas mõningast ettevaatlikkust, et GPT-3 suurus võib olla piiratud. "OpenAI meeskond on vaieldamatult nihutanud piiri, kui suured need mudelid võivad olla, ja näidanud, et nende kasvatamine vähendab meie sõltuvust ülesandepõhistest andmetest," ütles ta. "Kuid arvutusressursid, mis on vajalikud GPT-3 tegelikuks kasutamiseks reaalses maailmas, muudavad selle äärmiselt ebapraktiliseks. Ehkki töö on kindlasti huvitav ja läbinägelik, ei nimetaks ma seda valdkonna jaoks suureks sammuks.

Teised aga ei nõustu. "[internal-link post_id="NN"]tehisintellekti[/internal-link] kogukond on juba ammu täheldanud, et üha suuremate mudelite kombineerimine üha rohkemate andmetega annab nende mudelite võimsuse peaaegu etteaimatavaid täiustusi, sarnaselt Moore'i arvutusvõimsuse skaleerimise seadusele,“ ütles A.I. Yannic Kilcher. uurija WHO haldab YouTube'i kanalit, ütles Digital Trends. "Kuid nagu ka Moore'i seadus, on paljud spekuleerinud, et oleme jõudnud keelemudelite täiustamise lõpule, lihtsalt neid skaleerides. üles ja suurema jõudluse saavutamiseks peaksime tegema olulisi leiutisi uute arhitektuuride või koolituse osas meetodid. GPT-3 näitab, et see ei vasta tõele ja võime jõudlust lihtsalt läbi skaala suurendada näib olevat katkematu – ja tegelikult pole lõppu näha.

Turingi testi läbimine?

Branwen viitab sellele, et sellised tööriistad nagu GPT-3 võivad olla suureks häirivaks jõuks. "Üks viis mõelda on see, millised tööd hõlmavad tekstiosa võtmist, selle teisendamist ja teise tekstiosa väljastamist?" ütles Branwen. "Iga töö, mida see kirjeldab, nagu meditsiiniline kodeerimine, arveldamine, administraatorid, klienditugi [ja palju muud], oleks hea sihtmärk GPT-3 peenhäälestamiseks ja selle inimese asendamiseks. Paljud tööd on enam-vähem „väljade kopeerimine ühest arvutustabelist või PDF-failist teise arvutustabelisse või PDF-i” ja selline kontoriautomaatika, mis on selleks liiga kaootiline. kergesti kirjutada tavalist programmi, mida asendada, oleks GPT-3 suhtes haavatav, kuna see suudab õppida kõiki erandeid ja erinevaid tavasid ning toimib sama hästi oleks."

Lõppkokkuvõttes võib loomuliku keele töötlemine olla vaid üks osa A.I-st, kuid vaieldamatult lõikab see tehisintellekti unistuse tuuma viisil, mida teevad vähesed teised selle valdkonna distsipliinid. The kuulus Turingi test, üks olulisemaid arutelusid, mis selle valdkonna käivitas, on loomuliku keele töötlemise probleem: kas saate luua A.I. mis suudab end veenvalt inimesena edasi anda? OpenAI uusim töö edendab seda eesmärki kindlasti. Nüüd jääb üle oodata, milliseid rakendusi teadlased selle jaoks leiavad.

"Ma arvan, et see on tõsiasi, et GPT-2 tekst võib inimese jaoks nii kergesti üle minna, et seda on raske käsitsi lehvitada kui "lihtsalt mustrituvastust" või "lihtsalt meeldejätmist"," ütles Branwen. "Igaüks, kes oli kindel, et süvaõppimine pole midagi muud kui intelligentsus, pidi oma usku kõikuma, et näha, kui kaugele see on jõudnud."

Toimetajate soovitused

• Tippautorid nõuavad tehisintellektifirmadelt nende töö kasutamise eest tasu
• ChatGPT tootja OpenAI seisab silmitsi FTC uurimisega tarbijakaitseseaduste üle
• OpenAI loob uue meeskonna, et peatada üliintelligentse tehisintellekti petmine
• ChatGPT looja, kes soovib kõrvaldada vestlusrobotite hallutsinatsioonid
• OpenAI uus ChatGPT rakendus on iPhone'i ja iPadi jaoks tasuta