GPT-3: Novo nevronsko omrežje za generiranje besedila OpenAI je tu

Ko je bil leta 2019 ustvarjen algoritem za generiranje besedila GPT-2, je bil označen kot eden najbolj »nevarno”A.I. algoritmi v zgodovini. Pravzaprav so nekateri trdili, da je tako nevaren, da ga nikoli ne bi smeli dati v javnost (spojler: bil je), da ne bi povzročil "robotska apokalipsa.” To se seveda nikoli ni zgodilo. GPT-2 je bil sčasoma objavljen v javnosti in potem, ko ni uničil sveta, so se njegovi ustvarjalci lotili naslednjega. Toda kako slediti najnevarnejšemu algoritmu, ki je bil kdaj ustvarjen?

Odgovor je, vsaj na papirju, preprost: tako kot pri nadaljevanju katerega koli uspešnega filma narediš nekaj, kar je večje, slabše in dražje. Samo en ksenomorf v prvem vesoljec? Celo gnezdo jih vključiti v nadaljevanje, Nezemljani. Samo en sam skoraj neuničljiv stroj, poslan iz prihodnosti Terminator? Občinstvu dajte dva, s katerima se bodo spopadli Terminator 2: Sodni dan.

Enako velja za A.I. - v tem primeru, GPT-3

, nedavno izdano nevronsko mrežo za obdelavo naravnega jezika, ki jo je ustvaril OpenAI, raziskovalni laboratorij za umetno inteligenco, ki je bil nekoč (ampak ne več), ki ga sponzorirata SpaceX in izvršni direktor Tesle Elon Musk.

GPT-3 je zadnja v seriji nevronskih mrež, ki ustvarjajo besedilo. Ime GPT je kratica za Generative Pretrained Transformer, ki se nanaša na 2017 Googlova inovacija imenovana Transformer ki lahko ugotovi verjetnost, da se bo določena beseda pojavila z okoliškimi besedami. Napolnjen z nekaj stavki, kot je začetek novice, vnaprej usposobljen jezikovni model GPT lahko ustvari prepričljivo točna nadaljevanja, tudi vključno z izmišljeno formulacijo citati.

Zato so bili nekateri zaskrbljeni, da bi se lahko izkazalo za nevarno, saj bi pomagalo ustvariti lažno besedilo, kot npr. deepfakes, lahko pomoč pri širjenju lažnih novic na spletu. Zdaj je z GPT-3 večji in pametnejši kot kdaj koli prej.

Zgodba o traku

GPT-3 je, kot bi razjasnila primerjava "zgodbe na traku" v boksarskem slogu, pravi tekmovalec v težki kategoriji. Prvotni GPT OpenAI iz leta 2018 je imel 110 milijonov parametrov, ki se nanašajo na uteži povezav, ki nevronski mreži omogočajo učenje. GPT-2 iz leta 2019, ki je povzročil veliko prejšnjega razburjenja zaradi svojih morebitnih zlonamernih aplikacij, je imel 1,5 milijarde parametrov. Prejšnji mesec, je Microsoft predstavil takrat največji podoben vnaprej usposobljen jezikovni model na svetu, ki se ponaša s 17 milijardami parametrov. Za primerjavo ima pošastni GPT-3 iz leta 2020 osupljivo 175 milijard parametri. Usposabljanje naj bi stalo okoli 12 milijonov dolarjev.

»Moč teh modelov je v tem, da se za uspešno napovedovanje naslednje besede na koncu naučijo resnično močnega sveta modele, ki jih je mogoče uporabiti za najrazličnejše zanimive stvari,« Nick Walton, glavni tehnološki direktor studia Latitude zadaj A.I. Dungeon, besedilna pustolovska igra, ustvarjena z umetno inteligenco, ki jo poganja GPT-2, je povedal za Digital Trends. "Lahko tudi natančno prilagodite osnovne modele, da oblikujete generacijo v določeno smer, medtem ko še vedno ohranjate znanje, ki se ga je model naučil med predhodnim usposabljanjem."

Gwern Branwen, komentator in raziskovalec, ki piše o psihologiji, statistiki in tehnologiji, je za Digital Trends povedal, da vnaprej usposobljeni jezikovni model, ki ga predstavlja GPT, je postal »vse bolj kritičen del katere koli naloge strojnega učenja, ki se dotika na besedilo. Na enak način, kot je [standardni predlog za] veliko nalog, povezanih s slikami, postalo »uporabi a [konvolucijska nevronska mreža], so številne naloge, povezane z jezikom, postale »uporaba natančno nastavljenega [jezika«. model.’”

OpenAI – ki ni želel komentirati tega članka – ni edino podjetje, ki opravlja nekaj impresivnega dela z obdelavo naravnega jezika. Kot že omenjeno, je Microsoft stopil na plano z nekaj lastnega bleščečega dela. Facebook, medtem pa veliko vlaga v tehnologijo in je ustvaril preboje, kot je BlenderBot, največji odprtokodni klepetalni robot z odprto domeno. Prekaša druge v smislu angažiranosti in se po mnenju človeških ocenjevalcev tudi zdi bolj človeško. Kot bo vedel vsak, ki je v zadnjih nekaj letih uporabljal računalnik, nas stroji razumejo bolje kot kdaj koli prej - in razlog za to je obdelava naravnega jezika.

Velikost je pomembna

Toda OpenAI-jev GPT-3 je še vedno sam v svojem rekordnem obsegu. »GPT-3 vzbuja zanimanje predvsem zaradi svoje velikosti,« Joe Davison, raziskovalni inženir pri Objem obraza, startup, ki se ukvarja z napredovanjem obdelave naravnega jezika z razvojem odprtokodnih orodij in izvajanjem temeljnih raziskav, je povedal za Digital Trends.

Veliko vprašanje je, čemu bo vse to namenjeno. GPT-2 je našel pot v nešteto uporab, uporabljali so ga za različne sisteme za ustvarjanje besedila.

Davison je izrazil nekaj previdnosti, da bi bil GPT-3 lahko omejen s svojo velikostjo. »Ekipa pri OpenAI je nedvomno premaknila mejo tega, kako veliki so lahko ti modeli, in pokazala, da njihovo povečevanje zmanjšuje našo odvisnost od podatkov, specifičnih za nalogo,« je dejal. »Vendar pa je zaradi računalniških virov, potrebnih za dejansko uporabo GPT-3 v resničnem svetu, izjemno nepraktičen. Torej, čeprav je delo vsekakor zanimivo in pronicljivo, ga ne bi imenoval velik korak naprej na tem področju.«

Drugi pa se ne strinjajo. »Skupnost [internal-link post_id="NN"]umetne inteligence[/internal-link] že dolgo opaža, da združevanje vedno večjih modelov z več in več podatkov daje skoraj predvidljive izboljšave v moči teh modelov, zelo podobno Moorovemu zakonu skaliranja računalniške moči,« Yannic Kilcher, A.I. raziskovalec WHO vodi YouTube kanal, je povedal za Digital Trends. »Vendar pa so, tako kot pri Moorovem zakonu, mnogi špekulirali, da smo na koncu tega, da bi lahko jezikovne modele izboljšali tako, da jih preprosto prilagodimo. in da bi dosegli večjo zmogljivost, bi morali narediti znatne izume v smislu novih arhitektur ali usposabljanja metode. GPT-3 kaže, da to ni res in da je zmožnost pospeševanja zmogljivosti preprosto skozi obseg videti neprekinjena - in ni videti konca."

Opravljen Turingov test?

Branwen predlaga, da bi lahko bila orodja, kot je GPT-3, velika moteča sila. "Eden od načinov razmišljanja o tem je, katera dela vključujejo vzetje dela besedila, njegovo preoblikovanje in oddajanje drugega dela besedila?" je rekla Branwen. »Vsako delo, ki je opisano s tem – kot so medicinsko kodiranje, zaračunavanje, receptorji, podpora strankam [in več] bi bilo dobra tarča za natančno nastavitev GPT-3 in zamenjavo te osebe. Veliko delovnih mest je bolj ali manj »kopiranje polj iz ene preglednice ali PDF v drugo preglednico ali PDF« in tovrstna pisarniška avtomatizacija, ki je preveč kaotična, enostavno napisati običajen program za zamenjavo, bi bil ranljiv za GPT-3, ker se lahko nauči vseh izjem in različnih konvencij ter deluje tako dobro kot človek bi.”

Navsezadnje je lahko obdelava naravnega jezika le en del AI, vendar nedvomno posega v jedro sanj o umetni inteligenci na način, ki ga malokatera druga disciplina na tem področju počne. The slavni Turingov test, ena od temeljnih razprav, ki je zagnala to področje, je problem obdelave naravnega jezika: Ali lahko zgradite AI? ki se lahko prepričljivo predstavi kot oseba? Zadnje delo OpenAI zagotovo napreduje pri tem cilju. Zdaj je treba videti, kakšne aplikacije bodo raziskovalci našli zanj.

"Mislim, da je dejstvo, da bi lahko besedilo GPT-2 tako enostavno veljalo za človeka, da ga je težko omagati z roko kot" samo prepoznavanje vzorcev "ali" samo pomnjenje "," je dejal Branwen. "Vsakemu, ki je bil prepričan, da stvari, ki jih počne globoko učenje, niso nič podobne inteligenci, se je vera morala omajati, da vidi, kako daleč je prišlo."

Priporočila urednikov

• Najboljši avtorji zahtevajo plačilo od podjetij AI za uporabo njihovega dela
• Izdelovalec ChatGPT OpenAI se sooča s preiskavo FTC zaradi zakonov o varstvu potrošnikov
• OpenAI ustvarja novo ekipo, ki bo preprečila, da bi superinteligentni AI postal lopov
• Ustvarjalec ChatGPT želi odpraviti 'halucinacije' chatbota
• Nova aplikacija OpenAI ChatGPT je brezplačna za iPhone in iPad