GPT-3: OpenAI-jeva nova neuronska mreža za generiranje teksta je ovdje

Kada je algoritam za generiranje teksta GPT-2 kreiran 2019., označen je kao jedan od "najboljih"opasno” A.I. algoritmi u povijesti. Zapravo, neki su tvrdili da je toliko opasan da nikada ne bi trebao biti objavljen u javnosti (spoiler: Bio je) da ne bi uveo u "robotska apokalipsa.” To se, naravno, nikad nije dogodilo. GPT-2 je na kraju pušten u javnost, a nakon što nije uništio svijet, njegovi tvorci su prešli na sljedeću stvar. Ali kako slijediti najopasniji algoritam ikada stvoren?

Odgovor je, barem na papiru, jednostavan: baš kao u nastavku svakog uspješnog filma, napravite nešto što je veće, lošije i skuplje. Samo jedan ksenomorf u prvom Stranac? Uključi ih cijelo gnijezdo u nastavak, vanzemaljci. Samo jedan gotovo neuništiv stroj poslan iz budućnosti Terminator? Dajte publici dva od njih da se s njima bore Terminator 2: Sudnji dan.

Isto vrijedi i za A.I. - u ovom slučaju, GPT-3, nedavno objavljena neuronska mreža za obradu prirodnog jezika koju je stvorio OpenAI, istraživački laboratorij za umjetnu inteligenciju koji je nekoć bio (

ali više ne) pod pokroviteljstvom izvršnog direktora SpaceX-a i Tesle, Elona Muska.

GPT-3 je posljednja u nizu neuronskih mreža za generiranje teksta. Naziv GPT je kratica za Generative Pretrained Transformer, referirajući se na 2017 Googleova inovacija nazvana Transformer koji može utvrditi vjerojatnost da će se određena riječ pojaviti s okolnim riječima. Napunjen s nekoliko rečenica, kao što je početak vijesti, GPT unaprijed obučeni jezični model može generirati uvjerljivo točne nastavke, uključujući čak i formulaciju izmišljenih citati.

Zbog toga su se neki zabrinuli da bi se moglo pokazati opasnim jer pomaže u stvaranju lažnog teksta koji, kao deepfakes, mogao pomoći u širenju lažnih vijesti na internetu. Sada, s GPT-3, veći je i pametniji nego ikada.

Priča o vrpci

GPT-3 je, kao što bi usporedba "priče na traci" u stilu boksa jasno pokazala, pravi natjecatelj u teškoj kategoriji. OpenAI-jev originalni GPT iz 2018. imao je 110 milijuna parametara, koji se odnose na težine veza koje omogućuju neuronskoj mreži učenje. GPT-2 iz 2019., koji je izazvao veliku buru zbog potencijalnih zlonamjernih aplikacija, posjedovao je 1,5 milijardi parametara. Prošli mjesec, Microsoft je predstavio ono što je tada bio najveći svjetski sličan unaprijed obučeni jezični model, sa 17 milijardi parametara. Za usporedbu, monstruozni GPT-3 iz 2020. ima nevjerojatan 175 milijardi parametri. Navodno je treniranje koštalo oko 12 milijuna dolara.

“Snaga ovih modela je u tome što, kako bi uspješno predvidjeli sljedeću riječ, na kraju uče stvarno moćan svijet modeli koji se mogu koristiti za razne zanimljive stvari,” Nick Walton, glavni tehnološki direktor studija Latitude iza A.I. Tamnica, tekstualna avanturistička igra generirana umjetnom inteligencijom koju pokreće GPT-2, rečeno je za Digital Trends. "Također možete fino podesiti osnovne modele kako biste oblikovali generaciju u određenom smjeru, a da pritom zadržite znanje koje je model naučio u prethodnoj obuci."

Gwern Branwen, komentator i istraživač koji piše o psihologiji, statistici i tehnologiji, rekao je za Digital Trends da unaprijed obučeni jezični model koji GPT predstavlja postao je "sve kritičniji dio svakog zadatka strojnog učenja koji se dotiče na tekstu. Na isti način na koji su [standardni prijedlog za] mnoge zadatke vezane uz slike postali 'upotrijebiti a [konvolucijska neuronska mreža], mnogi zadaci povezani s jezikom postali su 'koristiti fino podešeni [jezik model.'"

OpenAI — koji je odbio komentirati ovaj članak — nije jedina tvrtka koja radi impresivan posao s obradom prirodnog jezika. Kao što je spomenuto, Microsoft je zakoračio na ploču s nekim vlastitim blistavim radom. Facebook, u međuvremenu, uvelike ulaže u tehnologiju i stvorio je otkrića poput BlenderBot, najveći ikada otvoreni chatbot otvorene domene. Nadmašuje druge u smislu angažmana i također se čini ljudskijim, prema ljudskim procjeniteljima. Kao što zna svatko tko je koristio računalo u proteklih nekoliko godina, strojevi nas razumiju sve bolje nego ikad - a razlog tome je obrada prirodnog jezika.

Veličina je bitna

Ali OpenAI-jev GPT-3 i dalje je usamljen u svojoj čistoj rekordnoj ljestvici. "GPT-3 izaziva buku prije svega zbog svoje veličine", Joe Davison, istraživač u Lice koje grli, startup koji radi na unapređenju obrade prirodnog jezika razvijanjem alata otvorenog koda i provođenjem temeljnih istraživanja, rekao je za Digital Trends.

Veliko je pitanje čemu će se sve to koristiti. GPT-2 je pronašao svoj put u bezbroj upotreba, korišten za različite sustave za generiranje teksta.

Davison je izrazio određeni oprez da bi GPT-3 mogao biti ograničen svojom veličinom. "Tim u OpenAI-ju nedvojbeno je pomaknuo granicu veličine ovih modela i pokazao da njihov razvoj smanjuje našu ovisnost o podacima specifičnim za zadatak", rekao je. “Međutim, računalni resursi potrebni za stvarno korištenje GPT-3 u stvarnom svijetu čine ga krajnje nepraktičnim. Dakle, iako je rad svakako zanimljiv i pronicljiv, ne bih ga nazvao velikim korakom naprijed za ovo područje.”

Drugi se pak ne slažu. “Zajednica [internal-link post_id="NN"]umjetne inteligencije[/internal-link] dugo je primijetila da kombiniranje sve većih modela sa sve više podataka daje gotovo predvidljiva poboljšanja u snazi ​​ovih modela, vrlo slično Mooreovom zakonu skaliranja računalne snage,” Yannic Kilcher, A.I. istraživač WHO vodi YouTube kanal, rekao je za Digital Trends. “Ipak, kao i Mooreov zakon, mnogi su spekulirali da smo na kraju mogućnosti poboljšanja jezičnih modela njihovim jednostavnim skaliranjem gore, a kako bismo dobili veću izvedbu, morali bismo napraviti značajne izume u smislu novih arhitektura ili obuke metode. GPT-3 pokazuje da to nije točno i čini se da je mogućnost guranja performansi jednostavno kroz razmjere neprekinuta - i zapravo se ne nazire kraj."

Prošao Turingov test?

Branwen sugerira da bi alati poput GPT-3 mogli biti velika razorna sila. "Jedan od načina na koji to možemo zamisliti jest, koji poslovi uključuju uzimanje dijela teksta, njegovu transformaciju i emitiranje drugog dijela teksta?" rekla je Branwen. “Svaki posao koji je time opisan — poput medicinskog šifriranja, naplate, recepcionara, korisničke podrške [i više] bio bi dobra meta za fino podešavanje GPT-3 i zamjenu te osobe. Velik broj poslova je više ili manje 'kopiranje polja iz jedne proračunske tablice ili PDF-a u drugu proračunsku tablicu ili PDF' i tu vrstu uredske automatizacije, koja je previše kaotična da lako napisati normalan program za zamjenu, bio bi ranjiv na GPT-3 jer može naučiti sve iznimke i različite konvencije i raditi jednako dobro kao i ljudski bi."

U konačnici, obrada prirodnog jezika može biti samo jedan dio umjetne inteligencije, ali nedvojbeno zadire u srž sna o umjetnoj inteligenciji na način na koji malo koja druga disciplina u tom području radi. The poznati Turingov test, jedna od temeljnih rasprava koje su pokrenule ovo područje, jest problem obrade prirodnog jezika: možete li izgraditi A.I. koja može uvjerljivo proći kao osoba? Najnoviji rad OpenAI-ja svakako ide u prilog ovom cilju. Sada ostaje vidjeti koje će primjene istraživači pronaći za njega.

"Mislim da je činjenica da GPT-2 tekst može tako lako proći kao ljudski da postaje teško odbaciti ga kao 'samo prepoznavanje uzorka' ili 'samo pamćenje'", rekla je Branwen. "Svatko tko je bio siguran da stvari koje dubinsko učenje čini nisu ništa poput inteligencije, morala je imati pokolebanu vjeru da vidi dokle je došlo."

Preporuke urednika

• Vrhunski autori traže plaćanje od AI tvrtki za korištenje njihovog rada
• Proizvođač ChatGPT-a OpenAI suočava se s istragom FTC-a zbog zakona o zaštiti potrošača
• OpenAI gradi novi tim koji će spriječiti da superinteligentna umjetna inteligencija postane skitnica
• Kreator ChatGPT-a želi eliminirati 'halucinacije' chatbota
• OpenAI-jeva nova aplikacija ChatGPT besplatna je za iPhone i iPad