Kako GPT-3 tiho uvodi A.I. Revolucija

Za što je to dobro? Apsolutno sve

Nedavno se javio Francis Jervis, osnivač startupa Augrented, upotrijebio je GPT-3 kako bi pomogao ljudima koji se bore sa svojom stanarinom da napišu pisma u kojima pregovaraju o popustima na stanarinu. "Slučaj upotrebe ovdje bih opisao kao 'prijenos stila'", rekao je Jervis za Digital Trends. "[Unosi] točke, koje čak ne moraju biti na savršenom engleskom, i [ispisuje] dvije do tri rečenice na formalnom jeziku."

Pokretan ovim ultra-snažnim jezičnim modelom, Jervisov alat omogućuje iznajmljivačima da opišu svoju situaciju i razlog zašto im je potrebna nagodba s popustom. "Samo unesite nekoliko riječi o tome zašto ste izgubili prihod i za nekoliko sekundi dobit ćete predloženi uvjerljiv, službeni paragraf koji možete dodati svom pismu", tvrdi tvrtka.

Ovo je samo vrh ledenog brijega. Kada Aditya Joshi, znanstvenik koji se bavi strojnim učenjem i bivši inženjer Amazon Web Services, prvi je put naišao na GPT-3, toliko ga je oduševilo ono što je vidio da je postavio web stranicu, www.gpt3examples.com, kako bismo pratili one najbolje.

"Ubrzo nakon što je OpenAI najavio svoj API, programeri su počeli tweetati impresivne demonstracije aplikacija izgrađenih pomoću GPT-3", rekao je za Digital Trends. “Bili su nevjerojatno dobri. Izradio sam [moju web stranicu] kako bih zajednici olakšao pronalaženje ovih primjera i otkrivanje kreativnih načina korištenja GPT-3 za rješavanje problema u vlastitoj domeni.”

Potpuno interaktivne sintetičke osobe s GPT-3 i https://t.co/ZPdnEqR0Hn 🎇

Oni znaju tko su, gdje su radili, tko im je šef i još mnogo toga. Ovo nije bot tvog oca… pic.twitter.com/kt4AtgYHZL

— Tyler Lastovich (@tylerlastovich) 18. kolovoza 2020

Joshi ukazuje na nekoliko demo snimaka koji su stvarno utjecali na njega. Jedan, a generator rasporeda, prikazuje funkcionalni izgled generiranjem JavaScript koda iz jednostavnog tekstualnog opisa. Želite gumb s natpisom "pretplatite se" u obliku lubenice? Želite li tekst na banneru s nizom gumba u duginim bojama? Samo ih objasnite u osnovnom tekstu, a generator rasporeda Sharifa Shameema će napisati kod umjesto vas. Drugi, a Tražilica temeljena na GPT-3 kreirao Paras Chopra, može pretvoriti svaki pisani upit u odgovor i URL vezu za pružanje više informacija. Drugi, inverzija Francisa Jervisa Michaela Tefule, prevodi pravne dokumente na običan engleski. Još jedan, Raphaël Millière, piše filozofske eseje. I još jedan, Gwern Branwen, može generirati kreativnu fikciju.

"Nisam očekivao da će se jedan jezični model tako dobro ponašati na tako raznolikom nizu zadataka, od prevođenja jezika i generiranja do sažimanja teksta i izdvajanja entiteta", rekao je Joshi. "U jedan od mojih eksperimenata, upotrijebio sam GPT-3 za predviđanje kemijskih reakcija sagorijevanja, i učinio je to iznenađujuće dobro.”

Više odakle je to došlo

Transformativna upotreba GPT-3 ne završava ni tu. Informatičar Tyler Lastovich je koristio GPT-3 za stvoriti lažne ljude, uključujući pozadinsku priču, s kojima se zatim može komunicirati putem teksta. U međuvremenu, Andrew Mayne je pokazao da GPT-3 može biti koristi se za pretvaranje naslova filmova u emojije. Nick Walton, glavni tehnološki direktor Latitudea, studija koji stoji iza GPT generirane tekstualne avanturističke igre AI tamnica nedavno je učinio isto da vidim može li se okrenuti duže nizove tekstualnog opisa u emoji. A Copy.ai, startup koji izrađuje alate za pisanje tekstova s ​​GPT-3, koristi model koliko god vrijedi, s mjesečnim stalni prihod od 67 000 USD od ožujka — i nedavni krug financiranja od 2,9 milijuna dolara.

"Definitivno, bilo je iznenađenje i veliko strahopoštovanje u smislu kreativnosti za koju su ljudi koristili GPT-3," Sandhini Agarwal, umjetna inteligencija rekao je istraživač politike za OpenAI za Digital Trends. “Toliko mnogo slučajeva upotrebe je tako kreativno, au domenama koje čak ni ja nisam predvidio, imao bi mnogo znanja o tome. To je zanimljivo vidjeti. Ali kako je to rečeno, GPT-3 - i cijeli ovaj smjer istraživanja koji je vodio OpenAI - bili su u velikoj mjeri s nadom da će nam to dati A.I. model koji je bio više opće namjene. Cijela poanta opće namjene A.I. model je [da bi to bio] jedan model koji bi mogao učiniti sve ove različite A.I. zadaci.”

Mnogi projekti ističu jednu od velikih dodanih vrijednosti GPT-3: nedostatak obuke koju zahtijeva. Strojno učenje bilo je transformativno na razne načine tijekom proteklih nekoliko desetljeća. Ali strojno učenje zahtijeva velik broj primjera obuke kako bi se mogli ispisati točni odgovori. GPT-3, s druge strane, ima "sposobnost nekoliko udaraca" koja mu omogućuje da ga se nauči učiniti nešto uz samo mali broj primjera.

Uvjerljivo sranje

GPT-3 je vrlo impresivan. Ali to predstavlja i izazove. Neki od njih odnose se na cijenu: za usluge velike količine kao što su chatbotovi, koji bi mogli imati koristi od magije GPT-3, alat bi mogao biti preskup za korištenje. (Jedna poruka mogla bi koštati 6 centi, što, iako nije baš bankovno probijanje, svakako se zbraja.)

Drugi se odnose na njegovu široku dostupnost, što znači da će vjerojatno biti teško izgraditi startup isključivo oko njega jer će oštra konkurencija vjerojatno smanjiti marže.

Drugi je nedostatak pamćenja; njegov kontekstni prozor prikazuje malo manje od 2000 riječi prije, kao lik Guya Piercea u filmu Uspomena, njegova memorija je poništena. "Ovo značajno ograničava duljinu teksta koji može generirati, otprilike na kratak paragraf po zahtjevu", rekao je Lastovich. "Praktično govoreći, to znači da nije u mogućnosti generirati duge dokumente dok se još uvijek sjeća što se dogodilo na početku."

Međutim, možda najznačajniji izazov također se odnosi na njegovu najveću snagu: njegove sposobnosti konfabulacije. Konfabulacija je izraz koji liječnici često koriste kako bi opisali način na koji neki ljudi s problemima pamćenja mogu izmišljati informacije koje se u početku čine uvjerljivima, ali koje ne moraju nužno izdržati pomno ispitivanje inspekcija. Sposobnost konfabulacije GPT-3 je, ovisno o kontekstu, snaga i slabost. Za kreativne projekte, može biti izvrstan, dopuštajući mu da se bavi temama bez brige za bilo što tako prizemno kao što je istina. Za druge projekte to može biti teže.

Francis Jervis iz Augrenteda spominje sposobnost GPT-3 da "generira uvjerljiva sranja". Nick Walton iz AI tamnica je rekao: "GPT-3 je vrlo dobar u pisanju kreativnog teksta koji izgleda kao da ga je mogao napisati čovjek... Jedan od njegovih Slabost je, međutim, to što često može pisati kao da je vrlo samouvjereno - čak i ako nema pojma što je odgovor na pitanje je.”

Natrag u Kinesku sobu

U tom smislu, GPT-3 vraća nas na poznato tlo kineske sobe Johna Searlea. Godine 1980. Searle, filozof, objavio je jedan od najpoznatijih A.I. misaoni eksperimenti, fokusiran na temu "razumijevanje". Kineska soba traži od nas da zamislimo osobu zaključanu u sobi s gomilom zapisa na jeziku koji ne razumije. Sve što prepoznaju su apstraktni simboli. Soba također sadrži skup pravila koja pokazuju kako jedan skup simbola odgovara drugom. S obzirom na niz pitanja na koje treba odgovoriti, stanar sobe mora spojiti simbole pitanja sa simbolima odgovora. Nakon što su ovaj zadatak ponovili mnogo puta, postali su vješti u njegovom izvršavanju - iako nemaju pojma što bilo koji skup simbola znači, samo da jedan odgovara drugome.

GPT-3 je svijet daleko od vrsta lingvističkih A.I. koja je postojala u vrijeme kada je Searle pisao. Međutim, pitanje razumijevanja trnovito je kao i uvijek.

“Ovo je vrlo kontroverzno područje ispitivanja, kao što sam siguran da ste svjesni, jer ima toliko različitih mišljenja o tome hoće li, općenito, jezični modeli … ikada imati [pravo] razumijevanje,” rekao je Sandhini iz OpenAI-ja Agarwal. “Ako me sada pitate o GPT-3, ponekad radi vrlo dobro, ali ponekad ne baš dobro. Postoji ta slučajnost na neki način o tome koliko bi vam se rezultat mogao činiti značajnim. Ponekad bi vas rezultat mogao oduševiti, a ponekad će rezultat biti jednostavno besmislen. S obzirom na to, trenutno po mom mišljenju... čini se da GPT-3 nema razumijevanja."

Dodatni zaokret u današnjem eksperimentu kineske sobe je da GPT-3 ne programira na svakom koraku mali tim istraživača. To je golemi model koji je uvježban na golemom skupu podataka koji se sastoji od, pa, interneta. To znači da može pokupiti zaključke i pristranosti koje bi mogle biti kodirane u tekstu koji se nalazi na internetu. Jeste li čuli izraz da ste vi prosjek od pet ljudi s kojima se okružujete? Pa, GPT-3 je treniran na gotovo nesagledivim količinama tekstualnih podataka iz više izvora, uključujući knjige, Wikipediju i druge članke. Iz toga uči predvidjeti sljedeću riječ u bilo kojem nizu pretražujući svoje podatke o uvježbavanju kako bi vidio prije korištene kombinacije riječi. To može imati neželjene posljedice.

Hranjenje stohastičkih papiga

Ovaj izazov s velikim jezičnim modelima prvi je put istaknut u a revolucionarni papir na temu takozvanih stohastičkih papiga. Stohastička papiga — izraz koji su skovali autori, koji su u svoje redove uključili bivšeg suvoditelja Googleovog etičkog AI-ja. tima, Timnit Gebru — odnosi se na veliki jezični model koji “nasumično [spaja] sekvence jezičnih oblika koje je uočio u svojim golemim podacima o obuci, prema probabilističkim informacijama o tome kako se kombiniraju, ali bez ikakve reference do značenja.”

"Budući da smo obučeni za veliki dio interneta, važno je priznati da će nositi neke od svojih predrasuda," Albert Gozzi, drugi korisnik GPT-3, rekao je za Digital Trends. "Znam da OpenAI tim naporno radi na ublažavanju ovoga na nekoliko različitih načina, ali očekivao bih da će ovo biti problem još [neko] vrijeme."

OpenAI-jeve protumjere za obranu od pristranosti uključuju filtar toksičnosti, koji filtrira određeni jezik ili teme. OpenAI također radi na načinima integracije ljudske povratne informacije kako bi mogao odrediti u koja područja ne smije zalutati. Osim toga, tim kontrolira pristup alatu tako da određene negativne upotrebe alata neće dobiti pristup.

"Jedan od razloga zašto možda niste vidjeli previše ovih zlonamjernih korisnika je taj što imamo interni intenzivan proces pregleda", rekao je Agarwal. „Način na koji radimo je da svaki put kada želite upotrijebiti GPT-3 u proizvodu koji bi se stvarno implementirao, morate proći kroz proces u kojem tim - kao, tim ljudi - zapravo pregledava kako želite koristiti to. … Zatim, na temelju provjere da se ne radi o nečem zlonamjernom, dobit ćete pristup.”

Međutim, nešto od toga je izazovno - ne samo zato što pristranost nije uvijek jasan slučaj upotrebe određenih riječi. Jervis primjećuje da, s vremena na vrijeme, njegove poruke o najamnini GPT-3 mogu "skloniti stereotipnom rodu [ili] klasi pretpostavke.” Ostavljen bez nadzora, mogao bi preuzeti spolni identitet subjekta na pismu o stanarini, na temelju njihove obitelji ulogu ili posao. Ovo možda nije najstrašniji primjer A.I. pristranosti, ali naglašava što se događa kada se velike količine podataka progutaju i potom vjerojatnostno ponovno sastave u jezičnom modelu.

"Pristranost i potencijal za eksplicitne povrate apsolutno postoje i zahtijevaju napor programera da ih izbjegnu", rekao je Tyler Lastovich. “OpenAI doista označava potencijalno toksične rezultate, ali u konačnici dodaje odgovornost o kojoj korisnici moraju dobro razmisliti prije nego što puste model u proizvodnju. Posebno težak rubni slučaj za razvijanje je sklonost modela da laže - jer nema koncept istinitih ili lažnih informacija."

Jezični modeli i budućnost umjetne inteligencije

Devet mjeseci nakon svog debija, GPT-3 sigurno opravdava svoju naplatu kao promjena igre. Ono što je nekada bio samo potencijal, pokazalo se kao potencijalno ostvaren. Broj intrigantnih slučajeva upotrebe za GPT-3 naglašava kako umjetna inteligencija za generiranje teksta. puno je svestraniji nego što taj opis može sugerirati.

Nije da je to novi klinac ovih dana. Ranije ove godine, GPT-3 je pretečen kao najveći jezični model. Google Brain predstavio je novi jezični model s nekih 1,6 trilijuna parametara, što ga čini devet puta većim od OpenAI-jeve ponude. Nije vjerojatno da je ovo kraj puta za jezične modele. To su iznimno moćni alati — s potencijalom transformacije društva, potencijalno na bolje i na gore.

Izazovi svakako postoje s ovim tehnologijama i to su oni s kojima se tvrtke poput OpenAI-ja, neovisni istraživači i drugi moraju nastaviti baviti. No, uzevši u cjelini, teško je tvrditi da se jezični modeli ne pretvaraju u jednu od najzanimljivijih i najvažnijih granica istraživanja umjetne inteligencije.

Tko bi pomislio da generatori teksta mogu biti toliko važni? Dobrodošli u budućnost umjetne inteligencije.

Preporuke urednika

• Analogni AI? Zvuči ludo, ali to bi mogla biti budućnost
• Pročitajte jezivo lijepe 'sintetičke spise' umjetne inteligencije. koji misli da je Bog
• Algoritamska arhitektura: Trebamo li pustiti A.I. projektirati zgrade za nas?
• Žene s bajtom: plan Vivienne Ming za rješavanje 'neurednih ljudskih problema' pomoću umjetne inteligencije.
• Zašto bi učenje robota igranju skrivača moglo biti ključ za AI sljedeće generacije