Kako GPT-3 tiho uvaja A.I. Revolucija

Za kaj je dobro? Absolutno vse

Pred kratkim je poklical Francis Jervis, ustanovitelj startupa Augrented, je uporabil GPT-3 za pomoč ljudem, ki imajo težave z najemnino, pri pisanju pisem za pogajanja o popustih pri najemnini. "Primer uporabe bi tukaj opisal kot 'prenos sloga'," je Jervis povedal za Digital Trends. "[Vsrka] točke, ki sploh niso nujno v popolni angleščini, in [izpiše] dva do tri stavke v uradnem jeziku."

Jervisovo orodje, ki ga poganja ta izjemno zmogljiv jezikovni model, omogoča najemnikom, da opišejo svojo situacijo in razlog, zakaj potrebujejo znižano poravnavo. "Samo vnesite nekaj besed o tem, zakaj ste izgubili dohodek, in v nekaj sekundah boste prejeli predlagan prepričljiv, uraden odstavek, ki ga želite dodati svojemu pismu," trdi podjetje.

To je le vrh ledene gore. Kdaj Aditya Joshi, znanstvenik strojnega učenja in nekdanji inženir Amazon Web Services, je prvič naletel na GPT-3, kar ga je tako navdušilo, da je postavil spletno stran, www.gpt3examples.com, da sledite najboljšim.

"Kmalu po tem, ko je OpenAI objavil svoj API, so razvijalci začeli tvitati impresivne predstavitve aplikacij, izdelanih z uporabo GPT-3," je povedal za Digital Trends. »Bili so osupljivo dobri. Izdelal sem [svoje spletno mesto], da bi skupnosti olajšal iskanje teh primerov in odkrivanje ustvarjalnih načinov uporabe GPT-3 za reševanje težav v lastni domeni.«

Popolnoma interaktivne sintetične osebe z GPT-3 in https://t.co/ZPdnEqR0Hn 🎇

Vedo, kdo so, kje so delali, kdo je njihov šef in še veliko več. To ni bot tvojega očeta... pic.twitter.com/kt4AtgYHZL

— Tyler Lastovich (@tylerlastovich) 18. avgust 2020

Joshi opozarja na več predstavitev, ki so nanj resnično vplivale. Ena, a generator postavitve, upodablja funkcionalno postavitev z ustvarjanjem kode JavaScript iz preprostega besedilnega opisa. Želite gumb z napisom »naroči se« v obliki lubenice? Si želite besedila na pasici z nizom gumbov v barvah mavrice? Samo razložite jih v osnovnem besedilu in generator postavitve Sharifa Shameema bo namesto vas napisal kodo. Drugi, a Iskalnik, ki temelji na GPT-3 ustvaril Paras Chopra, lahko katero koli pisno poizvedbo spremeni v odgovor in povezavo URL za zagotavljanje več informacij. Druga, inverzija Francisa Jervisa Michaela Tefule, prevaja pravne dokumente v preprosto angleščino. Še ena, Raphaël Millière, piše filozofske eseje. In še ena, avtorja Gwerna Branwena, lahko ustvariti ustvarjalno fikcijo.

"Nisem pričakoval, da se bo en sam jezikovni model tako dobro obnesel pri tako raznolikih nalogah, od prevajanja in ustvarjanja jezika do povzemanja besedila in ekstrakcije entitet," je dejal Joshi. »V eden mojih poskusov, sem uporabil GPT-3 za napovedovanje reakcij kemičnega zgorevanja, in to mi je uspelo presenetljivo dobro.«

Še več, od kod je to prišlo

Tudi transformativne uporabe GPT-3 se tu ne končajo. Računalniški znanstvenik Tyler Lastovich je uporabil GPT-3 za ustvariti lažne ljudi, vključno z zgodbo iz ozadja, s katerimi je nato mogoče komunicirati prek besedila. Medtem je Andrew Mayne pokazal, da je GPT-3 lahko uporablja za spreminjanje naslovov filmov v emojije. Nick Walton, glavni tehnološki direktor Latitude, studia, ki stoji za besedilno pustolovsko igro, ustvarjeno z GPT AI Dungeon pred kratkim je naredil isto, da bi videl, ali se lahko obrne daljše nize besedilnega opisa v emoji. In Copy.ai, startup, ki gradi orodja za pisanje besedil z GPT-3, izkorišča model po vsej vrednosti, z mesečno ponavljajoči se prihodki v višini 67.000 $ marca – in nedavni krog financiranja v višini 2,9 milijona dolarjev.

"Vsekakor je bilo presenečenje in veliko strahospoštovanja v smislu kreativnosti, za katero so ljudje uporabljali GPT-3," Sandhini Agarwal, A.I. je za Digital Trends povedal politični raziskovalec za OpenAI. »Toliko primerov uporabe je tako ustvarjalnih in na področjih, ki jih niti sam nisem predvidel, bi imel veliko znanja. To je zanimivo videti. Vendar kot rečeno, GPT-3 – in ta celotna smer raziskav, ki ji je sledil OpenAI – sta bila zelo z upanjem, da nam bo to dalo A.I. model, ki je bil bolj splošen. Bistvo univerzalnega A.I. model je [da bi bil] en model, ki bi lahko naredil vse te različne A.I. naloge."

Številni projekti poudarjajo eno od velikih dodanih vrednosti GPT-3: pomanjkanje usposabljanja, ki ga zahteva. Strojno učenje se je v zadnjih nekaj desetletjih spremenilo na najrazličnejše načine. Toda strojno učenje zahteva veliko število primerov usposabljanja, da lahko izpiše pravilne odgovore. Po drugi strani pa ima GPT-3 "zmožnost nekaj posnetkov", ki omogoča, da ga naučimo nekaj narediti z le majhno peščico primerov.

Verjetno bi***t

GPT-3 je zelo impresiven. Vendar predstavlja tudi izzive. Nekatere od teh se nanašajo na stroške: za obsežne storitve, kot so chatboti, ki bi lahko imeli koristi od čarovnije GPT-3, je orodje morda predrago za uporabo. (Eno sporočilo bi lahko stalo 6 centov, kar se zagotovo poveča, čeprav ni ravno bančno zlom.)

Drugi se nanašajo na njegovo široko dostopnost, kar pomeni, da bo verjetno težko zgraditi startup izključno okoli njega, saj bo ostra konkurenca verjetno znižala marže.

Drugo je pomanjkanje spomina; njegovo kontekstno okno prej prikazuje nekaj manj kot 2000 besed naenkrat, kot lik Guya Piercea v filmu spominek, se njegov pomnilnik ponastavi. "To znatno omeji dolžino besedila, ki ga lahko ustvari, približno na kratek odstavek na zahtevo," je dejal Lastovich. "Praktično gledano to pomeni, da ne more ustvariti dolgih dokumentov, medtem ko se še vedno spominja, kaj se je zgodilo na začetku."

Morda najbolj opazen izziv pa je povezan tudi z njegovo največjo močjo: sposobnostjo konfabulacije. Konfabulacija je izraz, ki ga zdravniki pogosto uporabljajo za opis načina, na katerega lahko nekateri ljudje s težavami s spominom izmislite informacije, ki se na začetku zdijo prepričljive, vendar niso nujno vzdržljive natančnejše obravnave pregled. Sposobnost konfabulacije GPT-3 je, odvisno od konteksta, moč in slabost. Za kreativne projekte je lahko odličen, saj omogoča, da se ukvarja s temami brez skrbi za karkoli tako vsakdanjega, kot je resnica. Za druge projekte je lahko težje.

Francis Jervis iz Augrenteda se sklicuje na zmožnost GPT-3, da "generira verjetne bedarije." Nick Walton iz AI Dungeon je dejal: »GPT-3 je zelo dober pri pisanju ustvarjalnega besedila, ki se zdi, kot da bi ga lahko napisal človek … Eden od njegovih slabost pa je ta, da lahko pogosto piše, kot da je zelo samozavesten – tudi če nima pojma, kakšen je odgovor na vprašanje je."

Nazaj v kitajski sobi

V tem pogledu nas GPT-3 vrne na znana tla kitajske sobe Johna Searla. Leta 1980 je Searle, filozof, objavil eden najbolj znanih A.I. miselni eksperimenti, osredotočen na temo »razumevanje«. Kitajska soba nas prosi, da si predstavljamo osebo, zaklenjeno v sobi z množico pisav v jeziku, ki ga ne razume. Vse, kar prepoznajo, so abstraktni simboli. Soba vsebuje tudi niz pravil, ki kažejo, kako se en niz simbolov ujema z drugim. Glede na niz vprašanj, na katere je treba odgovoriti, mora stanovalec sobe povezati simbole vprašanj s simboli odgovorov. Potem ko to nalogo večkrat ponovijo, postanejo vešči njenega izvajanja - čeprav nimajo pojma, kaj kateri koli niz simbolov pomeni, le da eden ustreza drugemu.

GPT-3 je svet stran od vrst lingvističnega A.I. ki je obstajal v času, ko je Searle pisal. Vendar pa je vprašanje razumevanja kočljivo kot vedno.

»Prepričan sem, da se zavedate, da je to zelo kontroverzno področje spraševanja, saj obstaja toliko različnih mnenja o tem, ali bi na splošno jezikovni modeli... kdaj imeli [pravo] razumevanje,« je dejal Sandhini iz OpenAI Agarwal. »Če me zdaj vprašate o GPT-3, včasih deluje zelo dobro, včasih pa ne zelo dobro. Obstaja ta naključnost na način, kako pomemben se vam lahko zdi rezultat. Včasih vas bo rezultat navdušil, včasih pa bo rezultat preprosto nesmiseln. Glede na to, po mojem mnenju trenutno... se zdi, da GPT-3 ne razume."

Dodaten zasuk današnjega eksperimenta kitajske sobe je, da GPT-3 ne programira na vsakem koraku majhna skupina raziskovalcev. To je ogromen model, ki je bil usposobljen na ogromnem naboru podatkov, sestavljenem iz, no, interneta. To pomeni, da lahko pobere sklepe in pristranskosti, ki so lahko zakodirani v besedilo, najdeno na spletu. Ste že slišali izraz, da ste povprečje petih ljudi, s katerimi se obkrožate? No, GPT-3 je bil usposobljen na skoraj nedoumljivih količinah besedilnih podatkov iz več virov, vključno s knjigami, Wikipedijo in drugimi članki. Na podlagi tega se nauči predvideti naslednjo besedo v poljubnem zaporedju, tako da preišče svoje podatke o usposabljanju, da vidi kombinacije besed, ki so bile uporabljene prej. To ima lahko nenamerne posledice.

Hranjenje stohastičnih papig

Ta izziv z velikimi jezikovnimi modeli je bil prvič izpostavljen v a prelomni papir na temo tako imenovanih stohastičnih papagajev. Stohastična papiga - izraz, ki so ga skovali avtorji, ki so med svoje vrste vključili nekdanjega sovoditelja Googlovega etičnega AI. tim, Timnit Gebru — se nanaša na velik jezikovni model, ki »naključno [združuje] zaporedja jezikovnih oblik, ki jih je opazil v svojih obsežnih podatkih o usposabljanju, glede na verjetnostne informacije o tem, kako se združujejo, vendar brez kakršnega koli sklicevanja do pomena."

"Ker smo bili usposobljeni za velik del interneta, je pomembno priznati, da bo imel nekaj svojih pristranskosti," Albert Gozzi, drug uporabnik GPT-3, je povedal za Digital Trends. "Vem, da ekipa OpenAI trdo dela na ublažitvi tega na nekaj različnih načinov, vendar bi pričakoval, da bo to težava še [nekaj] časa."

Protiukrepi OpenAI za obrambo pred pristranskostjo vključujejo filter toksičnosti, ki izloči določen jezik ali teme. OpenAI dela tudi na načinih za integracijo človeških povratnih informacij, da bi lahko določil, na katera področja naj ne zaide. Poleg tega skupina nadzoruje dostop do orodja, tako da določenim negativnim uporabam orodja ne bo odobren dostop.

"Eden od razlogov, zakaj morda niste opazili preveč teh zlonamernih uporabnikov, je ta, da imamo notranji postopek intenzivnega pregleda," je dejal Agarwal. »Delamo tako, da vsakič, ko želite uporabiti GPT-3 v izdelku, ki bi bil dejansko uveden, iti skozi proces, kjer ekipa – kot ekipa ljudi – dejansko pregleda, kako želite uporabiti to. … Nato vam bo odobren dostop, če se prepričate, da ne gre za nekaj zlonamernega.«

Nekaj ​​od tega pa je izziv – nenazadnje zato, ker pristranskost ni vedno jasen primer uporabe določenih besed. Jervis ugotavlja, da se lahko včasih njegova sporočila o najemnini GPT-3 »nagibajo k stereotipnemu spolu [ali] razredu predpostavke." Če ostane brez nadzora, lahko prevzame spolno identiteto subjekta na pismu o najemnini na podlagi njegove družine vlogo ali službo. To morda ni najbolj žalosten primer A.I. pristranskosti, vendar poudarja, kaj se zgodi, ko se zaužijejo velike količine podatkov in se nato verjetnostno ponovno sestavijo v jezikovnem modelu.

"Pristranskost in možnost eksplicitnih vračil absolutno obstajata in zahtevata, da se razvijalci trudijo, da bi se jim izognili," je dejal Tyler Lastovich. »OpenAI sicer označuje potencialno strupene rezultate, vendar na koncu doda odgovornost, o kateri morajo stranke dobro premisliti, preden dajo model v proizvodnjo. Posebej težko razviti robni primer je nagnjenost modela k laganju – saj nima koncepta resničnih ali lažnih informacij.«

Jezikovni modeli in prihodnost AI

Devet mesecev po svojem prvem nastopu GPT-3 zagotovo upravičuje svoje obračunavanje kot sprememba iger. Kar je bilo nekoč zgolj potencialno, se je izkazalo, da je potencial uresničen. Število zanimivih primerov uporabe za GPT-3 poudarja, kako AI, ki ustvarja besedilo. je veliko bolj vsestranski, kot morda nakazuje ta opis.

Saj ne, da je to nov fant v bloku v teh dneh. V začetku tega leta je bil GPT-3 prehitel kot največji jezikovni model. Google Brain je predstavil nov jezikovni model s približno 1,6 bilijona parametrov, zaradi česar je devetkrat večja od ponudbe OpenAI. Prav tako ni verjetno, da bo to konec poti za jezikovne modele. To so izjemno močna orodja – s potencialom, da spremenijo družbo, potencialno na bolje in na slabše.

S temi tehnologijami zagotovo obstajajo izzivi in ​​to so tisti, s katerimi se morajo še naprej ukvarjati podjetja, kot je OpenAI, neodvisni raziskovalci in drugi. Toda če gledamo kot celoto, je težko trditi, da se jezikovni modeli ne spreminjajo v eno najzanimivejših in najpomembnejših meja raziskav umetne inteligence.

Kdo bi si mislil, da so lahko generatorji besedila tako zelo pomembni? Dobrodošli v prihodnosti umetne inteligence.

Priporočila urednikov

• Analogni AI? Sliši se noro, a morda je prihodnost
• Preberite srhljivo lepe "sintetične spise" A.I. ki misli, da je Bog
• Algoritemska arhitektura: Ali naj pustimo A.I. projektirati zgradbe za nas?
• Ženske z bajtom: načrt Vivienne Ming za reševanje "neurejenih človeških težav" z AI.
• Zakaj je učenje robotov, da se igrajo skrivalnice, lahko ključ do A.I.