Ako GPT-3 potichu uvádza A.I. Revolúcia

Načo je to dobré? Úplne všetko

Nedávno sa ozval Francis Jervis, zakladateľ startupu Augrented, použila GPT-3 na pomoc ľuďom, ktorí majú problémy s prenájmom, napísať listy s vyjednávaním o zľavách na nájomnom. „Prípad použitia by som tu opísal ako ‚prenos štýlu‘,“ povedal Jervis pre Digital Trends. „[Zahŕňa] odrážky, ktoré ani nemusia byť v dokonalej angličtine, a [vydávajú] dve až tri vety vo formálnom jazyku.“

Nástroj Jervis, ktorý využíva tento mimoriadne výkonný jazykový model, umožňuje nájomcom opísať svoju situáciu a dôvod, prečo potrebujú zľavnené vyrovnanie. „Stačí zadať pár slov o tom, prečo ste prišli o príjem, a za pár sekúnd dostanete navrhovaný presvedčivý, formálny odsek, ktorý pridáte do svojho listu,“ tvrdí spoločnosť.

Toto je len špička ľadovca. Kedy Aditya Joshi, vedec v oblasti strojového učenia a bývalý inžinier Amazon Web Services, prvýkrát narazil na GPT-3 a tým, čo videl, ho tak uchvátilo, že si založil webovú stránku, www.gpt3examples.com, aby ste mali prehľad o tých najlepších.

„Krátko po tom, čo OpenAI oznámilo svoje API, vývojári začali tweetovať pôsobivé ukážky aplikácií vytvorených pomocou GPT-3,“ povedal pre Digital Trends. „Boli prekvapivo dobrí. Vytvoril som [svoju webovú stránku], aby som komunite uľahčil hľadanie týchto príkladov a objavovanie kreatívnych spôsobov použitia GPT-3 na riešenie problémov v ich vlastnej doméne.“

Plne interaktívne syntetické osoby s GPT-3 a https://t.co/ZPdnEqR0Hn 🎇

Vedia, kto sú, kde pracovali, kto je ich šéf a ešte oveľa viac. Toto nie je robot tvojho otca... pic.twitter.com/kt4AtgYHZL

— Tyler Lastovich (@tylerlastovich) 18. augusta 2020

Joshi poukazuje na niekoľko ukážok, ktoré naňho skutočne zapôsobili. Jedna, a generátor rozloženia, vykresľuje funkčné rozloženie vygenerovaním kódu JavaScript z jednoduchého textového popisu. Chcete tlačidlo s nápisom „prihlásiť sa na odber“ v tvare melónu? Máte chuť na text bannera so sériou tlačidiel vo farbách dúhy? Stačí ich vysvetliť v základnom texte a generátor rozloženia Sharif Shameem napíše kód za vás. Ďalší, a Vyhľadávač založený na GPT-3 vytvoril Paras Chopra, dokáže premeniť akýkoľvek písomný dotaz na odpoveď a URL odkaz na poskytnutie ďalších informácií. Ďalší, opak Francisa Jervisa od Michaela Tefulu, prekladá právne dokumenty do jednoduchej angličtiny. Ďalší, od Raphaëla Millièra, píše filozofické eseje. A jeden ďalší, od Gwerna Branwena, môže vytvárať kreatívnu fikciu.

„Nečakal som, že jeden jazykový model bude fungovať tak dobre pri takom rozmanitom spektre úloh, od jazykového prekladu a generovania až po sumarizáciu textu a extrakciu entít,“ povedal Joshi. "V jeden z mojich vlastných experimentov, použil som GPT-3 na predpovedanie chemických spaľovacích reakcií a podarilo sa to prekvapivo dobre.“

Viac odkiaľ to prišlo

Transformačné využitie GPT-3 tam tiež nekončí. Počítačový vedec Tyler Lastovič používa GPT-3 na vytvárať falošných ľudí, vrátane backstory, s ktorými potom možno interagovať prostredníctvom textu. Medzitým Andrew Mayne ukázal, že GPT-3 môže byť používa sa na premenu názvov filmov na emotikony. Nick Walton, hlavný technologický riaditeľ spoločnosti Latitude, štúdia, ktoré stojí za textovou adventúrou generovanou GPT AI Dungeon nedávno urobil to isté, aby zistil, či sa to dá otočiť dlhšie reťazce textového popisu do emoji. A Copy.ai, startup, ktorý vytvára copywritingové nástroje s GPT-3, využíva model za všetko, čo stojí za to, s mesačným opakujúce sa príjmy vo výške 67 000 USD od marca – a nedávne kolo financovania vo výške 2,9 milióna dolárov.

„Určite tam bolo prekvapenie a veľký úžas, pokiaľ ide o kreativitu, na ktorú ľudia GPT-3 použili,“ Sandhini Agarwal, A.I. Politický výskumník pre OpenAI povedal pre Digital Trends. „Toľko prípadov použitia je tak kreatívnych a v doménach, ktoré som ani ja nepredvídal, by to malo veľa vedomostí. To je zaujímavé vidieť. Ale ako už bolo povedané, GPT-3 – a celý tento smer výskumu, ktorý OpenAI sledoval – veľmi dúfal, že nám to dá AI. model, ktorý bol skôr univerzálny. Celý zmysel univerzálneho A.I. model je [že by to bol] jeden model, ktorý by rád robil všetky tieto rôzne A.I. úlohy.”

Mnohé z projektov zdôrazňujú jeden z veľkých prínosov GPT-3: nedostatok školenia, ktorý si vyžaduje. Strojové učenie sa za posledných pár desaťročí transformovalo všetkými možnými spôsobmi. Strojové učenie si však vyžaduje veľké množstvo tréningových príkladov, aby bolo možné získať správne odpovede. GPT-3, na druhej strane, má „schopnosť niekoľkých výstrelov“, ktorá mu umožňuje naučiť sa niečo robiť len s malou hŕstkou príkladov.

Pravdepodobný bull***t

GPT-3 je veľmi pôsobivý. Ale predstavuje aj výzvy. Niektoré z nich sa týkajú nákladov: V prípade služieb s veľkým objemom, ako sú chatboty, ktoré by mohli ťažiť z mágie GPT-3, môže byť tento nástroj príliš drahý. (Jedna správa by mohla stáť 6 centov, čo, aj keď to nie je práve bankrot, sa určite spočíta.)

Iné sa týkajú jeho širokej dostupnosti, čo znamená, že bude pravdepodobne ťažké vybudovať startup výhradne okolo, pretože tvrdá konkurencia pravdepodobne zníži marže.

Ďalším je nedostatok pamäte; jeho kontextové okno beží o niečo menej ako 2 000 slov naraz, ako napríklad postava Guya Piercea vo filme Memento, jeho pamäť sa vynuluje. "To výrazne obmedzuje dĺžku textu, ktorý môže vygenerovať, zhruba na krátky odsek na žiadosť," povedal Lastovich. "Prakticky to znamená, že nedokáže generovať dlhé dokumenty, pričom si stále pamätá, čo sa stalo na začiatku."

Snáď najpozoruhodnejšia výzva sa však týka aj jeho najväčšej sily: jeho konfabulačných schopností. Konfabulácia je termín, ktorý lekári často používajú na opis spôsobu, akým to dokážu niektorí ľudia s problémami s pamäťou vymýšľať si informácie, ktoré sa na prvý pohľad javia ako presvedčivé, no nemusia nevyhnutne obstáť pri bližšom skúmaní inšpekcia. Schopnosť GPT-3 konfabulovať je v závislosti od kontextu silnou a slabou stránkou. Pre kreatívne projekty to môže byť skvelé, pretože mu umožňuje riffovať o témach bez toho, aby sa zaujímalo o niečo také svetské, ako je pravda. Pri iných projektoch to môže byť zložitejšie.

Francis Jervis z Augrented hovorí o schopnosti GPT-3 „vytvárať hodnoverné kecy“. Nick Walton z AI Dungeon povedal: „GPT-3 je veľmi dobrý v písaní kreatívneho textu, ktorý vyzerá, akoby ho mohol napísať človek... slabou stránkou však je, že často dokáže písať ako veľmi sebavedomý – aj keď netuší, aká je odpoveď na otázka znie."

Späť v čínskej izbe

V tomto ohľade nás GPT-3 vracia na známu pôdu Čínskej izby Johna Searla. V roku 1980 publikoval Searle, filozof jeden z najznámejších A.I. myšlienkové experimenty, zameraný na tému „porozumenie“. Čínska izba nás žiada, aby sme si predstavili človeka zamknutého v miestnosti s množstvom písma v jazyku, ktorému nerozumie. Všetko, čo rozpoznávajú, sú abstraktné symboly. Miestnosť obsahuje aj súbor pravidiel, ktoré ukazujú, ako jedna sada symbolov korešponduje s druhou. Po sérií otázok, na ktoré treba odpovedať, musí obyvateľ miestnosti porovnať symboly otázok so symbolmi odpovede. Po mnohonásobnom opakovaní tejto úlohy sa stanú zbehlými v jej vykonávaní – aj keď nemajú potuchy, čo ktorákoľvek skupina symbolov znamená, iba že jeden zodpovedá druhému.

GPT-3 je svet vzdialený od druhov lingvistických A.I. ktoré existovali v čase, keď Searle písal. Otázka porozumenia je však chúlostivá ako vždy.

„Toto je veľmi kontroverzná oblasť otázok, ako som si istý, že viete, pretože existuje veľa rôznych názory na to, či vo všeobecnosti jazykové modely... niekedy budú mať [skutočné] pochopenie,“ povedal Sandhini z OpenAI Agarwal. „Ak sa ma práve teraz pýtate na GPT-3, niekedy funguje veľmi dobre, ale inokedy nie veľmi dobre. Je to náhoda v tom, aký zmysluplný sa vám výstup môže zdať. Niekedy môžete byť ohromení výstupom a niekedy bude výstup jednoducho nezmyselný. Vzhľadom na to, podľa môjho názoru práve teraz... GPT-3 zrejme nerozumie.“

Ďalším zvratom dnešného experimentu Chinese Room je, že GPT-3 nie je naprogramovaný na každom kroku malým tímom výskumníkov. Je to obrovský model, ktorý bol trénovaný na obrovskom súbore údajov, ktorý pozostáva z internetu. To znamená, že dokáže zachytiť závery a predsudky, ktoré môžu byť zakódované do textu nájdeného online. Počuli ste výraz, že ste priemerom piatich ľudí, ktorými sa obklopujete? GPT-3 bol trénovaný na takmer nevyspytateľnom množstve textových údajov z viacerých zdrojov vrátane kníh, Wikipédie a iných článkov. Na základe toho sa naučí predpovedať ďalšie slovo v ľubovoľnom poradí tým, že prehľadá svoje tréningové údaje, aby videl predtým používané kombinácie slov. To môže mať neželané následky.

Kŕmenie stochastických papagájov

Táto výzva s veľkými jazykovými modelmi bola prvýkrát zdôraznená v a prelomový papier na tému takzvaných stochastických papagájov. Stochastický papagáj – pojem, ktorý vymysleli autori, ktorí do svojich radov zaradili aj bývalého spolulídra etickej spoločnosti Google A.I. tím Timnit Gebru — odkazuje na veľký jazykový model, ktorý „náhodne [spája] dohromady sekvencie jazykových foriem, ktoré pozoroval vo svojich rozsiahlych tréningových údajoch, podľa pravdepodobnostných informácií o tom, ako sa kombinujú, ale bez akéhokoľvek odkazu k zmyslu."

"Keďže sme boli vyškolení na veľkej časti internetu, je dôležité uznať, že bude niesť niektoré zo svojich predsudkov," Albert Gozzi, ďalší používateľ GPT-3, povedal pre Digital Trends. "Viem, že tím OpenAI tvrdo pracuje na zmiernení tohto problému niekoľkými rôznymi spôsobmi, ale očakávam, že to bude ešte nejaký čas problém."

Protiopatrenia OpenAI na obranu proti zaujatosti zahŕňajú filter toxicity, ktorý filtruje určité jazyky alebo témy. OpenAI tiež pracuje na spôsoboch, ako integrovať ľudskú spätnú väzbu, aby bolo možné špecifikovať, do ktorých oblastí nezablúdiť. Okrem toho tím kontroluje prístup k nástroju, takže určité negatívne použitia nástroja nebudú udelené.

„Jedným z dôvodov, prečo ste možno nevideli príliš veľa týchto škodlivých používateľov, je skutočnosť, že máme interne intenzívny proces kontroly,“ povedal Agarwal. „Pracujeme tak, že zakaždým, keď chcete použiť GPT-3 v produkte, ktorý by bol skutočne nasadený, musíte prejsť procesom, v ktorom tím – napríklad tím ľudí – v skutočnosti kontroluje, ako chcete použiť to. … Potom, na základe uistenia sa, že nejde o niečo škodlivé, vám bude udelený prístup.“

Niektoré z nich sú však náročné – v neposlednom rade preto, že zaujatosť nie je vždy jednoznačným prípadom použitia určitých slov. Jervis poznamenáva, že niekedy môžu jeho správy o prenájme GPT-3 „inklinovať k stereotypnému rodu [alebo] triede predpoklady.” Ak ho necháte bez dozoru, môže predpokladať rodovú identitu subjektu na nájomnom liste na základe jeho rodiny rolu alebo prácu. Toto nemusí byť najsmutnejší príklad A.I. zaujatosť, ale zdôrazňuje, čo sa stane, keď sa prehltnú veľké množstvá údajov a potom sa pravdepodobnostne znova poskladajú do jazykového modelu.

"Zaujatosť a potenciál explicitných výnosov absolútne existujú a vyžadujú si úsilie vývojárov, aby sa im vyhli," povedal Tyler Lastovich. „OpenAI označuje potenciálne toxické výsledky, ale v konečnom dôsledku pridáva zodpovednosť, o ktorej musia zákazníci dôkladne premýšľať pred uvedením modelu do výroby. Špecificky ťažkým okrajovým prípadom, ktorý by sa dal rozvinúť, je sklon modelu klamať – keďže nemá pojem pravdivých alebo nepravdivých informácií.“

Jazykové modely a budúcnosť A.I.

Deväť mesiacov po svojom debute GPT-3 určite spĺňa svoje účtovanie ako menič hry. To, čo bolo kedysi čisto potenciálne, sa ukázalo ako realizovaný potenciál. Množstvo zaujímavých prípadov použitia pre GPT-3 poukazuje na to, ako A.I. je oveľa všestrannejší, než by sa z tohto popisu mohlo zdať.

Nie, že je to v týchto dňoch nové dieťa v bloku. Začiatkom tohto roka bol GPT-3 prekonaný ako najväčší jazykový model. Google Brain predstavil nový jazykový model s približne 1,6 bilióna parametrov, čím je deväťkrát väčší ako ponuka OpenAI. Ani to pravdepodobne nebude koniec cesty pre jazykové modely. Ide o mimoriadne silné nástroje – s potenciálom transformovať spoločnosť, potenciálne k lepšiemu aj k horšiemu.

S týmito technológiami určite existujú výzvy a sú to tie, ktoré musia spoločnosti ako OpenAI, nezávislí výskumníci a iní naďalej riešiť. Ale ako celok je ťažké tvrdiť, že jazykové modely sa nestávajú jednou z najzaujímavejších a najdôležitejších hraníc výskumu umelej inteligencie.

Kto by si myslel, že textové generátory môžu byť také dôležité? Vitajte v budúcnosti umelej inteligencie.

Odporúčania redaktorov

• Analógová A.I.? Znie to šialene, ale môže to byť budúcnosť
• Prečítajte si strašidelne krásne „syntetické písmo“ od A.I. ktorý si myslí, že je to Boh
• Algoritmická architektúra: Mali by sme nechať A.I. navrhovať budovy pre nás?
• Ženy s Byte: Plán Vivienne Ming vyriešiť „neporiadne ľudské problémy“ s A.I.
• Prečo učiť robotov hrať na schovávačku by mohlo byť kľúčom k novej generácii A.I.