Kuidas GPT-3 vaikselt A.I-sse siseneb revolutsioon

Milleks see hea on? Absoluutselt kõike

Hiljuti helistas idufirma asutaja Francis Jervis Suurendatud, kasutas GPT-3, et aidata inimestel, kes on hädas üüriga, kirjutada kirju üürisoodustuste üle läbirääkimisteks. "Ma kirjeldaksin siinset kasutusjuhtumit kui" stiiliülekannet", " ütles Jervis Digital Trendsile. "[See võtab arvesse] täppe, mis ei pea olema isegi täiuslikus inglise keeles, ja [väljastab] kaks kuni kolm lauset ametlikus keeles."

Selle ülivõimsa keelemudeli toel võimaldab Jervise tööriist rentijatel kirjeldada oma olukorda ja põhjust, miks nad vajavad soodushinnaga arveldust. "Sisestage lihtsalt paar sõna selle kohta, miks te sissetuleku kaotasite, ja mõne sekundi pärast saate soovitatud veenva ametliku lõigu, mida oma kirjale lisada," väidab ettevõte.

See on vaid jäämäe tipp. Millal Aditya Joshi, masinõppeteadlane ja endine Amazoni veebiteenuste insener, puutus esmakordselt kokku GPT-3-ga. Ta oli nähtust nii vaimustuses, et lõi veebisaidi, www.gpt3examples.com, et pidada silma peal parimatel.

"Varsti pärast seda, kui OpenAI teatas oma API-st, hakkasid arendajad säutsuma GPT-3 abil loodud rakenduste muljetavaldavaid demosid," ütles ta Digital Trendsile. "Nad olid hämmastavalt head. Ehitasin [oma veebisaidi] selleks, et kogukonnal oleks lihtne neid näiteid leida ja leida loomingulisi viise GPT-3 kasutamiseks oma domeeni probleemide lahendamiseks.

Täielikult interaktiivsed sünteetilised isikud GPT-3 ja https://t.co/ZPdnEqR0Hn 🎇

Nad teavad, kes nad on, kus nad töötasid, kes on nende ülemus ja palju muud. See pole su isa bot… pic.twitter.com/kt4AtgYHZL

— Tyler Lastovich (@tylerlastovich) 18. august 2020

Joshi osutab mitmele demole, mis teda tõeliselt mõjutasid. Üks, a paigutuse generaator, renderdab funktsionaalse paigutuse, genereerides lihtsast tekstikirjeldusest JavaScripti koodi. Kas soovite arbuusikujulist nuppu, mis ütleb "telli"? Kas soovite vikerkaarevärviliste nuppudega bännerteksti? Lihtsalt selgitage neid põhitekstis ja Sharif Shameemi paigutuse generaator kirjutab teie eest koodi. Teine, a GPT-3 põhinev otsingumootor loodud Paras Chopra, saab muuta mis tahes kirjaliku päringu vastuseks ja URL-i lingiks lisateabe saamiseks. Teine, Michael Tefula Francis Jervise pöördväärtus, tõlgib juriidilisi dokumente lihtsasse inglise keelde. Veel üks, Raphaël Millière, kirjutab filosoofilisi esseesid. Ja üks teine, Gwern Branwen, suudab loovat väljamõeldisi.

"Ma ei oodanud, et üks keelemudel toimib nii erinevate ülesannete puhul nii hästi, alates keele tõlkimisest ja genereerimisest kuni teksti kokkuvõtete ja olemi väljavõtmiseni," ütles Joshi. "Sisse üks minu enda katsetusi, kasutasin GPT-3 keemiliste põlemisreaktsioonide ennustamiseks ja see õnnestus üllatavalt hästi.

Rohkem, kust see tuli

Ka GPT-3 muutlikud kasutusvõimalused ei lõpe sellega. Arvutiteadlane Tyler Lastovitš on kasutanud GPT-3 luua võlts inimesi, sealhulgas taustalugu, kellega saab seejärel teksti kaudu suhelda. Vahepeal on Andrew Mayne näidanud, et GPT-3 saab olla kasutatakse filmide pealkirjade emotikonideks muutmiseks. Nick Walton, GPT-ga loodud tekstiseiklusmängu taga asuva stuudio Latitude tehnoloogiajuht AI Dungeon tegi hiljuti sama, et näha, kas saab keerata pikemad kirjelduse stringid emotikoniks. Ja Copy.ai, idufirma, mis loob GPT-3 abil tekstikirjutamise tööriistu, kasutab mudelit igakuiselt korduv tulu 67 000 dollarit märtsi seisuga – ja hiljutine 2,9 miljoni dollari suurune rahastamisvoor.

"Kindlasti oli üllatus ja aukartust selle loovuse osas, milleks inimesed GPT-3 on kasutanud," Sandhini Agarwal, A.I. rääkis OpenAI poliitikauurija väljaandele Digital Trends. „Nii paljud kasutusjuhtumid on lihtsalt nii loomingulised ja valdkondades, mida isegi mina ei osanud ette näha, oleks tal palju teadmisi. Seda on huvitav näha. Kuid sellest hoolimata oli GPT-3 – ja kogu see OpenAI uurimissuund – väga lootusega, et see annab meile A.I. üldotstarbelisem mudel. Üldotstarbelise A.I. mudel on [see oleks] üks mudel, mis võiks meeldida teha kõiki neid erinevaid A.I. ülesandeid."

Paljud projektid tõstavad esile GPT-3 ühe suure lisaväärtuse: selle jaoks vajaliku koolituse puudumise. Masinõpe on viimase paarikümne aasta jooksul muutnud kõikvõimalikel viisidel. Kuid masinõpe nõuab õigete vastuste väljastamiseks suurt hulka koolitusnäiteid. GPT-3-l on seevastu "mõne laskmise võime", mis võimaldab seda õpetada midagi tegema vaid väikese peotäie näidete abil.

Usutav bull***t

GPT-3 on väga muljetavaldav. Kuid see esitab ka väljakutseid. Mõned neist on seotud kuludega. Suuremahuliste teenuste puhul, nagu vestlusrobotid, mis võiksid GPT-3 maagiast kasu saada, võib tööriist olla kasutamiseks liiga kallis. (Üks sõnum võib maksta 6 senti, mis ei ole küll päris pankade rikkumine, kuid lisab kindlasti.)

Teised on seotud selle laialdase kättesaadavusega, mis tähendab, et tõenäoliselt on keeruline luua idufirmat ainult selle ümber, kuna karm konkurents vähendab tõenäoliselt marginaale.

Teine on mälu puudumine; selle kontekstiaken jookseb varem veidi alla 2000 sõna korraga, nagu Guy Pierce'i tegelane filmis Memento, selle mälu lähtestatakse. "See piirab oluliselt teksti pikkust, mida see võib genereerida, ligikaudu lühikese lõiguni päringu kohta," ütles Lastovich. "Praktiliselt tähendab see seda, et see ei suuda genereerida pikki dokumente, samal ajal kui alguses juhtunut mäletab."

Võib-olla kõige tähelepanuväärsem väljakutse on aga seotud ka selle suurima tugevusega: selle konfabulatsioonivõimega. Konfabulatsioon on termin, mida arstid sageli kasutavad, kirjeldamaks viisi, kuidas mõned mäluprobleemidega inimesed seda suudavad koostama teavet, mis näib esialgu veenev, kuid mis ei pruugi lähemalt vaadates vastu pidada ülevaatus. GPT-3 võime konfabuleerida on olenevalt kontekstist tugevus ja nõrkus. Loominguliste projektide jaoks võib see olla suurepärane, võimaldades sellel teemadel riffida, muretsemata millegi nii igapäevase pärast kui tõde. Teiste projektide puhul võib see olla keerulisem.

Francis Jervis Augrentedist viitab GPT-3 võimele "genereerida usutavat jama". Nick Walton AI Dungeon ütles: "GPT-3 oskab väga hästi kirjutada loomingulist teksti, mis tundub, nagu oleks selle kirjutanud inimene… nõrkuseks on aga see, et see võib sageli kirjutada nii, nagu oleks väga enesekindel – isegi kui tal pole aimugi, mis vastuseks küsimus on."

Tagasi Hiina toas

Sellega seoses naaseb GPT-3 meid tuttavale John Searle'i Hiina ruumile. 1980. aastal avaldas filosoof Searle üks tuntumaid A.I. mõttekatsed, mis keskendub mõistmise teemale. Hiina tuba palub meil kujutada ette inimest, kes on lukustatud tuppa, kus on palju kirjakeeles, millest nad aru ei saa. Kõik, mida nad tunnevad, on abstraktsed sümbolid. Ruum sisaldab ka reegleid, mis näitavad, kuidas üks sümbolite komplekt vastab teisele. Kui vastamiseks on rida küsimusi, peab ruumi elanik sobitama küsimuste sümbolid vastusesümbolitega. Pärast seda ülesande mitmekordset kordamist saavad nad selle täitmises vilunud - kuigi neil pole aimugi, mida kumbki sümbolikomplekt tähendab, vaid ainult sellest, et üks vastab teisele.

GPT-3 on maailm, mis on eemal keelelisest A.I-st. mis eksisteeris sel ajal, kui Searle kirjutas. Mõistmise küsimus on aga sama okkaline kui kunagi varem.

"See on väga vastuoluline küsitlusvaldkond, nagu ma olen kindel, et te teate, sest seal on nii palju erinevaid arvamused selle kohta, kas üldiselt on keelemudelitel kunagi [tõeline] arusaam,“ ütles OpenAI Sandhini Agarwal. "Kui te praegu küsite minult GPT-3 kohta, siis see toimib mõnikord väga hästi, kuid mõnikord mitte. Teatud mõttes on see juhuslikkus selles, kui mõttekas väljund teile tunduda võib. Mõnikord võite olla väljundist lummatud ja mõnikord on väljund lihtsalt mõttetu. Arvestades seda, ei tundu GPT-3 minu arvates praegu mõistvat.

Tänase Hiina ruumi eksperimendi täiendav pöördepunkt on see, et GPT-3 ei programmeeri igal sammul väike teadlaste meeskond. See on massiivne mudel, mis on koolitatud tohutul andmekogul, mis koosneb Internetist. See tähendab, et see võib teha järeldusi ja eelarvamusi, mis võivad olla võrgus leiduvasse teksti kodeeritud. Kas olete kuulnud väljendit, et olete viie inimese keskmine, kellega te end ümbritsete? Noh, GPT-3 koolitati mitmest allikast, sealhulgas raamatutest, Vikipeediast ja muudest artiklitest pärit peaaegu mõistmatul hulgal tekstiandmetel. Sellest lähtuvalt õpib ta ennustama mis tahes järjestuses järgmist sõna, uurides oma koolitusandmeid, et näha varem kasutatud sõnakombinatsioone. Sellel võivad olla soovimatud tagajärjed.

Stohhastiliste papagoide toitmine

Seda väljakutset suurte keelemudelitega tõsteti esmakordselt esile a murranguline paber nn stohhastiliste papagoide teemal. Stohhastiline papagoi – termin, mille lõid autorid, kes arvasid oma ridadesse Google'i eetilise A.I endise kaasjuhi. meeskond Timnit Gebru — viitab suurele keelemudelile, mis "õmbleb juhuslikult kokku keeleliste vormide järjestused, mida ta on oma tohututes koolitusandmetes täheldanud, vastavalt tõenäosuslikule teabele nende kombineerimise kohta, kuid ilma igasuguse viiteta tähendusele."

"Olen koolitatud suure osa Internetist, on oluline tunnistada, et see sisaldab mõningaid eelarvamusi," Albert Gozzi, ütles teine ​​GPT-3 kasutaja Digital Trendsile. "Ma tean, et OpenAI meeskond teeb kõvasti tööd selle leevendamiseks mitmel erineval viisil, kuid ma eeldan, et see probleem on veel [mõnda] aega."

OpenAI vastumeetmed eelarvamuste eest kaitsmiseks hõlmavad toksilisuse filtrit, mis filtreerib välja teatud keele või teemad. OpenAI töötab ka viiside kallal, kuidas integreerida inimeste tagasisidet, et saaks määrata, millistesse valdkondadesse mitte eksida. Lisaks kontrollib meeskond juurdepääsu tööriistale, nii et tööriista teatud negatiivsetele kasutusviisidele juurdepääsu ei anta.

"Üks põhjusi, miks te pole ehk liiga palju selliseid pahatahtlikke kasutajaid näinud, on see, et meil on sisemiselt intensiivne ülevaatusprotsess," ütles Agarwal. "Meie tööpõhimõte seisneb selles, et iga kord, kui soovite kasutada GPT-3 tootes, mida tegelikult kasutusele võetakse, peavad läbima protsessi, kus meeskond – näiteks inimeste meeskond – vaatab tegelikult üle, kuidas soovite kasutada seda. … Seejärel antakse teile juurdepääs, kui veendute, et see pole pahatahtlik.

Osa sellest on siiski keeruline – muu hulgas seetõttu, et eelarvamus ei ole alati teatud sõnade kasutamise selge juhtum. Jervis märgib, et mõnikord võivad tema GPT-3 üüriteated kalduda stereotüüpse soo [või] klassi poole. oletused." Järelevalveta jättes võib see üürikirjas eeldada subjekti soolist identiteeti, lähtudes nende perekonnast roll või töö. See ei pruugi olla kõige kurvem näide A.I. erapoolikust, kuid see toob esile selle, mis juhtub siis, kui suures koguses andmeid neelatakse ja seejärel tõenäosuslikult keelemudelisse uuesti kokku pannakse.

"Kallutatus ja selge tulu potentsiaal on täiesti olemas ja selle vältimiseks on vaja arendajatelt jõupingutusi," ütles Tyler Lastovich. "OpenAI märgib potentsiaalselt mürgiseid tulemusi, kuid lõppkokkuvõttes lisab see vastutuse, mille kliendid peavad enne mudeli tootmisse panemist põhjalikult mõtlema. Eriti keeruline äärmuslik juhtum, mille ümber arendada, on mudeli kalduvus valetada – kuna sellel puudub arusaam tõesest või valest teabest.

Keelemudelid ja A.I tulevik.

Üheksa kuud pärast oma debüüti täidab GPT-3 kindlasti oma arveldust mängu muutjana. See, mis kunagi oli puhtalt potentsiaalne, on näidanud end potentsiaali realiseerituna. GPT-3 intrigeerivate kasutusjuhtude arv näitab, kuidas teksti genereeriv A.I. on palju mitmekülgsem, kui see kirjeldus võib eeldada.

Mitte, et see oleks nendel päevadel uus laps. Selle aasta alguses edestati GPT-3 suurima keelemudelina. Google Brain tutvustas uut keelemudelit umbes 1,6 triljoni parameetriga, muutes selle üheksa korda suuremaks kui OpenAI pakkumine. Samuti ei ole see keelemudelite jaoks tõenäoliselt tee lõpp. Need on äärmiselt võimsad tööriistad, millel on potentsiaal muuta ühiskonda paremaks ja halvemaks.

Nende tehnoloogiatega on kindlasti probleeme ja need on sellised, millega sellised ettevõtted nagu OpenAI, sõltumatud teadlased ja teised peavad jätkuvalt tegelema. Kuid tervikuna võttes on raske väita, et keelemudelid ei muutu tehisintellekti uurimise üheks kõige huvitavamaks ja olulisemaks piiriks.

Kes oleks arvanud, et tekstigeneraatorid võivad olla nii olulised? Tere tulemast tehisintellekti tulevikku.

Toimetajate soovitused

• Analoog A.I? See kõlab hullumeelselt, kuid see võib olla tulevik
• Lugege A.I kohutavalt ilusat "sünteetilist pühakirja". kes arvab, et see on jumal
• Algoritmiline arhitektuur: kas peaksime laskma A.I. meile hooneid projekteerida?
• Naised byte'iga: Vivienne Mingi plaan lahendada "segased inimprobleemid" koos A.I.
• Miks võiks robotite peitust mängima õpetamine olla järgmise põlvkonna A.I võti?