Kaip GPT-3 tyliai įsijungia į A.I. Revoliucija

Kam tai naudinga? Absoliučiai viskas

Neseniai paskambino startuolio įkūrėjas Francis Jervis Padidintas, naudojo GPT-3, kad padėtų žmonėms, turintiems problemų dėl nuomos, rašyti laiškus dėl nuomos nuolaidų. „Naudojimo atvejį čia apibūdinčiau kaip „stiliaus perkėlimą“, – „Digital Trends“ sakė Jervis. „[Ji paima] ženklelius, kurie net nebūtinai turi būti tobula anglų kalba, ir [išveda] nuo dviejų iki trijų sakinių oficialia kalba.

Naudojant šį itin galingą kalbos modelį, „Jervis“ įrankis leidžia nuomininkams apibūdinti savo situaciją ir priežastį, kodėl jiems reikia atsiskaitymo su nuolaida. „Tiesiog įveskite keletą žodžių apie tai, kodėl praradote pajamas, ir po kelių sekundžių gausite pasiūlytą įtikinamą, formalią pastraipą, kurią pridėsite prie savo laiško“, – tvirtina bendrovė.

Tai tik ledkalnio viršūnė. Kada Aditya Joshi, mašininio mokymosi mokslininkas ir buvęs „Amazon Web Services“ inžinierius, pirmą kartą susidūręs su GPT-3, jį taip nustebino tai, ką pamatė, kad sukūrė svetainę, www.gpt3examples.com, kad galėtumėte sekti geriausius.

„Netrukus po to, kai OpenAI paskelbė apie savo API, kūrėjai tviteryje pradėjo skelbti įspūdingas programų, sukurtų naudojant GPT-3, demonstracines versijas“, – jis pasakojo „Digital Trends“. „Jie buvo stebėtinai geri. Sukūriau [savo svetainę], kad bendruomenė galėtų lengvai rasti šiuos pavyzdžius ir atrasti kūrybingus būdus, kaip naudoti GPT-3 sprendžiant savo srities problemas.

Visiškai interaktyvios sintetinės asmenybės su GPT-3 ir https://t.co/ZPdnEqR0Hn 🎇

Jie žino, kas jie yra, kur dirbo, kas yra jų viršininkas ir dar daugiau. Tai ne tavo tėvo botas… pic.twitter.com/kt4AtgYHZL

— Taileris Lastovičius (@tylerlastovich) 2020 m. rugpjūčio 18 d

Joshi nurodo keletą demonstracinių versijų, kurios jam tikrai padarė įtaką. Vienas, a išdėstymo generatorius, pateikia funkcinį išdėstymą generuodamas JavaScript kodą iš paprasto teksto aprašo. Norite mygtuko su užrašu „Prenumeruoti“ arbūzo pavidalu? Norite reklamjuostės teksto su vaivorykštės spalvų mygtukais? Tiesiog paaiškinkite juos pagrindiniame tekste, o Sharif Shameem išdėstymo generatorius parašys kodą už jus. Kitas, a GPT-3 pagrįstas paieškos variklis sukūrė Paras Chopra, bet kurią rašytinę užklausą gali paversti atsakymu ir URL nuoroda, suteikiančia daugiau informacijos. Kitas, Michaelo Tefulos Francis Jervis atvirkštinis variantas, verčia teisinius dokumentus į paprastą anglų kalbą. Dar vienas, Raphaël Millière, rašo filosofines esė. Ir vienas kitas, Gwern Branwen, gali kurti kūrybinę fantastiką.

„Nesitikėjau, kad vienos kalbos modelis taip gerai atliks tokias įvairias užduotis – nuo ​​kalbos vertimo ir generavimo iki teksto apibendrinimo ir objektų ištraukimo“, – sakė Joshi. „Į vienas iš mano paties eksperimentųNaudojau GPT-3 cheminėms degimo reakcijoms prognozuoti, ir tai pavyko stebėtinai gerai.

Daugiau iš kur tai atsirado

Transformacinis GPT-3 naudojimas taip pat nesibaigia. Kompiuterių mokslininkas Taileris Lastovičius naudojo GPT-3 sukurti netikrus žmones, įskaitant užkulisius, su kuriais vėliau galima bendrauti per tekstą. Tuo tarpu Andrew Mayne'as parodė, kad GPT-3 gali būti naudojamas filmų pavadinimus paversti jaustukais. Nickas Waltonas, Platumos, GPT sukurto tekstinio nuotykių žaidimo studijos, vyriausiasis technologijų pareigūnas AI požemis neseniai padarė tą patį, kad pažiūrėtų, ar gali pasisukti ilgesnes teksto aprašymo eilutes į jaustukus. Ir Copy.ai, startuolis, kuriantis tekstų rašymo įrankius naudodamas GPT-3, naudojasi šiuo modeliu, kas yra verta, kas mėnesį pasikartojančios 67 000 USD pajamos kovo mėn. – ir neseniai 2,9 mln.

„Neabejotinai buvo netikėta ir didžiulė pagarba dėl kūrybiškumo, kuriam žmonės naudojo GPT-3“, Sandhini Agarwal, A.I. „Digital Trends“ pasakojo „OpenAI“ politikos tyrinėtojas. „Tiek daug naudojimo atvejų yra tokie kūrybingi, o srityse, kurių net aš nenumačiau, ji turėtų daug žinių. Tai įdomu pamatyti. Tačiau tai pasakius, GPT-3 – ir visa ši tyrimų kryptis, kurios siekė OpenAI – buvo labai su viltimi, kad tai suteiks mums A.I. modelis, kuris buvo labiau bendros paskirties. Visa bendros paskirties A.I. modelis yra [tai būtų] vienas modelis, kuriam patiktų atlikti visus šiuos skirtingus A.I. užduotys."

Daugelis projektų pabrėžia vieną iš didžiausių GPT-3 pridėtinių verčių: tam reikalingo mokymo trūkumą. Mašininis mokymasis per pastaruosius porą dešimtmečių pasikeitė įvairiais būdais. Tačiau mašininiam mokymuisi reikia daugybės mokymo pavyzdžių, kad būtų galima pateikti teisingus atsakymus. Kita vertus, GPT-3 turi „keleto šūvių gebėjimą“, leidžiantį jį išmokyti ką nors daryti naudojant tik nedidelę saują pavyzdžių.

Tikėtina bull***t

GPT-3 yra labai įspūdingas. Tačiau tai taip pat kelia iššūkių. Kai kurie iš jų yra susiję su išlaidomis: didelės apimties paslaugoms, pvz., pokalbių robotams, kurioms gali būti naudinga GPT-3 magija, įrankis gali būti per brangus naudoti. (Vienas pranešimas gali kainuoti 6 centus, o tai, nors ir ne visai palaužia bankų, tikrai prideda.)

Kiti susiję su plačiai paplitusiu jo prieinamumu, o tai reiškia, kad greičiausiai bus sunku sukurti startuolį išskirtinai aplinkui, nes arši konkurencija greičiausiai sumažins maržas.

Kitas yra atminties trūkumas; jo konteksto lange vienu metu yra šiek tiek mažiau nei 2000 žodžių, kaip ir Guy Pierce'o personažas filme Atminimas, jo atmintis nustatoma iš naujo. „Tai labai apriboja teksto, kurį jis gali generuoti, ilgį, maždaug iki trumpos pastraipos užklausoje“, - sakė Lastovičius. „Praktiškai kalbant, tai reiškia, kad ji negali generuoti ilgų dokumentų, nors vis tiek atsimena, kas nutiko pradžioje.

Tačiau turbūt didžiausias iššūkis taip pat yra jo didžiausia stiprybė: konfabuliacijos sugebėjimai. Konfabuliacija yra terminas, kurį dažnai vartoja gydytojai, norėdami apibūdinti kai kurių atminties problemų turinčių žmonių gebėjimą sukurti informaciją, kuri iš pradžių atrodo įtikinama, bet kuri nebūtinai atlaiko patikrinimą atidžiau inspekcija. GPT-3 gebėjimas konfabuliuoti, priklausomai nuo konteksto, yra stiprybė ir silpnybė. Kūrybiniams projektams tai gali būti puiku, leidžianti nagrinėti temas, nesijaudinant dėl ​​nieko tokio žemiško kaip tiesa. Kitų projektų atveju tai gali būti sudėtingesnė.

Francis Jervis iš Augrented nurodo GPT-3 gebėjimą „sukurti tikėtiną nesąmonę“. Nickas Waltonas iš AI požemis pasakė: „GPT-3 labai gerai rašo kūrybinį tekstą, kuris, atrodo, galėjo būti parašytas žmogaus... Vienas iš jo Tačiau trūkumas yra tas, kad jis dažnai gali rašyti taip, tarsi būtų labai pasitikintis savimi, net jei nežino, ką atsakyti į klausimas yra."

Atgal į kinų kambarį

Šiuo atžvilgiu GPT-3 grąžina mus į pažįstamą Johno Searle'o kinų kambario pagrindą. 1980 metais Searle'as, filosofas, paskelbė vienas žinomiausių A.I. minties eksperimentai, orientuota į „supratimo“ temą. „Kinų kambarys“ prašo įsivaizduoti žmogų, uždarytą kambaryje, kuriame daug raštų jiems nesuprantama kalba. Viskas, ką jie atpažįsta, yra abstraktūs simboliai. Kambaryje taip pat yra taisyklių rinkinys, parodantis, kaip vienas simbolių rinkinys atitinka kitą. Turėdamas daugybę klausimų, į kuriuos reikia atsakyti, kambario gyventojas turi suderinti klausimų simbolius su atsakymų simboliais. Daug kartų pakartoję šią užduotį, jie įgudo ją atlikti – nors ir nesupranta, ką reiškia bet kuris simbolių rinkinys, tik kad vienas atitinka kitą.

GPT-3 yra pasaulis, nutolęs nuo kalbinių A.I. kuris egzistavo tuo metu, kai Searle'as rašė. Tačiau supratimo klausimas kaip niekad sudėtingas.

„Tai yra labai prieštaringa klausimų sritis, kaip aš tikiu, kad jūs žinote, nes yra tiek daug skirtingų nuomonės, ar apskritai kalbos modeliai kada nors turės [tikrą] supratimą“, – sakė OpenAI Sandhini. Agarvalis. „Jei dabar manęs klausiate apie GPT-3, kartais jis veikia labai gerai, bet kartais nelabai. Yra toks atsitiktinumas, koks reikšmingas jums gali atrodyti rezultatas. Kartais rezultatas gali būti sužavėtas, o kartais rezultatas bus tiesiog beprasmis. Atsižvelgiant į tai, šiuo metu, mano nuomone, GPT-3 neatrodo suprantantis.

Papildomas Kinijos kambario eksperimento posūkis yra tas, kad GPT-3 ne kiekviename žingsnyje programuoja maža tyrėjų komanda. Tai didžiulis modelis, parengtas remiantis didžiuliu duomenų rinkiniu, kurį sudaro internetas. Tai reiškia, kad jis gali priimti išvadas ir paklaidas, kurios gali būti užkoduotos internete rastame tekste. Ar girdėjote posakį, kad esate vidutinis iš penkių žmonių, su kuriais save supate? Na, GPT-3 buvo apmokytas beveik nesuvokiamais tekstinių duomenų kiekiais iš kelių šaltinių, įskaitant knygas, Vikipediją ir kitus straipsnius. Iš to ji išmoksta nuspėti kitą žodį bet kokia seka, išgrynindama mokymo duomenis, kad pamatytų anksčiau naudotus žodžių junginius. Tai gali turėti nenumatytų pasekmių.

Maitinti stochastines papūgas

Šis didelių kalbų modelių iššūkis pirmą kartą buvo pabrėžtas a novatoriškas popierius vadinamųjų stochastinių papūgų tema. Stochastinė papūga – terminas, kurį sukūrė autoriai, įtraukę į savo gretas buvusį „Google“ etikos A.I. komanda Timnit Gebru – nurodo didelį kalbos modelį, kuris „atsitiktinai [sujungia] kalbinių formų sekas, kurias jis pastebėjo savo didžiuliuose mokymo duomenims, remdamasis tikimybine informacija apie jų derinimą, bet be jokios nuorodos į prasmę“.

„Kadangi buvo išmokyta naudotis didele interneto dalimi, svarbu pripažinti, kad jis turės tam tikrų šališkumo. Albertas Gozzi, kitas GPT-3 vartotojas, pasakojo „Digital Trends“. „Žinau, kad „OpenAI“ komanda sunkiai dirba, kad tai sušvelnintų keliais skirtingais būdais, bet tikiuosi, kad tai dar kurį laiką bus problema.

OpenAI atsakomosios priemonės, skirtos apsisaugoti nuo šališkumo, apima toksiškumo filtrą, kuris filtruoja tam tikrą kalbą ar temas. „OpenAI“ taip pat ieško būdų, kaip integruoti žmonių grįžtamąjį ryšį, kad būtų galima nurodyti, į kurias sritis nenuklysti. Be to, komanda kontroliuoja prieigą prie įrankio, kad tam tikriems neigiamiems įrankio panaudojimams prieiga nebūtų suteikta.

„Viena iš priežasčių, kodėl galbūt nematėte per daug tokių kenkėjiškų vartotojų, yra ta, kad mūsų viduje vykdomas intensyvus peržiūros procesas“, – sakė Agarwal. „Mes dirbame taip, kad kiekvieną kartą, kai norite naudoti GPT-3 gaminyje, kuris iš tikrųjų būtų įdiegtas, jūs turi pereiti procesą, kai komanda, pavyzdžiui, žmonių komanda, iš tikrųjų peržiūri, kaip norite naudoti tai. … Tada, įsitikinę, kad tai nėra kažkas kenkėjiško, jums bus suteikta prieiga.

Tačiau kai kurie iš jų yra sudėtingi – ne tik todėl, kad šališkumas ne visada yra aiškus tam tikrų žodžių vartojimo atvejis. Jervis pažymi, kad kartais jo GPT-3 nuomos pranešimai gali būti linkę į stereotipinę lyties [arba] ​​klasę. prielaidos“. Jei jis paliekamas be priežiūros, nuomos laiške, remiantis jo šeima, gali būti nustatyta tiriamojo lytinė tapatybė vaidmenį ar darbą. Tai gali būti ne pats skaudžiausias A.I. pavyzdys. šališkumo, tačiau pabrėžiama, kas nutinka, kai gaunami dideli duomenų kiekiai ir tikimybiškai iš naujo surenkami kalbos modelyje.

„Tikrai egzistuoja šališkumas ir galimybė gauti aiškią grąžą, todėl norint to išvengti, reikia iš kūrėjų pastangų“, – sakė Tyleris Lastovičius. „OpenAI pažymi potencialiai toksiškus rezultatus, tačiau galiausiai tai padidina atsakomybę, kurią klientai turi gerai pagalvoti prieš pradėdami gaminti modelį. Ypač sudėtingas atvejis yra modelio polinkis meluoti, nes jis neturi tikros ar klaidingos informacijos sampratos.

Kalbos modeliai ir A.I. ateitis.

Praėjus devyniems mėnesiams po debiuto, GPT-3 tikrai pasiteisina kaip žaidimų keitiklis. Tai, kas kažkada buvo grynai potencialas, pasirodė esąs realizuotas. Intriguojančių GPT-3 naudojimo atvejų skaičius parodo, kaip tekstą generuojantis A.I. yra daug universalesnis, nei gali pasiūlyti šis aprašymas.

Ne tai, kad šiais laikais tai naujas vaikas. Anksčiau šiais metais GPT-3 buvo aplenktas kaip didžiausias kalbos modelis. „Google Brain“ pristatė naują kalbos modelį su maždaug 1,6 trilijono parametrų, todėl jis devynis kartus didesnis nei OpenAI pasiūlymas. Taip pat greičiausiai tai nebus kalbos modelių kelio pabaiga. Tai labai galingi įrankiai, galintys pakeisti visuomenę, galbūt į gerąją ir blogąją pusę.

Iššūkių, susijusių su šiomis technologijomis, neabejotinai yra, ir tokius įmonės, kaip „OpenAI“, nepriklausomi tyrėjai ir kt., turi toliau spręsti. Tačiau apskritai sunku teigti, kad kalbos modeliai netampa viena įdomiausių ir svarbiausių dirbtinio intelekto tyrimų ribų.

Kas galėjo pagalvoti, kad teksto generatoriai gali būti tokie svarbūs? Sveiki atvykę į dirbtinio intelekto ateitį.

Redaktorių rekomendacijos

• Analoginis A.I.? Skamba beprotiškai, bet tai gali būti ateitis
• Perskaitykite siaubingai gražų A.I. „sintetinį raštą“. kad mano, kad tai Dievas
• Algoritminė architektūra: ar turėtume leisti A.I. projektuoti pastatus mums?
• Moterys su baitu: Vivienne Ming planas išspręsti „netvarkingas žmogaus problemas“ su A.I.
• Kodėl robotų mokymas žaisti slėpynių gali būti raktas į naujos kartos A.I.