OpenAI GPT-2 teksta ģenerēšanas algoritms kādreiz tika uzskatīts par pārāk bīstamu, lai to atbrīvotu. Tad tas tika atbrīvots - un pasaule turpināja griezties.
Saturs
- Kam tas ir labs? Pilnīgi viss
- Vairāk no kurienes tas nāca
- Ticams bull***t
- Atpakaļ ķīniešu istabā
- Stohastisko papagaiļu barošana
- Valodu modeļi un A.I nākotne
Retrospektīvi skatoties, salīdzinoši nelielais GPT-2 valodas modelis (niecīgi 1,5 miljardi parametru) izskatās niecīgs līdzās tā turpinājumam GPT-3, kas lepojas ar milzīgiem 175 miljardiem parametru, tika apmācīts 45 TB teksta datu un, kā ziņots, maksāja (vismaz) USD 12 miljonus. būvēt.
"Mūsu perspektīva un toreizējais skatījums bija iestudēta versija, kas bija tā, it kā sākotnēji jūs izdotu mazāks modelis, un jūs gaidāt un redzēsit, kas notiks,” Sandhini Agarwal, A.I. OpenAI politikas pētnieks pastāstīja Digital Tendences. “Ja lietas izskatās labi, tad jūs izlaižat nākamā modeļa izmēru. Iemesls, kāpēc mēs izvēlējāmies šādu pieeju, ir tāpēc, ka, godīgi sakot, tie ir [ne tikai mums neatklāti ūdeņi, bet arī] neatzīmēti ūdeņi visai pasaulei.
Saistīts
- Smieklīgā formula: kāpēc mašīnu radīts humors ir A.I. svētais grāls?
- A.I. nākotne: 4 lielas lietas, kam jāpievērš uzmanība dažu nākamo gadu laikā
- Emociju sensors A.I. ir šeit, un tas varētu būt jūsu nākamajā darba intervijā
Pārlēkt uz mūsdienām, deviņus mēnešus vēlāk GPT-3 izlaidums pagājušajā vasarā, un tas dod spēku vairāk nekā 300 pieteikumu vienlaikus ģenerējot milzīgus 4,5 miljardus vārdu dienā. Iestrādāts tikai ar dažiem pirmajiem dokumenta teikumiem, tas spēj ģenerēt šķietami nebeidzamu tekstu tādā pašā stilā, pat iekļaujot fiktīvus citātus.
Vai tas iznīcinās pasauli? Pamatojoties uz pagātnes vēsturi, gandrīz noteikti nē. Taču tas rada dažas spēles mainošas A.I lietojumprogrammas. iespējams, vienlaikus uzdodot dažus ļoti dziļus jautājumus.
Kam tas ir labs? Pilnīgi viss
Nesen piezvanīja startup dibinātājs Frensiss Džērviss Augrented, izmantoja GPT-3, lai palīdzētu cilvēkiem, kuri cīnās ar īres maksu, rakstīt vēstules par īres atlaidēm. "Šeit es šo lietošanas gadījumu raksturotu kā" stila pārsūtīšanu", "Digital Trends sacīja Džērviss. "[Tas ietver] aizzīmju punktus, kuriem pat nav jābūt perfektā angļu valodā, un [izvada] divus līdz trīs teikumus formālā valodā."
Ieteiktie videoklipi
Pateicoties šim īpaši jaudīgajam valodas modelim, Jervis rīks ļauj īrniekiem aprakstīt savu situāciju un iemeslu, kāpēc viņiem ir nepieciešams izlīgums ar atlaidi. "Vienkārši ievadiet dažus vārdus par to, kāpēc zaudējāt ienākumus, un pēc dažām sekundēm jūs saņemsit ieteiktu pārliecinošu, formālu rindkopu, ko pievienot savai vēstulei," apgalvo uzņēmums.
Tā ir tikai aisberga redzamā daļa. Kad Aditja Džoši, mašīnmācības zinātnieks un bijušais Amazon Web Services inženieris, pirmo reizi saskārās ar GPT-3, viņš bija tik pārsteigts par redzēto, ka izveidoja vietni, www.gpt3examples.com, lai izsekotu labākajiem.
"Drīz pēc tam, kad OpenAI paziņoja par savu API, izstrādātāji sāka čivināt iespaidīgas lietojumprogrammu demonstrācijas, kas izveidotas, izmantojot GPT-3," viņš teica Digital Trends. "Viņi bija pārsteidzoši labi. Es izveidoju [savu vietni], lai sabiedrībai būtu viegli atrast šos piemērus un atklāt radošus veidus, kā izmantot GPT-3, lai atrisinātu problēmas savā domēnā.
Pilnībā interaktīvas sintētiskās personas ar GPT-3 un https://t.co/ZPdnEqR0Hn 🎇
Viņi zina, kas viņi ir, kur strādāja, kas ir viņu priekšnieks un daudz ko citu. Tas nav jūsu tēva bots… pic.twitter.com/kt4AtgYHZL
— Tailers Lastovičs (@tylerlastovich) 2020. gada 18. augusts
Džoši norāda uz vairākām demonstrācijām, kas viņu patiešām ietekmēja. Viens, a izkārtojuma ģenerators, atveido funkcionālu izkārtojumu, ģenerējot JavaScript kodu no vienkārša teksta apraksta. Vai vēlaties arbūza formā pogu ar uzrakstu “abonēt”? Vai vēlaties kādu reklāmkarogu tekstu ar vairākām pogām varavīksnes krāsās? Vienkārši izskaidrojiet tos pamattekstā, un Sharif Shameem izkārtojuma ģenerators uzrakstīs kodu jūsu vietā. Cits, a Uz GPT-3 balstīta meklētājprogramma Izveidoja Paras Chopra, var pārvērst jebkuru rakstisku vaicājumu atbildē un URL saitē, lai sniegtu vairāk informācijas. Vēl viens, Frensisa Džērvisa apgrieztais, ko veidojis Maikls Tefula, tulko juridiskos dokumentus vienkāršā angļu valodā. Vēl viens, Rafaels Miljērs, raksta filozofiskas esejas. Un vēl viens, ko autors Gverns Brenvens, var radīt radošu daiļliteratūru.
"Es negaidīju, ka vienas valodas modelis tik labi veiktu tik daudzveidīgus uzdevumus, sākot no valodas tulkošanas un ģenerēšanas līdz teksta apkopošanai un entītiju izvilkšanai," sacīja Džoši. “Iekšā viens no maniem eksperimentiem, es izmantoju GPT-3, lai prognozētu ķīmiskās sadegšanas reakcijas, un tas izdevās pārsteidzoši labi.
Vairāk no kurienes tas nāca
Ar to arī GPT-3 transformatīvā izmantošana nebeidzas. Dator zinātnieks Tailers Lastovičs ir izmantojis GPT-3, lai radīt viltus cilvēkus, tostarp aizmugures stāsti, ar kuriem pēc tam var sazināties, izmantojot tekstu. Tikmēr Endrjū Meins ir parādījis, ka GPT-3 var būt izmanto, lai filmu nosaukumus pārvērstu emocijzīmēs. Niks Voltons, Latitude galvenais tehnoloģiju speciālists, studija, kas veido GPT ģenerētu teksta piedzīvojumu spēli AI Dungeon nesen izdarīja to pašu, lai redzētu, vai tas var pagriezties garākas teksta apraksta virknes emocijzīmēs. Un Copy.ai, jaunuzņēmums, kas veido tekstu rakstīšanas rīkus, izmantojot GPT-3, izmanto modeli, lai tas būtu vērtīgs, un ikmēneša regulāri ieņēmumi USD 67 000 apmērā martam - un nesenā finansējuma kārta 2,9 miljonu ASV dolāru apmērā.
Pēdējo pāris gadu desmitu laikā mašīnmācība ir mainījusi spēles dažādos veidos.
"Noteikti bija pārsteigums un liela bijība attiecībā uz radošumu, kam cilvēki ir izmantojuši GPT-3." Sandhini Agarwal, A.I. OpenAI politikas pētnieks pastāstīja Digital Trends. “Tik daudzi lietošanas gadījumi ir tik radoši, un jomās, par kurām pat es nebiju paredzējis, tai būtu daudz zināšanu. To ir interesanti redzēt. Tomēr, ņemot vērā to, GPT-3 — un viss šis OpenAI pētniecības virziens — bija ļoti cerēts, ka tas mums dos A.I. modelis, kas bija vispārīgāks. Visa jēga no vispārējas nozīmes A.I. modelis ir [tas būtu] viens modelis, kam varētu patikt visas šīs dažādās A.I. uzdevumi.”
Daudzi projekti izceļ vienu no lielajām GPT-3 pievienotajām vērtībām: tam nepieciešamās apmācības trūkums. Pēdējo pāris gadu desmitu laikā mašīnmācība ir mainījusies visos veidos. Taču mašīnmācībai ir nepieciešams liels skaits apmācības piemēru, lai varētu izvadīt pareizas atbildes. No otras puses, GPT-3 ir “dažu sitienu spēja”, kas ļauj to iemācīt kaut ko darīt, izmantojot tikai nelielu sauju piemēru.
Ticams bull***t
GPT-3 ir ļoti iespaidīgs. Bet tas arī rada izaicinājumus. Daži no tiem ir saistīti ar izmaksām: liela apjoma pakalpojumiem, piemēram, tērzēšanas robotiem, kas varētu gūt labumu no GPT-3 burvības, rīks var būt pārāk dārgs lietošanai. (Viena ziņa varētu maksāt 6 centus, kas, lai arī ne gluži banku sagrauj, noteikti summējas.)
Citi ir saistīti ar tā plašo pieejamību, kas nozīmē, ka, visticamāk, būs grūti izveidot tikai jaunuzņēmumu, jo sīvā konkurence, iespējams, samazinās peļņas procentus.
Vēl viens ir atmiņas trūkums; tā konteksta logs vienlaikus darbojas nedaudz mazāk par 2000 vārdiem, piemēram, Gaja Pīrsa varonis filmā Memento, tā atmiņa ir atiestatīta. "Tas ievērojami ierobežo teksta garumu, ko tas var ģenerēt, aptuveni līdz īsai rindkopai katram pieprasījumam," sacīja Lastovičs. "Praktiski runājot, tas nozīmē, ka tā nespēj ģenerēt garus dokumentus, vienlaikus atceroties, kas notika sākumā."
Tomēr, iespējams, visievērojamākais izaicinājums ir saistīts arī ar tā lielāko spēku: tās konfabulācijas spējām. Konfabulācija ir termins, ko ārsti bieži lieto, lai aprakstītu veidu, kā daži cilvēki ar atmiņas problēmām to spēj safabricēt informāciju, kas sākotnēji šķiet pārliecinoša, bet kas ne vienmēr ir izturīga, iepazīstoties tuvāk pārbaude. GPT-3 spēja konfabulēties atkarībā no konteksta ir stiprā un vājā puse. Radošiem projektiem tas var būt lieliski, ļaujot tai pārrunāt tēmas, neuztraucoties par kaut ko tik ikdienišķu kā patiesība. Citiem projektiem tas var būt sarežģītāks.
Francis Jervis no Augrented atsaucas uz GPT-3 spēju "ģenerēt ticamas muļķības". Niks Voltons no AI Dungeon teica: “GPT-3 ļoti labi spēj rakstīt radošu tekstu, kas, šķiet, to varētu būt rakstījis cilvēks… Tomēr trūkumi ir tādi, ka tas bieži var rakstīt tā, it kā būtu ļoti pārliecināts, pat ja tam nav ne jausmas, kāda ir atbilde uz jautājums ir."
Atpakaļ ķīniešu istabā
Šajā sakarā GPT-3 atgriež mūs pazīstamajā Džona Sērla ķīniešu istabas pamatnē. 1980. gadā Sērls, filozofs, publicēja viens no pazīstamākajiem A.I. domu eksperimenti, koncentrējoties uz tēmu “izpratne”. Ķīniešu istaba lūdz mums iedomāties cilvēku, kas ir ieslēgts telpā, kurā ir daudz raksta valodā, kuru viņi nesaprot. Viņi atpazīst tikai abstraktus simbolus. Telpā ir arī noteikumu kopums, kas parāda, kā viens simbolu kopums atbilst citam. Ņemot vērā virkni jautājumu, uz kuriem jāatbild, telpas iemītniekam ir jāsaskaņo jautājumu simboli ar atbilžu simboliem. Daudzas reizes atkārtojot šo uzdevumu, viņi kļūst prasmīgi tā izpildē — lai gan viņiem nav ne jausmas, ko nozīmē kāds simbolu kopums, tikai tas, ka viens atbilst otram.
GPT-3 ir pasaule, kas ir tālu no lingvistiskā A.I. kas pastāvēja Sērla rakstīšanas laikā. Tomēr jautājums par izpratni ir tikpat sarežģīts kā jebkad.
"Šī ir ļoti pretrunīga jautāšanas joma, kā es esmu pārliecināts, ka jūs zināt, jo ir tik daudz dažādu viedokļi par to, vai vispār valodu modeļiem … kādreiz būtu [patiesa] izpratne,” sacīja OpenAI Sandhini. Agarvals. “Ja jūs man jautājat par GPT-3 šobrīd, tas dažkārt darbojas ļoti labi, bet citreiz ne pārāk labi. Savā ziņā ir tāda nejaušība, cik nozīmīgs jums varētu šķist rezultāts. Dažreiz rezultāts jūs sajūsmina, un dažreiz rezultāts būs vienkārši muļķīgs. Ņemot vērā to, šobrīd, manuprāt, šķiet, ka GPT-3 nav izpratnes.
Papildu pavērsiens Ķīnas istabas eksperimentam šodien ir tas, ka GPT-3 ne katrā solī ieprogrammē neliela pētnieku komanda. Tas ir milzīgs modelis, kas ir apmācīts, izmantojot milzīgu datu kopu, kas sastāv no interneta. Tas nozīmē, ka tas var uztvert secinājumus un novirzes, kas var tikt iekodētas tiešsaistē atrodamajā tekstā. Vai esat dzirdējuši izteicienu, ka jūs esat vidēji no pieciem cilvēkiem, ar kuriem jūs sevi ieskauj? GPT-3 tika apmācīts par gandrīz neizdibināmu teksta datu apjomu no vairākiem avotiem, tostarp grāmatām, Wikipedia un citiem rakstiem. No tā tas iemācās paredzēt nākamo vārdu jebkurā secībā, izpētot apmācības datus, lai redzētu iepriekš lietotās vārdu kombinācijas. Tam var būt neparedzētas sekas.
Stohastisko papagaiļu barošana
Šis izaicinājums ar lieliem valodu modeļiem pirmo reizi tika izcelts a revolucionārs papīrs par tematu par tā sauktajiem stohastiskajiem papagaiļiem. Stohastisks papagailis — termins, ko ieviesuši autori, kuri savās rindās iekļāva bijušo Google ētikas A.I. komanda Timnit Gebru — atsaucas uz lielu valodas modeli, kas “nejauši [savieno] lingvistisko formu secības, ko tas ir novērojis savos plašajos apmācības datos, saskaņā ar varbūtības informāciju par to kombināciju, bet bez jebkādas atsauces līdz nozīmei.”
"Tā kā ir apmācīts par lielu interneta daļu, ir svarīgi atzīt, ka tas nesīs dažus no tā aizspriedumiem," Alberts Goci, cits GPT-3 lietotājs, pastāstīja Digital Trends. "Es zinu, ka OpenAI komanda cītīgi strādā, lai to mazinātu dažos dažādos veidos, taču es ceru, ka tas [kādu] laiku būs problēma."
OpenAI pretpasākumi aizsardzībai pret aizspriedumiem ietver toksicitātes filtru, kas filtrē noteiktu valodu vai tēmas. OpenAI arī strādā pie veidiem, kā integrēt cilvēku atgriezenisko saiti, lai varētu norādīt, kurās jomās nevajadzētu novirzīties. Turklāt komanda kontrolē piekļuvi rīkam, lai noteiktiem negatīviem rīka lietojumiem netiktu piešķirta piekļuve.
"Neobjektivitāte un skaidras atdeves potenciāls noteikti pastāv, un, lai izvairītos no tā, izstrādātājiem ir jāpieliek pūles."
"Viens no iemesliem, kāpēc jūs, iespējams, neesat redzējis pārāk daudz šādu ļaunprātīgo lietotāju, ir tas, ka mums ir intensīvs iekšējais pārskatīšanas process," sacīja Agarvals. “Mēs strādājam tā, ka katru reizi, kad vēlaties izmantot GPT-3 produktā, kas faktiski tiks izvietots, jūs ir jāiet cauri procesam, kurā komanda, piemēram, cilvēku komanda, faktiski pārskata, kā jūs vēlaties izmantot to. … Pēc tam, pārliecinoties, ka tas nav kaut kas ļaunprātīgs, jums tiks piešķirta piekļuve.
Tomēr daži no tiem ir sarežģīti — ne tikai tāpēc, ka neobjektivitāte ne vienmēr ir nepārprotams dažu vārdu lietošanas gadījums. Džērviss atzīmē, ka dažkārt viņa GPT-3 īres ziņojumi var "sliecēties uz stereotipisku dzimuma [vai] klasi pieņēmumi." Ja tas tiek atstāts bez uzraudzības, tas var pieņemt subjekta dzimuma identitāti īres vēstulē, pamatojoties uz viņu ģimeni loma vai darbs. Šis, iespējams, nav vissmagākais A.I. piemērs. neobjektivitāti, bet tas izceļ to, kas notiek, kad tiek uzņemti lieli datu apjomi un pēc tam varbūtēji atkārtoti apkopoti valodas modelī.
"Neobjektivitāte un skaidras atdeves potenciāls noteikti pastāv, un no izstrādātājiem ir jāpieliek pūles, lai izvairītos no tā," sacīja Tailers Lastovičs. “OpenAI atzīmē potenciāli toksiskus rezultātus, taču galu galā tas palielina atbildību, par ko klientiem ir rūpīgi jāpārdomā pirms modeļa laišanas ražošanā. Īpaši sarežģīts gadījums, kas jāizstrādā, ir modeļa tieksme melot, jo tam nav jēdziena par patiesu vai nepatiesu informāciju.
Valodu modeļi un A.I nākotne
Deviņus mēnešus pēc debijas GPT-3 noteikti atbilst saviem rēķiniem kā spēļu mainītājs. Tas, kas kādreiz bija tīri potenciāls, ir izrādījies potenciāls realizēts. GPT-3 intriģējošu lietošanas gadījumu skaits parāda, kā tekstu ģenerējoša A.I. ir daudz daudzpusīgāks, nekā tas varētu likt domāt.
Ne tas, ka mūsdienās tas ir jaunais bērns. Šī gada sākumā GPT-3 tika apsteigts kā lielākais valodas modelis. Google Brain debitēja ar jaunu valodas modeli ar aptuveni 1,6 triljoniem parametru, padarot to deviņas reizes lielāku par OpenAI piedāvājumu. Tas arī, visticamāk, nebūs valodas modeļu ceļa beigas. Tie ir ārkārtīgi spēcīgi instrumenti, kas var pārveidot sabiedrību, potenciāli uz labu un uz sliktu.
Ar šīm tehnoloģijām noteikti ir problēmas, un tās ir jāturpina risināt tādiem uzņēmumiem kā OpenAI, neatkarīgiem pētniekiem un citiem. Taču kopumā ir grūti apgalvot, ka valodu modeļi nekļūst par vienu no interesantākajām un svarīgākajām mākslīgā intelekta pētniecības robežām.
Kurš būtu domājis, ka teksta ģeneratori varētu būt tik ļoti svarīgi? Laipni lūdzam mākslīgā intelekta nākotnē.
Redaktoru ieteikumi
- Analogais A.I.? Tas izklausās traki, bet tā varētu būt nākotne
- Izlasiet šausminoši skaisto A.I. — sintētisko rakstu pantu. kas domā, ka tas ir Dievs
- Algoritmiskā arhitektūra: vai mums vajadzētu ļaut A.I. projektēt ēkas mums?
- Sievietes ar baitu: Vivjenas Mingas plāns atrisināt “netīrās cilvēciskās problēmas” ar A.I.
- Kāpēc mācīšana robotiem spēlēt paslēpes varētu būt atslēga nākamās paaudzes A.I.
