GPT-3: OpenAI jaunais teksta ģenerēšanas neironu tīkls ir klāt

Kad 2019. gadā tika izveidots teksta ģenerēšanas algoritms GPT-2, tas tika atzīmēts kā viens no visvairāk “bīstami"A.I. algoritmi vēsturē. Patiesībā daži iebilda, ka tas ir tik bīstams, ka to nekad nevajadzētu izlaist sabiedrībai (spoileris: tā bija), lai tas nenonākturobotu apokalipse”. Tas, protams, nekad nav noticis. Galu galā GPT-2 tika izlaists sabiedrībai, un pēc tam, kad tas neiznīcināja pasauli, tā veidotāji pārgāja pie nākamās lietas. Bet kā sekot līdzi visbīstamākajam jebkad izveidotajam algoritmam?

Atbilde, vismaz uz papīra, ir vienkārša: tāpat kā jebkuras veiksmīgas filmas turpinājums, jūs izveidojat kaut ko lielāku, sliktāku un dārgāku. Pirmajā tikai viens ksenomorfs Citplanētietis? Iekļaujiet visu to ligzdu turpinājumā, Citplanētieši. Tikai viena gandrīz neiznīcināma mašīna, kas nosūtīta atpakaļ no nākotnes Terminators? Dodiet auditorijai divus no tiem, ar kuriem cīnīties Terminators 2: Tiesas diena.

Tas pats attiecas uz A.I. - šajā gadījumā, GPT-3, nesen izlaists dabiskās valodas apstrādes neironu tīkls, ko izveidoja OpenAI, mākslīgā intelekta pētniecības laboratorija, kas kādreiz bija (bet vairs ne) sponsorēja SpaceX un Tesla izpilddirektors Elons Masks.

GPT-3 ir jaunākais tekstu ģenerējošo neironu tīklu sērijā. Nosaukums GPT apzīmē ģeneratīvu iepriekš apmācītu transformatoru, atsaucoties uz 2017. gadu Google inovācija, ko sauc par transformatoru kas var noteikt varbūtību, ka konkrēts vārds parādīsies kopā ar apkārtējiem vārdiem. Papildināts ar dažiem teikumiem, piemēram, ziņu stāsta sākumu, GPT iepriekš apmācītu valodas modeli var radīt pārliecinoši precīzus turpinājumus, pat iekļaujot safabricēto formulējumu citāti.

Tāpēc daži bažījas, ka tas var izrādīties bīstams, palīdzot ģenerēt nepatiesu tekstu, kas, piemēram, dziļi viltojumi, varētu palīdzēt izplatīt viltus ziņas tiešsaistē. Tagad ar GPT-3 tas ir lielāks un viedāks nekā jebkad agrāk.

Pasaka par lenti

GPT-3, kā to skaidri parādītu boksa stila “pasaka par lenti”, ir īsts sāncenses smagsvars. OpenAI oriģinālajam 2018. gada GPT bija 110 miljoni parametru, kas attiecas uz savienojumu svaru, kas ļauj neironu tīklam mācīties. 2019. gada GPT-2, kas izraisīja lielāko daļu iepriekšējās kņadas par tās potenciālajām ļaunprātīgajām lietojumprogrammām, bija 1,5 miljardi parametru. Pagājušajā mēnesī, Microsoft iepazīstināja ar tolaik pasaulē lielāko līdzīgu iepriekš apmācītu valodas modeli, kas lepojas ar 17 miljardiem parametru. Salīdzinājumam, 2020. gada briesmīgajam GPT-3 ir pārsteidzošs 175 miljardi parametrus. Tiek ziņots, ka apmācība izmaksāja aptuveni 12 miljonus USD.

“Šo modeļu spēks ir tāds, ka, lai veiksmīgi paredzētu nākamo vārdu, tie galu galā apgūst patiešām spēcīgu pasauli modeļus, ko var izmantot visu veidu interesantām lietām,” Niks Voltons, studijas Latitude galvenais tehnoloģiju speciālists aiz muguras A.I. Dungeon, A.I. ģenerēta teksta piedzīvojumu spēle, ko darbina GPT-2, pastāstīja Digital Trends. "Varat arī precīzi noregulēt bāzes modeļus, lai veidotu paaudzi noteiktā virzienā, vienlaikus saglabājot zināšanas, ko modelis apguva iepriekšējas apmācības laikā."

Gverns Brenvens, komentētājs un pētnieks, kurš raksta par psiholoģiju, statistiku un tehnoloģijām, pastāstīja Digital Trends, ka iepriekš apmācīts valodas modelis, ko pārstāv GPT, ir kļuvis par “aizvien svarīgāku jebkura mašīnmācīšanās uzdevuma sastāvdaļu, kas skar uz tekstu. Tādā pašā veidā, kā [standarta ieteikums] daudziem ar attēliem saistītiem uzdevumiem ir kļuvuši par “izmantojiet a [konvolucionālais neironu tīkls], daudzi ar valodu saistīti uzdevumi ir kļuvuši par “izmantojiet precīzi noregulētu [valodu modelis.''

OpenAI, kas atteicās komentēt šo rakstu, nav vienīgais uzņēmums, kas veic iespaidīgu darbu ar dabiskās valodas apstrādi. Kā jau minēts, Microsoft ir panācis līdz galam ar dažiem žilbinošiem saviem darbiem. Facebook, tikmēr veic lielus ieguldījumus tehnoloģijā un ir radījis tādus sasniegumus kā BlenderBot, lielākais atvērtā koda atvērtā domēna tērzēšanas robots. Tas pārspēj citus iesaistīšanās ziņā un arī jūtas cilvēcīgāks, uzskata cilvēku vērtētāji. Ikviens, kurš pēdējos gados ir lietojis datoru, zinās, ka mašīnas mūs saprot labāk nekā jebkad agrāk — un iemesls tam ir dabiskās valodas apstrāde.

Izmēram ir nozīme

Taču OpenAI GPT-3 joprojām ir viens pats savā milzīgajā rekordu mērogā. "GPT-3 rada rosību galvenokārt tā izmēra dēļ," Džo Deivisons, uzņēmuma pētnieks Apskāva seja, jaunuzņēmums, kas strādā pie dabiskās valodas apstrādes uzlabošanas, izstrādājot atvērtā pirmkoda rīkus un veicot fundamentālus pētījumus, pastāstīja Digital Trends.

Lielais jautājums ir, kam tas viss tiks izmantots. GPT-2 ir atradis ceļu uz neskaitāmiem lietojumiem, un to izmantoja dažādām teksta ģenerēšanas sistēmām.

Deisons izteica zināmu piesardzību, ka GPT-3 var ierobežot tā izmērs. "OpenAI komanda neapšaubāmi ir izvirzījusi robežu, cik lieli var būt šie modeļi, un pierādīja, ka to paplašināšana samazina mūsu atkarību no uzdevuma specifiskiem datiem," viņš teica. "Tomēr skaitļošanas resursi, kas nepieciešami, lai faktiski izmantotu GPT-3 reālajā pasaulē, padara to ārkārtīgi nepraktisku. Tāpēc, lai gan darbs noteikti ir interesants un saprotams, es to nesauktu par lielu soli uz priekšu šajā jomā.

Tomēr citi tam nepiekrīt. “[internal-link post_id="NN"]mākslīgā intelekta[/internal-link] kopiena jau sen ir novērojusi, ka arvien lielāku modeļu apvienošana ar arvien vairāk datu nodrošina gandrīz paredzamus šo modeļu jaudas uzlabojumus, ļoti līdzīgi kā Mūra skaitļošanas jaudas mērogošanas likums,” saka Janiks Kilčers, A.I. pētnieks PVO vada YouTube kanālu, stāstīja Digital Trends. "Tomēr, tāpat kā Mūra likums, daudzi ir domājuši, ka mēs esam beiguši iespēju uzlabot valodu modeļus, vienkārši tos mērogojot un, lai iegūtu augstāku veiktspēju, mums būtu jāveic būtiski izgudrojumi jaunu arhitektūru vai apmācību ziņā metodes. GPT-3 parāda, ka tā nav patiesība, un šķiet, ka spēja uzlabot veiktspēju vienkārši mērogā ir nepārspējama — un gala nav īsti redzami.

Vai nokārtojat Tjūringa testu?

Branvens norāda, ka tādi rīki kā GPT-3 varētu būt nozīmīgs traucējošs spēks. "Viens veids, kā par to domāt, ir, kādi darbi ietver teksta fragmenta paņemšanu, pārveidošanu un cita teksta fragmenta izdalīšanu?" Brenvens teica. “Jebkurš darbs, kas tajā aprakstīts, piemēram, medicīniskā kodēšana, rēķini, administratori, klientu atbalsts [un vairāk], būtu labs mērķis GPT-3 precizēšanai un šīs personas aizstāšanai. Liela daļa darbu ir vairāk vai mazāk “lauku kopēšana no vienas izklājlapas vai PDF uz citu izklājlapu vai PDF”, un šāda veida biroja automatizācija, kas ir pārāk haotiska, lai viegli uzrakstīt parastu programmu, kas jāaizstāj, būtu neaizsargāta pret GPT-3, jo tā var apgūt visus izņēmumus un dažādas konvencijas un darboties tikpat labi būtu.”

Galu galā dabiskās valodas apstrāde var būt tikai viena A.I. daļa, taču tā neapšaubāmi atbilst mākslīgā intelekta sapņa kodolam tādā veidā, kā to dara dažas citas jomas disciplīnas. The slavenais Tjūringa tests, viena no galvenajām debatēm, kas aizsāka šo jomu, ir dabiska valodas apstrādes problēma: vai varat izveidot A.I. kas var pārliecinoši izpausties kā cilvēks? OpenAI jaunākais darbs noteikti veicina šo mērķi. Tagad atliek tikai redzēt, kādas lietojumprogrammas pētnieki tam atradīs.

"Manuprāt, tas ir fakts, ka GPT-2 teksts var tik viegli pāriet cilvēkiem, ka kļūst grūti to ar roku noņemt kā "tikai modeļa atpazīšanu" vai "tikai iegaumēšanu"," sacīja Brenvens. "Ikvienam, kurš bija pārliecināts, ka lietas, ko sniedz dziļa mācīšanās, nav nekas līdzīgs inteliģencei, ir jāsatricina ticība, lai redzētu, cik tālu tā ir tikusi."

Redaktoru ieteikumi

• Labākie autori pieprasa samaksu no AI firmām par viņu darba izmantošanu
• ChatGPT veidotājs OpenAI saskaras ar FTC izmeklēšanu par patērētāju aizsardzības likumiem
• OpenAI veido jaunu komandu, lai apturētu superinteliģentā mākslīgā intelekta ļaunprātīgu izmantošanu
• ChatGPT veidotājs cenšas novērst tērzēšanas robotu "halucinācijas"
• OpenAI jaunā ChatGPT lietotne ir bezmaksas iPhone un iPad ierīcēm