GPT-3: „OpenAI“ naujas tekstą generuojantis neuroninis tinklas yra čia

Kai 2019 m. buvo sukurtas teksto generavimo algoritmas GPT-2, jis buvo pažymėtas kaip vienas iš labiausiai "pavojingas“ A.I. algoritmai istorijoje. Tiesą sakant, kai kurie ginčijosi, kad jis toks pavojingas, kad jo niekada neturėtų būti paskelbtas viešai (spoileris: taip buvo), kad jis neįvestų „roboto apokalipsė. To, žinoma, niekada nebuvo. Galiausiai GPT-2 buvo išleistas visuomenei, o po to, kai jis nesunaikino pasaulio, jo kūrėjai perėjo prie kito dalyko. Bet kaip sekti pavojingiausią kada nors sukurtą algoritmą?

Atsakymas, bent jau popieriuje, yra paprastas: kaip ir bet kurio sėkmingo filmo tęsinys, jūs sukuriate kažką didesnio, blogesnio ir brangesnio. Pirmajame tik vienas ksenomorfas Svetimas? Į tęsinį įtraukite visą jų lizdą, Ateiviai. Tik viena beveik nesugriaunama mašina, išsiųsta iš ateities Terminatorius? Suteikite auditorijai du iš jų, kad jie galėtų susigrumti Terminatorius 2: Teismo diena.

Tas pats pasakytina ir apie A.I. - tokiu atveju,

GPT-3, neseniai išleistas natūralios kalbos apdorojimo neuroninis tinklas, sukurtas OpenAI, dirbtinio intelekto tyrimų laboratorijos, kuri kažkada buvo (bet nebe) remia „SpaceX“ ir „Tesla“ generalinis direktorius Elonas Muskas.

GPT-3 yra naujausia tekstą generuojančių neuroninių tinklų serija. Pavadinimas GPT reiškia generatyvų iš anksto apmokytą transformatorių, nurodant 2017 m „Google“ naujovė vadinama transformatoriumi kuri gali išsiaiškinti tikimybę, kad tam tikras žodis bus rodomas su aplinkiniais žodžiais. Pamaitinti keliais sakiniais, pavyzdžiui, naujienų istorijos pradžia, GPT iš anksto parengtu kalbos modeliu gali generuoti įtikinamai tikslius tęsinius, net įskaitant pagamintų formuluotes citatos.

Štai kodėl kai kurie nerimauja, kad jis gali pasirodyti esąs pavojingas, nes padeda sukurti melagingą tekstą, kuris, pvz. gilios klastotės, galėtų padėti skleisti netikras naujienas internete. Dabar su GPT-3 jis didesnis ir išmanesnis nei bet kada.

Juostos pasaka

GPT-3 yra, kaip aiškiai parodytų bokso stiliaus „pasakos apie juostą“ palyginimas, tikras varžovo sunkiasvoris sumušimas. Originalus 2018 m. OpenAI GPT turėjo 110 milijonų parametrų, nurodant jungčių, leidžiančių neuroniniam tinklui mokytis, svorį. 2019 m. GPT-2, sukėlusi didžiąją dalį ankstesnio triukšmo dėl galimų kenkėjiškų programų, turėjo 1,5 milijardo parametrų. Praeitą mėnesį, Microsoft pristatė tuo metu didžiausią pasaulyje panašų iš anksto parengtą kalbos modelį, galintį pasigirti 17 milijardų parametrų. Palyginimui, 2020 m. monstriškasis GPT-3 turi stulbinamą 175 mlrd parametrus. Pranešama, kad mokymas kainavo apie 12 mln.

„Šių modelių galia yra ta, kad norėdami sėkmingai nuspėti kitą žodį, jie mokosi tikrai galingo pasaulio modelių, kuriuos galima naudoti įvairiems įdomiems dalykams“, – studijos „Latitude“ vyriausiasis technologijų pareigūnas Nickas Waltonas už nugaros A.I. Požemis, A.I. sukurtas tekstinis nuotykių žaidimas, maitinamas GPT-2, pasakojo „Digital Trends“. „Taip pat galite sureguliuoti bazinius modelius, kad karta būtų suformuota tam tikra kryptimi, kartu išlaikant žinias, kurias modelis išmoko iš anksto.

Gvernas Branvenas, komentatorius ir tyrinėtojas, rašantis apie psichologiją, statistiką ir technologijas, „Digital Trends“ sakė, kad Iš anksto parengtas kalbos modelis GPT tapo „vis svarbesne bet kokios mašininio mokymosi užduoties, liečiančia ant teksto. Taip pat, kaip [standartinis pasiūlymas] daugeliui su vaizdais susijusių užduočių tapo „naudoti a [konvoliucinis neuroninis tinklas], daugelis su kalba susijusių užduočių tapo „naudoti tiksliai suderintą [kalbą modelis.'"

OpenAI, kuri atsisakė komentuoti šį straipsnį, nėra vienintelė įmonė, atliekanti įspūdingą darbą su natūralios kalbos apdorojimu. Kaip minėta, „Microsoft“ žengė į priekį, atlikdama keletą nuostabių savo darbų. Facebook, tuo tarpu daug investuoja į technologijas ir sukūrė proveržių, pvz BlenderBot, didžiausias kada nors atviro kodo atviro domeno pokalbių robotas. Žmonių vertintojų teigimu, jis lenkia kitus pagal įsitraukimą ir taip pat jaučiasi labiau žmogiškas. Visi, kurie pastaruosius kelerius metus naudojosi kompiuteriu, žinos, kad mašinos mus supranta geriau nei bet kada anksčiau, todėl natūralios kalbos apdorojimas yra priežastis.

Dydis rūpi

Tačiau „OpenAI“ GPT-3 vis dar išlieka vienas savo rekordiniame mastelyje. „GPT-3 kelia triukšmą visų pirma dėl savo dydžio“, – Joe Davison, tyrimų inžinierius Apkabinantis Veidas„Digital Trends“ sakė startuolis, dirbantis su natūralios kalbos apdorojimo pažanga, kurdamas atvirojo kodo įrankius ir atlikdamas fundamentalius tyrimus.

Didelis klausimas – kam visa tai bus panaudota. GPT-2 buvo plačiai naudojamas įvairiose teksto generavimo sistemose.

Davisonas išreiškė tam tikrą atsargumą, kad GPT-3 gali būti apribotas dėl jo dydžio. „OpenAI komanda neabejotinai peržengė šių modelių dydžio ribas ir parodė, kad jų auginimas sumažina mūsų priklausomybę nuo konkrečios užduoties duomenų“, – sakė jis. „Tačiau dėl skaičiavimo išteklių, reikalingų norint iš tikrųjų naudoti GPT-3 realiame pasaulyje, tai labai nepraktiška. Taigi, nors darbas tikrai įdomus ir įžvalgus, nepavadinčiau to dideliu žingsniu į priekį šioje srityje.

Tačiau kiti nesutinka. „[internal-link post_id="NN"]dirbtinio intelekto[/internal-link] bendruomenė jau seniai pastebėjo, kad derinant vis didesnius modelius su vis daugiau duomenų duoda beveik nuspėjamą šių modelių galios patobulinimą, labai panašiai kaip Moore'o skaičiavimo galios mastelio dėsnis“, – sako Yannic Kilcher, A.I. tyrinėtojas PSO valdo „YouTube“ kanalą, pasakojo „Digital Trends“. „Tačiau, kaip ir Moore'o dėsnis, daugelis spėliojo, kad jau baigiame tobulinti kalbos modelius tiesiog juos padidindami. ir norėdami gauti didesnį našumą, turėtume padaryti esminių išradimų, susijusių su naujomis architektūromis ar mokymu metodus. GPT-3 rodo, kad tai netiesa, o galimybė padidinti našumą tiesiog per mastą atrodo nesulaužyta – ir pabaigos tikrai nematyti.

Išlaikei Tiuringo testą?

Branwenas teigia, kad tokie įrankiai kaip GPT-3 gali būti pagrindinė trikdančioji jėga. „Vienas iš būdų tai galvoti yra toks: kokie darbai apima teksto fragmento paėmimą, jo transformavimą ir kito teksto fragmento išleidimą? Branwenas pasakė. „Bet koks tuo aprašytas darbas, pvz., medicininis kodavimas, sąskaitų išrašymas, registratūros darbuotojai, klientų aptarnavimas ir kt., būtų geras tikslas patikslinti GPT-3 ir pakeisti tą asmenį. Daugelis darbų yra daugiau ar mažiau „laukų kopijavimas iš vienos skaičiuoklės ar PDF į kitą skaičiuoklę ar PDF“ ir toks biuro automatizavimas, kuris yra pernelyg chaotiškas nesunkiai parašytų įprastą programą, kurią būtų galima pakeisti, būtų pažeidžiama GPT-3, nes ji gali išmokti visas išimtis ir skirtingus susitarimus ir veikti taip pat gerai, kaip būtų“.

Galų gale, natūralios kalbos apdorojimas gali būti tik viena A.I. dalis, tačiau galima teigti, kad tai yra dirbtinio intelekto svajonės esmė taip, kaip tai daro kelios kitos šios srities disciplinos. The garsus Turingo testas, viena iš svarbiausių diskusijų, kurios paskatino šią sritį, yra natūrali kalbos apdorojimo problema: ar galite sukurti A.I. kad gali įtikinamai parodyti save kaip asmenybę? Naujausias OpenAI darbas tikrai padeda pasiekti šį tikslą. Dabar belieka pamatyti, kokias programas mokslininkai suras.

„Manau, kad dėl to, kad GPT-2 tekstas gali taip lengvai pereiti žmonėms, darosi sunku jį numoti ranka kaip „tiesiog modelio atpažinimą“ arba „tik įsiminimą“, – sakė Branwenas. „Kiekvienas, kuris buvo įsitikinęs, kad tai, ką daro gilus mokymasis, nėra panašus į intelektą, turėjo supurtyti savo tikėjimą, kad pamatytų, kaip toli jis nuėjo.

Redaktorių rekomendacijos

• Geriausi autoriai reikalauja iš dirbtinio intelekto įmonių atlyginimo už naudojimąsi jų darbu
• „ChatGPT“ gamintoja „OpenAI“ susiduria su FTC tyrimu dėl vartotojų apsaugos įstatymų
• OpenAI kuria naują komandą, kad sustabdytų superinteligentiškojo AI nesąžiningumą
• ChatGPT kūrėjas, siekiantis pašalinti pokalbių roboto „haliucinacijas“
• Naujoji „OpenAI“ „ChatGPT“ programa yra nemokama „iPhone“ ir „iPad“.