GPT-3: OpenAIs nye tekstgenererende nevrale nettverk er her

Da den tekstgenererende algoritmen GPT-2 ble opprettet i 2019, ble den merket som en av de mest "farlig"A.I. algoritmer i historien. Faktisk hevdet noen at det var så farlig at det aldri skulle frigis til offentligheten (spoiler: det var det) for at det ikke skulle innlede «robotapokalypse." Det skjedde selvfølgelig aldri. GPT-2 ble til slutt utgitt for publikum, og etter at den ikke ødela verden, gikk skaperne videre til neste ting. Men hvordan følger du opp den farligste algoritmen som noen gang er laget?

Svaret, i det minste på papiret, er enkelt: Akkurat som oppfølgeren til enhver vellykket film, lager du noe som er større, dårligere og dyrere. Bare én xenomorf i den første Romvesen? Ta med et helt rede av dem i oppfølgeren, Romvesener. Bare en enkelt nesten uforgjengelig maskin sendt tilbake fra fremtiden inn Terminator? Gi publikum to av dem å kjempe med Terminator 2: Judgment Day.

Det samme gjelder for A.I. - i dette tilfellet,

GPT-3, et nylig utgitt nevralt nettverk for naturlig språkbehandling opprettet av OpenAI, forskningslaboratoriet for kunstig intelligens som en gang var (men ikke lenger) sponset av SpaceX og Tesla-sjef Elon Musk.

GPT-3 er den siste i en serie tekstgenererende nevrale nettverk. Navnet GPT står for Generative Pretrained Transformer, og refererer til en 2017 Google-innovasjon kalt en transformator som kan finne ut sannsynligheten for at et bestemt ord vil vises med omkringliggende ord. Matet med noen få setninger, for eksempel begynnelsen av en nyhetssak, den forhåndstrente GPT-språkmodellen kan generere overbevisende nøyaktige fortsettelser, også inkludert formuleringen av fabrikkerte sitater.

Dette er grunnen til at noen var bekymret for at det kunne vise seg å være farlig, ved å bidra til å generere falsk tekst som f.eks deepfakes, kunne bidra til å spre falske nyheter på nettet. Nå, med GPT-3, er den større og smartere enn noen gang.

Fortelling om båndet

GPT-3 er, som en boksestil «tale of the tape»-sammenligning ville gjøre det klart, en ekte tungvekts bruiser av en utfordrer. OpenAIs originale 2018 GPT hadde 110 millioner parametere, med henvisning til vekten av forbindelsene som gjør det mulig for et nevralt nettverk å lære. 2019s GPT-2, som forårsaket mye av det tidligere oppstyret om potensielle skadelige applikasjoner, hadde 1,5 milliarder parametere. Forrige måned, introduserte Microsoft det som den gang var verdens største tilsvarende ferdigtrente språkmodell, med 17 milliarder parametere. 2020-tallets monstrøse GPT-3 har til sammenligning en forbløffende 175 milliarder kroner parametere. Det skal ha kostet rundt 12 millioner dollar å trene.

"Kraften til disse modellene er at for å lykkes med å forutsi neste ord ender de opp med å lære en virkelig kraftig verden modeller som kan brukes til alle slags interessante ting," Nick Walton, teknologisjef i Latitude, studioet bak A.I. Fangehull, et A.I.-generert teksteventyrspill drevet av GPT-2, fortalte Digital Trends. "Du kan også finjustere basismodellene for å forme generasjonen i en spesifikk retning samtidig som du opprettholder kunnskapen modellen lærte i før-trening."

Gwern Branwen, en kommentator og forsker som skriver om psykologi, statistikk og teknologi, fortalte Digital Trends at forhåndstrent språkmodell GPT representerer har blitt en «stadig mer kritisk del av enhver maskinlæringsoppgave som berører på tekst. På samme måte som [standardforslaget for] mange bilderelaterte oppgaver har blitt 'bruk en [konvolusjonelt nevralt nettverk], mange språkrelaterte oppgaver har blitt 'bruk et finjustert [språk modell.'"

OpenAI – som nektet å kommentere denne artikkelen – er ikke det eneste selskapet som gjør noe imponerende arbeid med naturlig språkbehandling. Som nevnt har Microsoft gått på banen med noe blendende eget arbeid. Facebook, i mellomtiden, investerer tungt i teknologien og har skapt gjennombrudd som BlenderBot, den største chatboten med åpen kildekode noensinne. Det utkonkurrerer andre når det gjelder engasjement og føles også mer menneskelig, ifølge menneskelige evaluatorer. Som alle som har brukt en datamaskin de siste årene vil vite, blir maskiner bedre til å forstå oss enn noen gang - og naturlig språkbehandling er grunnen til det.

Størrelse er viktig

Men OpenAIs GPT-3 står fortsatt alene i sin rene rekordstore skala. «GPT-3 genererer buzz først og fremst på grunn av størrelsen,» Joe Davison, forskningsingeniør ved Klemende ansikt, en oppstart som jobber med å fremme naturlig språkbehandling ved å utvikle åpen kildekode-verktøy og utføre grunnleggende forskning, fortalte Digital Trends.

Det store spørsmålet er hva alt dette skal brukes til. GPT-2 fant veien inn i en myriade av bruksområder, og ble brukt for forskjellige tekstgenererende systemer.

Davison uttrykte en viss forsiktighet med at GPT-3 kan begrenses av størrelsen. "Teamet ved OpenAI har utvilsomt flyttet grensen for hvor store disse modellene kan være og viste at å vokse dem reduserer vår avhengighet av oppgavespesifikke data nedover linjen," sa han. "Men de beregningsressursene som trengs for å faktisk bruke GPT-3 i den virkelige verden, gjør det ekstremt upraktisk. Så selv om arbeidet absolutt er interessant og innsiktsfullt, vil jeg ikke kalle det et stort skritt fremover for feltet.»

Andre er imidlertid uenige. «[internal-link post_id="NN"]kunstig intelligens[/internal-link]-fellesskapet har lenge observert at det å kombinere stadig større modeller med mer og mer data gir nesten forutsigbare forbedringer i kraften til disse modellene, veldig lik Moores lov om skalering av regnekraft," Yannic Kilcher, en A.I. forsker WHO driver en YouTube-kanal, fortalte Digital Trends. "Allikevel, i likhet med Moores lov, har mange spekulert i at vi er på slutten av å kunne forbedre språkmodeller ved å skalere dem. opp, og for å få høyere ytelse, må vi gjøre betydelige oppfinnelser når det gjelder nye arkitekturer eller opplæring metoder. GPT-3 viser at dette ikke er sant, og evnen til å presse ytelsen bare gjennom skala virker uavbrutt – og det er egentlig ikke en ende i sikte.»

Bestått Turing-testen?

Branwen antyder at verktøy som GPT-3 kan være en stor forstyrrende kraft. "En måte å tenke på det er, hvilke jobber innebærer å ta et tekststykke, transformere det og sende ut et annet tekststykke?" sa Branwen. "Enhver jobb som er beskrevet av det - som medisinsk koding, fakturering, resepsjonister, kundestøtte, [og mer] vil være et godt mål for å finjustere GPT-3 på og erstatte den personen. Svært mange jobber er mer eller mindre å «kopiere felt fra ett regneark eller PDF til et annet regneark eller PDF», og den slags kontorautomatisering, som er for kaotisk til å enkelt skrive et normalt program som skal erstattes, ville være sårbart for GPT-3 fordi det kan lære alle unntakene og forskjellige konvensjoner og prestere like bra som det menneskelige ville."

Til syvende og sist kan naturlig språkbehandling bare være en del av A.I., men det skjærer uten tvil til kjernen av drømmen om kunstig intelligens på en måte som få andre disipliner i feltet gjør. De den berømte Turing-testen, en av de mest sentrale debattene som startet feltet, er et naturlig språkbehandlingsproblem: Kan du bygge en A.I. som på en overbevisende måte kan gi seg ut som person? OpenAIs siste arbeid fremmer absolutt dette målet. Nå gjenstår det å se hvilke bruksområder forskerne finner for det.

"Jeg tror det er det faktum at GPT-2-tekst så lett kan passere for menneskelig at det blir vanskelig å håndvifte den bort som "bare mønstergjenkjenning" eller "bare memorering," sa Branwen. "Alle som var sikker på at de tingene som dyp læring gjør ikke ligner på intelligens, må ha fått troen sin rystet for å se hvor langt den har kommet."

Redaktørenes anbefalinger

• Toppforfattere krever betaling fra AI-firmaer for å bruke arbeidet deres
• ChatGPT-produsenten OpenAI står overfor FTC-undersøkelse over forbrukerbeskyttelseslover
• OpenAI bygger et nytt team for å stoppe superintelligent AI fra å bli useriøs
• ChatGPT-skaper søker å eliminere chatbot-halusinasjoner
• OpenAIs nye ChatGPT-app er gratis for iPhone og iPad