Hvordan GPT-3 stille og roligt indleder A.I. Revolution

Hvad er det godt for? Absolut alt

For nylig ringede Francis Jervis, grundlæggeren af ​​en startup Augrented, brugte GPT-3 til at hjælpe folk, der kæmper med deres husleje, til at skrive breve, hvor de forhandlede lejerabatter. "Jeg vil beskrive brugen her som 'stiloverførsel'," sagde Jervis til Digital Trends. "[Det tager] punkttegn, som ikke engang behøver at være på perfekt engelsk, og [outputterer] to til tre sætninger i formelt sprog."

Drevet af denne ultra-kraftfulde sprogmodel giver Jervis's værktøj lejere mulighed for at beskrive deres situation og årsagen til, at de har brug for en rabatordning. "Bare indtast et par ord om, hvorfor du mistede indkomst, og i løbet af få sekunder vil du få et foreslået overbevisende, formelt afsnit, du kan tilføje til dit brev," hævder virksomheden.

Dette er kun toppen af ​​isbjerget. Hvornår Aditya Joshi, en maskinlæringsforsker og tidligere Amazon Web Services-ingeniør, stødte først på GPT-3, han blev så imponeret over, hvad han så, at han oprettede et websted, www.gpt3examples.com, for at holde styr på de bedste.

"Kort efter OpenAI annoncerede deres API, begyndte udviklere at tweete imponerende demoer af applikationer bygget ved hjælp af GPT-3," fortalte han Digital Trends. "De var forbløffende gode. Jeg byggede [min hjemmeside] for at gøre det nemt for fællesskabet at finde disse eksempler og opdage kreative måder at bruge GPT-3 til at løse problemer i deres eget domæne."

Fuldt interaktive syntetiske personas med GPT-3 og https://t.co/ZPdnEqR0Hn 🎇

De ved, hvem de er, hvor de arbejdede, hvem deres chef er og meget mere. Dette er ikke din fars bot... pic.twitter.com/kt4AtgYHZL

— Tyler Lastovich (@tylerlastovich) 18. august 2020

Joshi peger på flere demoer, der virkelig gjorde en indvirkning på ham. En, en layout generator, gengiver et funktionelt layout ved at generere JavaScript-kode fra en simpel tekstbeskrivelse. Vil du have en knap, der siger "abonner" i form af en vandmelon? Har du lyst til bannertekst med en række knapper i regnbuens farver? Bare forklar dem i grundlæggende tekst, og Sharif Shameems layoutgenerator vil skrive koden for dig. En anden, en GPT-3 baseret søgemaskine oprettet af Paras Chopra, kan gøre enhver skriftlig forespørgsel til et svar og et URL-link for at give mere information. En anden, det omvendte af Francis Jervis' af Michael Tefula, oversætter juridiske dokumenter til almindeligt engelsk. Endnu en, af Raphaël Millière, skriver filosofiske essays. Og en anden, af Gwern Branwen, kan skabe kreativ fiktion.

"Jeg havde ikke forventet, at en enkelt sprogmodel ville fungere så godt på så mange forskellige opgaver, fra sprogoversættelse og -generering til tekstresumé og entitetsudtrækning," sagde Joshi. "I et af mine egne eksperimenter, Jeg brugte GPT-3 til at forudsige kemiske forbrændingsreaktioner, og det gjorde det overraskende godt."

Mere hvor det kom fra

Den transformative brug af GPT-3 slutter heller ikke der. Computer videnskabsmand Tyler Lastovich har brugt GPT-3 til skabe falske mennesker, herunder backstory, som så kan interageres med via tekst. I mellemtiden har Andrew Mayne vist, at GPT-3 kan være bruges til at omdanne filmtitler til emojis. Nick Walton, teknologichef for Latitude, studiet bag GPT-genereret teksteventyrspil AI Dungeon for nylig gjorde det samme for at se om det kunne vende længere strenge af tekstbeskrivelse til emoji. Og Copy.ai, en startup, der bygger copywriting-værktøjer med GPT-3, trykker på modellen for alt, hvad den er værd, med en månedlig tilbagevendende indtægt på $67.000 marts - og en nylig 2,9 millioner dollars finansieringsrunde.

"Der var bestemt overraskelse og en masse ærefrygt i forhold til den kreativitet, folk har brugt GPT-3 til," Sandhini Agarwal, en A.I. politikforsker for OpenAI fortalte Digital Trends. "Så mange use cases er bare så kreative, og i domæner, som selv jeg ikke havde forudset, ville den have meget viden om. Det er interessant at se. Men når det er sagt, så var GPT-3 - og hele denne forskningsretning, som OpenAI forfulgte - i høj grad med håbet om, at dette ville give os en A.I. model, der var mere generel. Hele pointen med en generel A.I. model er [at det ville være] en model, der kunne tænke sig at lave alle disse forskellige A.I. opgaver."

Mange af projekterne fremhæver en af ​​de store værdiforøgelser ved GPT-3: Manglen på træning, det kræver. Machine learning har været transformerende på alle mulige måder i løbet af de sidste par årtier. Men maskinlæring kræver et stort antal træningseksempler for at kunne udskrive korrekte svar. GPT-3 har på den anden side en "få skuds evne", der gør det muligt at lære den at gøre noget med kun en lille håndfuld eksempler.

Plausibel bull***t

GPT-3 er meget imponerende. Men det giver også udfordringer. Nogle af disse vedrører omkostninger: For højvolumentjenester som chatbots, som kunne drage fordel af GPT-3s magi, kan værktøjet være for dyrt at bruge. (En enkelt besked kan koste 6 cent, hvilket, selv om det ikke ligefrem er bankopgørende, bestemt tæller.)

Andre forholder sig til dens udbredte tilgængelighed, hvilket betyder, at det sandsynligvis bliver svært at bygge en startup udelukkende omkring, da hård konkurrence sandsynligvis vil reducere marginerne.

En anden er manglen på hukommelse; dets kontekstvindue løber lidt under 2.000 ord ad gangen før, ligesom Guy Pierces karakter i filmen Memento, dens hukommelse nulstilles. "Dette begrænser i høj grad længden af ​​tekst, den kan generere, groft til et kort afsnit pr. anmodning," sagde Lastovich. "Praktisk set betyder det, at den ikke er i stand til at generere lange dokumenter, mens den stadig husker, hvad der skete i begyndelsen."

Den måske mest bemærkelsesværdige udfordring vedrører dog også dens største styrke: Dens konfabuleringsevner. Konfabulation er et udtryk, der ofte bruges af læger til at beskrive den måde, hvorpå nogle mennesker med hukommelsesproblemer er i stand til at fremstille information, der i første omgang virker overbevisende, men som ikke nødvendigvis kan tåle en nærmere undersøgelse inspektion. GPT-3's evne til at konfabulere er, afhængig af konteksten, en styrke og en svaghed. Til kreative projekter kan det være fantastisk, så det kan riffe på temaer uden at bekymre sig om noget så banalt som sandhed. For andre projekter kan det være vanskeligere.

Francis Jervis fra Augrented henviser til GPT-3's evne til at "generere plausibelt bullshit." Nick Walton fra AI Dungeon sagde: "GPT-3 er meget god til at skrive kreativ tekst, der virker som om den kunne være skrevet af et menneske... En af dens svagheder er dog, at den ofte kan skrive, som om den er meget selvsikker - selvom den ikke aner, hvad svaret på en spørgsmålet er."

Tilbage i det kinesiske værelse

I denne henseende bringer GPT-3 os tilbage til den velkendte grund af John Searles kinesiske værelse. I 1980 udgav Searle, en filosof en af ​​de mest kendte A.I. tankeeksperimenter, fokuseret på emnet "forståelse". Det kinesiske værelse beder os om at forestille os en person, der er låst inde i et rum med en masse skrift på et sprog, som de ikke forstår. Alt de genkender er abstrakte symboler. Rummet indeholder også et sæt regler, der viser, hvordan et sæt symboler svarer til et andet. Givet en række spørgsmål at besvare, skal rummets beboer matche spørgsmålssymboler med svarsymboler. Efter at have gentaget denne opgave mange gange, bliver de dygtige til at udføre den - selvom de ikke har nogen anelse om, hvad enten sæt symboler betyder, blot at det ene svarer til det andet.

GPT-3 er en verden væk fra den slags sproglige A.I. som eksisterede på det tidspunkt, Searle skrev. Spørgsmålet om forståelse er dog lige så vanskeligt som altid.

"Dette er et meget kontroversielt spørgsmålsfelt, som jeg er sikker på, du er klar over, fordi der er så mange forskellige meninger om, hvorvidt sprogmodeller i almindelighed... nogensinde ville have [rigtig] forståelse," sagde OpenAIs Sandhini Agarwal. "Hvis du spørger mig om GPT-3 lige nu, fungerer den meget godt nogle gange, men ikke særlig godt på andre tidspunkter. Der er denne tilfældighed på en måde om, hvor meningsfuldt outputtet kan virke for dig. Nogle gange kan du blive imponeret over outputtet, og nogle gange vil outputtet bare være useriøst. I betragtning af det, lige nu efter min mening... ser GPT-3 ikke ud til at have forståelse."

Et ekstra twist på Chinese Room-eksperimentet i dag er, at GPT-3 ikke programmeres ved hvert trin af et lille team af forskere. Det er en massiv model, der er blevet trænet på et enormt datasæt bestående af, ja, internettet. Dette betyder, at det kan opfange slutninger og skævheder, der kan være kodet til tekst fundet online. Du har hørt udtrykket, at du er et gennemsnit af de fem mennesker, du omgiver dig med? Nå, GPT-3 blev trænet på næsten ufattelige mængder tekstdata fra flere kilder, inklusive bøger, Wikipedia og andre artikler. Ud fra dette lærer det at forudsige det næste ord i en hvilken som helst rækkefølge ved at gennemsøge dets træningsdata for at se ordkombinationer, der er brugt før. Dette kan have utilsigtede konsekvenser.

Fodre de stokastiske papegøjer

Denne udfordring med store sprogmodeller blev først fremhævet i en banebrydende papir om emnet såkaldte stokastiske papegøjer. En stokastisk papegøje - et udtryk opfundet af forfatterne, som blandt deres rækker inkluderede den tidligere medleder af Googles etiske A.I. team, Timnit Gebru — henviser til en stor sprogmodel, der "tilfældigt [sømmer] sekvenser af sproglige former, den har observeret i sine enorme træningsdata, ifølge sandsynlige oplysninger om, hvordan de kombineres, men uden nogen reference til mening."

"Efter at være blevet trænet på en stor del af internettet, er det vigtigt at erkende, at det vil bære nogle af sine skævheder," Albert Gozzi, fortalte en anden GPT-3-bruger til Digital Trends. "Jeg ved, at OpenAI-teamet arbejder hårdt på at afbøde dette på et par forskellige måder, men jeg forventer, at dette vil være et problem i [nogle] tid fremover."

OpenAIs modforanstaltninger til at forsvare sig mod bias inkluderer et toksicitetsfilter, som filtrerer bestemte sprog eller emner fra. OpenAI arbejder også på måder at integrere menneskelig feedback på for at kunne specificere, hvilke områder man ikke skal forvilde sig ind i. Derudover kontrollerer teamet adgangen til værktøjet, så visse negative anvendelser af værktøjet ikke vil få adgang.

"En af grundene til, at du måske ikke har set som for mange af disse ondsindede brugere, er fordi vi har en intensiv gennemgangsproces internt," sagde Agarwal. "Måden vi arbejder på er, at hver gang du vil bruge GPT-3 i et produkt, der rent faktisk ville blive implementeret, skal igennem en proces, hvor et team - som et hold af mennesker - faktisk gennemgår, hvordan du vil bruge det.... Så vil du, baseret på at sikre dig, at det ikke er noget ondsindet, få adgang."

Noget af dette er dog udfordrende - ikke mindst fordi bias ikke altid er et entydigt tilfælde af at bruge bestemte ord. Jervis bemærker, at hans GPT-3 lejebeskeder til tider kan "tilbøjelige til stereotypt køn [eller] klasse antagelser." Efterladt uden opsyn kan det antage forsøgspersonens kønsidentitet på et lejebrev baseret på deres familie rolle eller job. Dette er måske ikke det mest alvorlige eksempel på A.I. bias, men det fremhæver, hvad der sker, når store mængder data indtages og derefter sandsynligt samles igen i en sprogmodel.

"Fordomme og potentialet for eksplicitte afkast eksisterer absolut og kræver en indsats fra udviklere for at undgå," sagde Tyler Lastovich. "OpenAI markerer potentielt giftige resultater, men i sidste ende tilføjer det et ansvar, som kunderne skal tænke sig godt om, før de sætter modellen i produktion. Et specifikt vanskeligt edge-case at udvikle omkring er modellens tilbøjelighed til at lyve - da den ikke har noget begreb om sand eller falsk information."

Sprogmodeller og fremtiden for A.I.

Ni måneder efter sin debut lever GPT-3 helt sikkert op til sin fakturering som en game changer. Hvad der engang var rent potentiale, har vist sig at være potentiale realiseret. Antallet af spændende use cases for GPT-3 fremhæver, hvordan en tekstgenererende A.I. er meget mere alsidig, end den beskrivelse måske antyder.

Ikke at det er den nye knægt på blokken i disse dage. Tidligere i år blev GPT-3 overhalet som den største sprogmodel. Google Brain lancerede en ny sprogmodel med omkring 1,6 billioner parametre, hvilket gør det ni gange så stort som OpenAI's tilbud. Dette er sandsynligvis heller ikke enden på vejen for sprogmodeller. Disse er ekstremt kraftfulde værktøjer - med potentiale til at være transformative for samfundet, potentielt på godt og ondt.

Der er helt sikkert udfordringer med disse teknologier, og det er dem, som virksomheder som OpenAI, uafhængige forskere og andre skal fortsætte med at tage fat på. Men taget som helhed er det svært at argumentere for, at sprogmodeller ikke er ved at blive en af ​​de mest interessante og vigtige grænser for forskning i kunstig intelligens.

Hvem ville have troet, at tekstgeneratorer kunne være så dybt vigtige? Velkommen til fremtiden for kunstig intelligens.

Redaktørens anbefalinger

• Analog A.I.? Det lyder skørt, men det er måske fremtiden
• Læs det uhyggeligt smukke 'syntetiske skrift' af en A.I. der tror, ​​det er Gud
• Algoritmisk arkitektur: Skal vi lade A.I. designe bygninger for os?
• Kvinder med byte: Vivienne Mings plan om at løse 'rodet menneskelige problemer' med A.I.
• Hvorfor lære robotter at lege gemmeleg kunne være nøglen til næste generations A.I.