Hvordan GPT-3 stilles inn i A.I. Revolusjon

Hva er det godt for? Absolutt alt

Nylig ringte Francis Jervis, grunnleggeren av en oppstart Augrented, brukte GPT-3 for å hjelpe folk som sliter med husleien til å skrive brev der de forhandlet om leierabatter. "Jeg vil beskrive brukssaken her som 'stiloverføring'," sa Jervis til Digital Trends. "[Den tar inn] punktpunkter, som ikke engang trenger å være på perfekt engelsk, og [skriver ut] to til tre setninger på formelt språk."

Drevet av denne ekstremt kraftige språkmodellen, lar Jervis sitt verktøy leietakere beskrive situasjonen deres og grunnen til at de trenger et rabattert oppgjør. "Bare skriv inn et par ord om hvorfor du mistet inntekt, og i løpet av noen få sekunder vil du få et foreslått overbevisende, formelt avsnitt å legge til brevet ditt," hevder selskapet.

Dette er bare toppen av isfjellet. Når Aditya Joshi, en maskinlæringsforsker og tidligere Amazon Web Services-ingeniør, kom først over GPT-3, han ble så imponert over det han så at han satte opp et nettsted, www.gpt3examples.com, for å holde styr på de beste.

"Kort etter at OpenAI annonserte deres API, begynte utviklere å tweete imponerende demoer av applikasjoner bygget ved hjelp av GPT-3," sa han til Digital Trends. – De var forbløffende gode. Jeg bygde [nettstedet mitt] for å gjøre det enkelt for fellesskapet å finne disse eksemplene og oppdage kreative måter å bruke GPT-3 for å løse problemer i sitt eget domene.»

Helt interaktive syntetiske personas med GPT-3 og https://t.co/ZPdnEqR0Hn 🎇

De vet hvem de er, hvor de jobbet, hvem sjefen deres er og mye mer. Dette er ikke din fars bot... pic.twitter.com/kt4AtgYHZL

— Tyler Lastovich (@tylerlastovich) 18. august 2020

Joshi peker på flere demoer som virkelig gjorde inntrykk på ham. En, a layout generator, gjengir et funksjonelt oppsett ved å generere JavaScript-kode fra en enkel tekstbeskrivelse. Vil du ha en knapp som sier "abonner" i form av en vannmelon? Lyst på bannertekst med en rekke knapper i regnbuens farger? Bare forklar dem i grunnleggende tekst, og Sharif Shameems layoutgenerator vil skrive koden for deg. En annen, a GPT-3-basert søkemotor opprettet av Paras Chopra, kan gjøre ethvert skriftlig spørsmål til et svar og en URL-kobling for å gi mer informasjon. En annen, det motsatte av Francis Jervis’ av Michael Tefula, oversetter juridiske dokumenter til vanlig engelsk. Nok en, av Raphaël Millière, skriver filosofiske essays. Og en annen, av Gwern Branwen, kan generere kreativ fiksjon.

"Jeg hadde ikke forventet at en enkelt språkmodell skulle fungere så godt på et så mangfoldig spekter av oppgaver, fra språkoversettelse og generering til tekstoppsummering og enhetsutvinning," sa Joshi. "I et av mine egne eksperimenter, Jeg brukte GPT-3 til å forutsi kjemiske forbrenningsreaksjoner, og det gjorde det overraskende bra.»

Mer hvor det kom fra

Den transformative bruken av GPT-3 slutter heller ikke der. Dataforsker Tyler Lastovich har brukt GPT-3 til skape falske mennesker, inkludert backstory, som deretter kan kommuniseres med via tekst. I mellomtiden har Andrew Mayne vist at GPT-3 kan være det brukes til å gjøre filmtitler til emojier. Nick Walton, teknologisjef i Latitude, studioet bak GPT-generert teksteventyrspill AI Dungeon nylig gjorde det samme for å se om det kunne snu lengre strenger med tekstbeskrivelse til emoji. Og Copy.ai, en oppstart som bygger copywriting-verktøy med GPT-3, trykker på modellen for alt den er verdt, med en månedlig gjentakende inntekt på $67 000 mars – og en nylig finansieringsrunde på 2,9 millioner dollar.

"Definitivt, det var overraskelse og mye ærefrykt når det gjelder kreativiteten folk har brukt GPT-3 til," Sandhini Agarwal, en A.I. politikkforsker for OpenAI fortalte Digital Trends. "Så mange brukstilfeller er bare så kreative, og i domener som selv jeg ikke hadde forutsett, ville den ha mye kunnskap om. Det er interessant å se. Men når det er sagt, var GPT-3 – og hele denne forskningsretningen som OpenAI fulgte – i høy grad med håp om at dette ville gi oss en A.I. modell som var mer generell. Hele poenget med en generell A.I. modell er [at det ville være] en modell som kunne like å gjøre alle disse forskjellige A.I. oppgaver."

Mange av prosjektene fremhever en av de store verdiøkningene til GPT-3: Mangelen på opplæring det krever. Maskinlæring har vært transformerende på alle mulige måter de siste par tiårene. Men maskinlæring krever et stort antall treningseksempler for å kunne gi riktige svar. GPT-3, på den annen side, har en "få skuddsevne" som gjør at den kan læres å gjøre noe med bare en liten håndfull eksempler.

Plausibel bull***t

GPT-3 er svært imponerende. Men det byr også på utfordringer. Noen av disse er knyttet til kostnader: For høyvolumstjenester som chatbots, som kan dra nytte av GPT-3s magi, kan verktøyet være for dyrt å bruke. (En enkelt melding kan koste 6 cent, noe som, selv om det ikke akkurat er bankbrytende, absolutt stemmer.)

Andre forholder seg til dens utbredte tilgjengelighet, noe som betyr at det sannsynligvis kommer til å bli vanskelig å bygge en oppstart utelukkende siden hard konkurranse sannsynligvis vil redusere marginene.

En annen er mangelen på hukommelse; kontekstvinduet har litt under 2000 ord om gangen før, som Guy Pierces karakter i filmen Memento, er minnet tilbakestilt. "Dette begrenser betydelig lengden på teksten den kan generere, omtrent til et kort avsnitt per forespørsel," sa Lastovich. "Praktisk sett betyr dette at den ikke er i stand til å generere lange dokumenter mens den fortsatt husker hva som skjedde i begynnelsen."

Den kanskje mest bemerkelsesverdige utfordringen er imidlertid også knyttet til dens største styrke: dens konfabuleringsevner. Konfabulering er et begrep som ofte brukes av leger for å beskrive måten noen mennesker med hukommelsesproblemer er i stand til å lage informasjon som i utgangspunktet virker overbevisende, men som ikke nødvendigvis tåler gransking på nærmere sikt undersøkelse. GPT-3s evne til å konfabulere er, avhengig av konteksten, en styrke og en svakhet. For kreative prosjekter kan det være flott, slik at det kan riffe på temaer uten å bekymre seg for noe så dagligdags som sannhet. For andre prosjekter kan det være vanskeligere.

Francis Jervis fra Augrented refererer til GPT-3s evne til å "generere plausibelt tull." Nick Walton fra AI Dungeon sa: "GPT-3 er veldig flink til å skrive kreativ tekst som virker som om den kunne vært skrevet av et menneske... En av sine svakhetene er imidlertid at den ofte kan skrive som om den er veldig selvsikker - selv om den ikke aner hva svaret på en spørsmålet er."

Tilbake i det kinesiske rommet

I denne forbindelse returnerer GPT-3 oss til den velkjente bakken til John Searles kinesiske rom. I 1980 publiserte Searle, en filosof en av de mest kjente A.I. tankeeksperimenter, fokusert på temaet «forståelse». Det kinesiske rommet ber oss om å forestille oss en person innelåst i et rom med en masse skrift på et språk de ikke forstår. Alt de kjenner igjen er abstrakte symboler. Rommet inneholder også et sett med regler som viser hvordan et sett med symboler samsvarer med et annet. Gitt en rekke spørsmål å besvare, må rommets beboer matche spørsmålssymboler med svarsymboler. Etter å ha gjentatt denne oppgaven mange ganger, blir de dyktige til å utføre den - selv om de ikke har noen anelse om hva noen av symbolene betyr, bare at det ene samsvarer med det andre.

GPT-3 er en verden borte fra den slags språklige A.I. som eksisterte på den tiden Searle skrev. Spørsmålet om forståelse er imidlertid like vanskelig som alltid.

"Dette er et veldig kontroversielt spørsmålsfelt, som jeg er sikker på at du er klar over, fordi det er så mange forskjellige meninger om hvorvidt språkmodeller, generelt, noen gang ville ha [ekte] forståelse,» sa OpenAIs Sandhini Agarwal. "Hvis du spør meg om GPT-3 akkurat nå, fungerer den veldig bra noen ganger, men ikke veldig bra andre ganger. Det er denne tilfeldigheten på en måte om hvor meningsfylt utgangen kan virke for deg. Noen ganger kan du bli imponert av utgangen, og noen ganger vil utgangen bare være useriøs. Gitt det, akkurat nå etter min mening... ser det ikke ut til at GPT-3 har forståelse.»

En ekstra vri på Chinese Room-eksperimentet i dag er at GPT-3 ikke er programmert på hvert trinn av et lite team av forskere. Det er en massiv modell som er trent på et enormt datasett som består av, vel, internett. Dette betyr at den kan fange opp slutninger og skjevheter som kan være kodet inn i tekst funnet på nettet. Har du hørt uttrykket at du er et gjennomsnitt av de fem personene du omgir deg med? Vel, GPT-3 ble trent på nesten ufattelige mengder tekstdata fra flere kilder, inkludert bøker, Wikipedia og andre artikler. Fra dette lærer den å forutsi det neste ordet i en hvilken som helst sekvens ved å søke i treningsdataene for å se ordkombinasjoner som er brukt tidligere. Dette kan få utilsiktede konsekvenser.

Mate de stokastiske papegøyene

Denne utfordringen med store språkmodeller ble først fremhevet i en banebrytende papir om emnet såkalte stokastiske papegøyer. En stokastisk papegøye – et begrep laget av forfatterne, som inkluderte blant sine rekker den tidligere medlederen til Googles etiske A.I. team, Timnit Gebru — viser til en stor språkmodell som «tilfeldig [syt] sammen sekvenser av språklige former den har observert i sine enorme treningsdata, i henhold til sannsynlig informasjon om hvordan de kombineres, men uten noen referanse til mening."

"Etter å ha blitt trent på en stor del av internett, er det viktig å erkjenne at det vil bære noen av sine skjevheter," Albert Gozzi, fortalte en annen GPT-3-bruker til Digital Trends. "Jeg vet at OpenAI-teamet jobber hardt for å redusere dette på noen forskjellige måter, men jeg forventer at dette vil være et problem i [noe] tid fremover."

OpenAIs mottiltak for å forsvare seg mot skjevhet inkluderer et toksisitetsfilter, som filtrerer ut visse språk eller emner. OpenAI jobber også med måter å integrere menneskelig tilbakemelding på for å kunne spesifisere hvilke områder man ikke skal forville seg inn på. I tillegg kontrollerer teamet tilgangen til verktøyet slik at visse negative bruksområder av verktøyet ikke gis tilgang.

"En av grunnene til at du kanskje ikke har sett at for mange av disse ondsinnede brukerne er fordi vi har en intensiv gjennomgangsprosess internt," sa Agarwal. "Måten vi jobber på er at hver gang du vil bruke GPT-3 i et produkt som faktisk vil bli distribuert, må gå gjennom en prosess der et team – som et team av mennesker – faktisk vurderer hvordan du vil bruke den. … Så, basert på å sørge for at det ikke er noe ondsinnet, vil du få tilgang.»

Noe av dette er imidlertid utfordrende - ikke minst fordi skjevhet ikke alltid er et tydelig tilfelle av bruk av visse ord. Jervis bemerker at hans GPT-3-leiemeldinger til tider kan "tende mot stereotypisk kjønn [eller] klasse antagelser." Uten tilsyn kan det anta subjektets kjønnsidentitet på et leiebrev, basert på familien deres rolle eller jobb. Dette er kanskje ikke det mest alvorlige eksemplet på A.I. skjevhet, men det fremhever hva som skjer når store mengder data blir inntatt og deretter sannsynlig sett sammen i en språkmodell.

"Skevhet og potensialet for eksplisitt avkastning eksisterer absolutt og krever innsats fra utviklere for å unngå," sa Tyler Lastovich. "OpenAI flagger potensielt giftige resultater, men til syvende og sist legger det til et ansvar kundene må tenke seg godt om før de setter modellen i produksjon. En spesielt vanskelig kantsak å utvikle rundt er modellens tilbøyelighet til å lyve - siden den ikke har noe begrep om sann eller usann informasjon."

Språkmodeller og fremtiden til A.I.

Ni måneder etter debuten lever GPT-3 absolutt opp til faktureringen som en game changer. Det som en gang var rent potensial, har vist seg å være realisert potensial. Antallet spennende brukstilfeller for GPT-3 fremhever hvordan en tekstgenererende A.I. er mye mer allsidig enn beskrivelsen antyder.

Ikke at det er den nye ungen på blokken i disse dager. Tidligere i år ble GPT-3 forbigått som den største språkmodellen. Google Brain debuterte en ny språkmodell med rundt 1,6 billioner parametere, noe som gjør det ni ganger så stort som OpenAIs tilbud. Heller ikke dette vil trolig være slutten på veien for språkmodeller. Dette er ekstremt kraftige verktøy - med potensial til å være transformative for samfunnet, potensielt på godt og vondt.

Det finnes absolutt utfordringer med disse teknologiene, og det er de som selskaper som OpenAI, uavhengige forskere og andre må fortsette å ta tak i. Men sett under ett er det vanskelig å argumentere for at språkmodeller ikke er i ferd med å bli en av de mest interessante og viktige grensene for forskning på kunstig intelligens.

Hvem hadde trodd at tekstgeneratorer kunne være så dypt viktige? Velkommen til fremtiden for kunstig intelligens.

Redaktørenes anbefalinger

• Analog A.I.? Det høres sprøtt ut, men det kan være fremtiden
• Les den uhyggelig vakre 'syntetiske skriften' til en A.I. som tror det er Gud
• Algoritmisk arkitektur: Bør vi la A.I. designe bygninger for oss?
• Kvinner med byte: Vivienne Mings plan for å løse "rotete menneskelige problemer" med A.I.
• Hvorfor lære roboter å leke gjemsel kan være nøkkelen til neste generasjons A.I.