Hur GPT-3 tyst inleder A.I. Rotation

Vad är det bra för? Absolut allt

Nyligen ringde Francis Jervis, grundaren av en startup Augrented, använde GPT-3 för att hjälpa människor som kämpar med sin hyra att skriva brev där de förhandlade om hyresrabatter. "Jag skulle beskriva användningsfallet här som "stilöverföring", säger Jervis till Digital Trends. "[Det tar in] punktpunkter, som inte ens behöver vara på perfekt engelska, och [matar ut] två till tre meningar på formellt språk."

Drivs av denna extremt kraftfulla språkmodell, låter Jervis verktyg hyresgäster beskriva sin situation och anledningen till att de behöver en rabatterad lösning. "Skriv bara in ett par ord om varför du förlorade inkomst, så får du inom några sekunder ett förslag på övertygande, formellt stycke att lägga till i ditt brev", hävdar företaget.

Det här är bara toppen av isberget. När Aditya Joshi, en maskininlärningsforskare och tidigare Amazon Web Services-ingenjör, kom först över GPT-3, han blev så imponerad av vad han såg att han skapade en webbplats, www.gpt3examples.com, för att hålla reda på de bästa.

"Kort efter att OpenAI tillkännagav sitt API började utvecklare twittra imponerande demos av applikationer byggda med GPT-3", sa han till Digital Trends. "De var häpnadsväckande bra. Jag byggde [min webbplats] för att göra det enkelt för communityn att hitta dessa exempel och upptäcka kreativa sätt att använda GPT-3 för att lösa problem i sin egen domän."

Helt interaktiva syntetiska personas med GPT-3 och https://t.co/ZPdnEqR0Hn 🎇

De vet vilka de är, var de arbetade, vem deras chef är och så mycket mer. Det här är inte din fars bot... pic.twitter.com/kt4AtgYHZL

— Tyler Lastovich (@tylerlastovich) 18 augusti 2020

Joshi pekar på flera demos som verkligen gjorde intryck på honom. Ett A layoutgenerator, återger en funktionell layout genom att generera JavaScript-kod från en enkel textbeskrivning. Vill du ha en knapp som säger "prenumerera" i form av en vattenmelon? Sugen på lite bannertext med en serie knappar i regnbågens färger? Förklara dem bara i grundläggande text, så kommer Sharif Shameems layoutgenerator att skriva koden åt dig. En annan, a GPT-3-baserad sökmotor skapad av Paras Chopra, kan förvandla alla skriftliga frågor till ett svar och en URL-länk för att ge mer information. En annan, motsatsen till Francis Jervis av Michael Tefula, översätter juridiska dokument till vanlig engelska. Ännu en, av Raphaël Millière, skriver filosofiska essäer. Och en annan, av Gwern Branwen, kan skapa kreativ fiktion.

"Jag förväntade mig inte att en enda språkmodell skulle prestera så bra på ett så varierat utbud av uppgifter, från språköversättning och generering till textsammanfattning och enhetsextraktion," sa Joshi. "I ett av mina egna experiment, Jag använde GPT-3 för att förutsäga kemiska förbränningsreaktioner, och det gick så förvånansvärt bra."

Mer var det kom ifrån

Den transformativa användningen av GPT-3 slutar inte heller där. Datorvetenskapsman Tyler Lastovich har använt GPT-3 för att skapa falska människor, inklusive backstory, som sedan kan interageras med via text. Samtidigt har Andrew Mayne visat att GPT-3 kan vara används för att förvandla filmtitlar till emojis. Nick Walton, teknisk chef för Latitude, studion bakom GPT-genererat textäventyrsspel AI Dungeon gjorde nyligen samma sak för att se om det kunde vända längre textbeskrivningar till emoji. Och Copy.ai, en startup som bygger copywriting-verktyg med GPT-3, pekar på modellen för allt det är värt, med en månatlig återkommande intäkter på $67 000 i mars — och en nyligen genomförd finansieringsrunda på 2,9 miljoner dollar.

"Definitivt fanns det överraskning och mycket vördnad när det gäller kreativiteten som folk har använt GPT-3 för," Sandhini Agarwal, en A.I. policyforskare för OpenAI berättade för Digital Trends. "Så många användningsfall är bara så kreativa, och inom domäner som inte ens jag hade förutsett, skulle det ha mycket kunskap om. Det är intressant att se. Men som sagt, GPT-3 – och hela den här forskningsriktningen som OpenAI eftersträvade – var mycket med hopp om att detta skulle ge oss en A.I. modell som var mer allmänt ändamålsenlig. Hela poängen med en allmän A.I. modell är [att det skulle vara] en modell som skulle vilja göra alla dessa olika A.I. uppgifter.”

Många av projekten lyfter fram en av de stora mervärdena med GPT-3: bristen på utbildning som det kräver. Maskininlärning har varit transformerande på alla möjliga sätt under de senaste decennierna. Men maskininlärning kräver ett stort antal träningsexempel för att kunna mata ut korrekta svar. GPT-3, å andra sidan, har en "få skottförmåga" som gör att den kan läras att göra något med bara en liten handfull exempel.

Plausibel bull***t

GPT-3 är mycket imponerande. Men det ställer också till utmaningar. Några av dessa hänför sig till kostnaden: För tjänster med hög volym som chatbots, som kan dra nytta av GPT-3:s magi, kan verktyget vara för dyrt att använda. (Ett enstaka meddelande kan kosta 6 cent, vilket, även om det inte är direkt bankbrytande, verkligen räcker.)

Andra relaterar till dess utbredda tillgänglighet, vilket innebär att det sannolikt kommer att bli tufft att bygga en startup uteslutande eftersom hård konkurrens sannolikt kommer att minska marginalerna.

En annan är bristen på minne; dess sammanhangsfönster löper lite under 2 000 ord åt gången tidigare, som Guy Pierces karaktär i filmen Minne, dess minne återställs. "Detta begränsar avsevärt längden på text den kan generera, ungefär till ett kort stycke per begäran," sa Lastovich. "Praktiskt sett betyder detta att den inte kan generera långa dokument samtidigt som den kommer ihåg vad som hände i början."

Den kanske mest anmärkningsvärda utmaningen är dock också relaterad till dess största styrka: dess konfabulerande förmåga. Confabulation är en term som ofta används av läkare för att beskriva hur vissa personer med minnesproblem kan tillverka information som från början verkar övertygande, men som inte nödvändigtvis tål granskning vid närmare tillfälle inspektion. GPT-3:s förmåga att konfabulera är, beroende på sammanhanget, en styrka och en svaghet. För kreativa projekt kan det vara bra, så att det kan riffa på teman utan att bry sig om något så vardagligt som sanning. För andra projekt kan det vara knepigare.

Francis Jervis från Augrented hänvisar till GPT-3:s förmåga att "generera rimligt skitsnack." Nick Walton från AI Dungeon sa: "GPT-3 är väldigt bra på att skriva kreativ text som verkar som om den kunde ha skrivits av en människa... En av dess svagheter är dock att det ofta kan skriva som att det är väldigt självsäkert - även om det inte har någon aning om vad svaret på en frågan är."

Tillbaka i det kinesiska rummet

I detta avseende återför GPT-3 oss till den välbekanta marken för John Searles kinesiska rum. 1980 publicerade Searle, en filosof en av de mest kända A.I. tankeexperiment, fokuserat på ämnet "förståelse". Kinesiska rummet ber oss föreställa oss en person inlåst i ett rum med en massa skrift på ett språk som de inte förstår. Allt de känner igen är abstrakta symboler. Rummet innehåller också en uppsättning regler som visar hur en uppsättning symboler överensstämmer med en annan. Med tanke på en rad frågor att besvara måste rummets boende matcha frågesymboler med svarssymboler. Efter att ha upprepat denna uppgift många gånger blir de skickliga på att utföra den - även om de inte har någon aning om vad någon av symbolerna betyder, bara att den ena motsvarar den andra.

GPT-3 är en värld borta från de typer av språklig A.I. som fanns när Searle skrev. Men frågan om förståelse är lika svår som alltid.

"Detta är ett mycket kontroversiellt område för ifrågasättande, som jag är säker på att du är medveten om, eftersom det finns så många olika åsikter om huruvida, i allmänhet, språkmodeller … någonsin skulle ha [verklig] förståelse”, sa OpenAIs Sandhini Agarwal. "Om du frågar mig om GPT-3 just nu så presterar den väldigt bra ibland, men inte särskilt bra andra gånger. Det finns denna slumpmässighet på ett sätt om hur meningsfull utmatningen kan verka för dig. Ibland kan du bli imponerad av resultatet, och ibland blir resultatet bara nonsens. Med tanke på det, just nu enligt min åsikt … GPT-3 verkar inte ha förståelse.”

En extra twist på det kinesiska rummets experiment idag är att GPT-3 inte programmeras vid varje steg av ett litet team av forskare. Det är en enorm modell som har tränats på en enorm datauppsättning som består av, ja, internet. Detta innebär att den kan ta upp slutsatser och fördomar som kan kodas in i text som hittas online. Du har hört uttrycket att du är ett genomsnitt av de fem personer du omger dig med? Nåväl, GPT-3 tränades på nästan outgrundliga mängder textdata från flera källor, inklusive böcker, Wikipedia och andra artiklar. Från detta lär den sig att förutsäga nästa ord i vilken sekvens som helst genom att leta igenom dess träningsdata för att se ordkombinationer som använts tidigare. Detta kan få oavsiktliga konsekvenser.

Mata de stokastiska papegojorna

Denna utmaning med stora språkmodeller lyftes först fram i en banbrytande papper på ämnet så kallade stokastiska papegojor. En stokastisk papegoja – en term som myntats av författarna, som bland sina led inkluderade den tidigare medledaren för Googles etiska A.I. team, Timnit Gebru — hänvisar till en stor språkmodell som "slumpmässigt [häftar] ihop sekvenser av språkliga former som den har observerat i sina omfattande träningsdata, enligt probabilistisk information om hur de kombineras, men utan någon referens till mening."

"Efter att ha blivit utbildad på en stor del av internet är det viktigt att erkänna att det kommer att bära några av sina fördomar," Albert Gozzi, en annan GPT-3-användare, berättade för Digital Trends. "Jag vet att OpenAI-teamet jobbar hårt på att mildra detta på några olika sätt, men jag förväntar mig att det här kommer att vara ett problem under [någon] tid framöver."

OpenAI: s motåtgärder för att försvara sig mot partiskhet inkluderar ett toxicitetsfilter, som filtrerar bort vissa språk eller ämnen. OpenAI arbetar också med sätt att integrera mänsklig feedback för att kunna specificera vilka områden man inte ska gå in på. Dessutom kontrollerar teamet åtkomst till verktyget så att vissa negativa användningar av verktyget inte kommer att beviljas åtkomst.

"En av anledningarna till att du kanske inte har sett så många av dessa illvilliga användare är för att vi har en intensiv granskning internt," sa Agarwal. "Sättet vi arbetar på är att varje gång du vill använda GPT-3 i en produkt som faktiskt skulle distribueras, måste gå igenom en process där ett team - som ett team av människor - faktiskt granskar hur du vill använda Det. … Sedan, baserat på att se till att det inte är något skadligt, kommer du att beviljas åtkomst.”

En del av detta är dock utmanande - inte minst eftersom partiskhet inte alltid är ett tydligt fall av att använda vissa ord. Jervis noterar att hans GPT-3 hyrmeddelanden ibland kan "benäga mot stereotypt kön [eller] klass antaganden.” Om den lämnas obevakad kan den anta försökspersonens könsidentitet på ett hyresbrev, baserat på deras familj roll eller jobb. Det här är kanske inte det mest allvarliga exemplet på A.I. bias, men det belyser vad som händer när stora mängder data tas in och sedan sannolikt återmonteras i en språkmodell.

"Bias och potentialen för explicit avkastning finns absolut och kräver ansträngning från utvecklare för att undvika," sa Tyler Lastovich. "OpenAI flaggar potentiellt giftiga resultat, men i slutändan lägger det till ett ansvar som kunder måste tänka ordentligt på innan de sätter modellen i produktion. Ett specifikt svårt kantfall att utveckla kring är modellens benägenhet att ljuga – eftersom den inte har något begrepp om sann eller falsk information.”

Språkmodeller och framtiden för A.I.

Nio månader efter sin debut lever GPT-3 verkligen upp till sin fakturering som en spelväxlare. Det som en gång var rent potential har visat sig vara potential som förverkligas. Antalet spännande användningsfall för GPT-3 visar hur en textgenererande A.I. är mycket mer mångsidig än den beskrivningen kan antyda.

Inte för att det är den nya ungen på blocket nu för tiden. Tidigare i år kördes GPT-3 om som den största språkmodellen. Google Brain lanserade en ny språkmodell med cirka 1,6 biljoner parametrar, vilket gör det nio gånger så stort som OpenAI: s utbud. Detta kommer sannolikt inte heller att vara slutet på vägen för språkmodeller. Dessa är extremt kraftfulla verktyg - med potential att vara transformativa för samhället, potentiellt på gott och ont.

Det finns verkligen utmaningar med dessa tekniker, och det är sådana som företag som OpenAI, oberoende forskare och andra måste fortsätta att ta itu med. Men som helhet är det svårt att hävda att språkmodeller inte blir en av de mest intressanta och viktigaste gränserna för forskning om artificiell intelligens.

Vem skulle ha trott att textgeneratorer kunde vara så oerhört viktiga? Välkommen till framtiden för artificiell intelligens.

Redaktörens rekommendationer

• Analog A.I.? Det låter galet, men det kanske är framtiden
• Läs den kusligt vackra "syntetiska skriften" av en A.I. som tror att det är Gud
• Algoritmisk arkitektur: Ska vi låta A.I. designa byggnader åt oss?
• Kvinnor med byte: Vivienne Mings plan för att lösa "stökiga mänskliga problem" med A.I.
• Varför lära robotar att leka kurragömma kan vara nyckeln till nästa generations A.I.