GPT-3: OpenAI: s nya textgenererande neurala nätverk är här

När den textgenererande algoritmen GPT-2 skapades 2019 märktes den som en av de mest "farlig”A.I. algoritmer i historien. Faktum är att vissa hävdade att det var så farligt att det aldrig borde släppas till allmänheten (spoiler: det var det) så att det inte skulle inleda "robotapokalyps.” Det hände förstås aldrig. GPT-2 släpptes så småningom för allmänheten, och efter att den inte förstörde världen gick dess skapare vidare till nästa sak. Men hur följer man upp den farligaste algoritmen som någonsin skapats?

Svaret, åtminstone på pappret, är enkelt: Precis som uppföljaren till vilken framgångsrik film som helst, gör du något som är större, dåligare och dyrare. Endast en xenomorf i den första Utomjording? Inkludera ett helt bo av dem i uppföljaren, Aliens. Bara en enda nästan oförstörbar maskin skickad tillbaka från framtiden in Terminator? Ge publiken två av dem att brottas med Terminator 2: Judgment Day.

Detsamma gäller för A.I. - I detta fall,

GPT-3, ett nyligen släppt neuralt nätverk för bearbetning av naturligt språk skapat av OpenAI, forskningslabbet för artificiell intelligens som en gång var (men inte längre) sponsrad av SpaceX och Teslas vd Elon Musk.

GPT-3 är den senaste i en serie av textgenererande neurala nätverk. Namnet GPT står för Generative Pretrained Transformer, och hänvisar till en 2017 Googles innovation kallas en Transformer som kan räkna ut sannolikheten för att ett visst ord kommer att visas med omgivande ord. Matad med några meningar, som början på en nyhet, den GPT-förutbildade språkmodellen kan generera övertygande exakta fortsättningar, även inklusive formuleringen av fabricerade citat.

Det är därför vissa oroade sig för att det skulle kunna visa sig vara farligt, genom att hjälpa till att generera falsk text som t.ex deepfakes, skulle kunna hjälpa till att sprida falska nyheter på nätet. Nu, med GPT-3, är den större och smartare än någonsin.

Sagan om bandet

GPT-3 är, som en boxningsliknande "tale of the tape"-jämförelse skulle klargöra, en riktig tungviktsbruiser för en utmanare. OpenAI: s ursprungliga GPT för 2018 hade 110 miljoner parametrar, hänvisade till vikten av anslutningarna som gör det möjligt för ett neuralt nätverk att lära sig. 2019 års GPT-2, som orsakade mycket av det tidigare uppståndelsen om dess potentiella skadliga applikationer, hade 1,5 miljarder parametrar. Förra månaden, introducerade Microsoft vad som då var världens största liknande förutbildade språkmodell, med 17 miljarder parametrar. 2020-talets monstruösa GPT-3, som jämförelse, har en häpnadsväckande 175 miljarder parametrar. Det kostade enligt uppgift cirka 12 miljoner dollar att träna.

"Kraften med dessa modeller är att för att framgångsrikt kunna förutsäga nästa ord slutar de med att de lär sig en riktigt kraftfull värld modeller som kan användas för alla möjliga intressanta saker, säger Nick Walton, teknisk chef för Latitude, studion Bakom A.I. Dungeon, ett A.I.-genererat textäventyrsspel som drivs av GPT-2, berättade för Digital Trends. "Du kan också finjustera basmodellerna för att forma generationen i en specifik riktning samtidigt som du behåller kunskapen som modellen lärde sig under förträningen."

Gwern Branwen, en kommentator och forskare som skriver om psykologi, statistik och teknik, sa till Digital Trends att förtränad språkmodell som GPT representerar har blivit en "allt mer kritisk del av alla maskininlärningsuppgifter som rör på text. På samma sätt som [standardförslaget för] många bildrelaterade uppgifter har blivit "använd en [konvolutionellt neuralt nätverk], många språkrelaterade uppgifter har blivit "använd ett finjusterat [språk modell.'"

OpenAI – som avböjde att kommentera den här artikeln – är inte det enda företaget som gör ett imponerande arbete med naturlig språkbehandling. Som nämnts har Microsoft tagit steget med en del eget bländande arbete. Facebook, under tiden, satsar hårt på tekniken och har skapat genombrott som BlenderBot, den största chatboten med öppen källkod någonsin med öppen domän. Det överträffar andra när det gäller engagemang och känns också mer mänskligt, enligt mänskliga utvärderare. Som alla som har använt en dator under de senaste åren vet, blir maskiner bättre på att förstå oss än någonsin - och naturlig språkbehandling är anledningen till det.

Storlek spelar roll

Men OpenAI: s GPT-3 står fortfarande ensam i sin rekordstora skala. "GPT-3 genererar buzz främst på grund av sin storlek," Joe Davison, forskningsingenjör vid Kramar ansikte, en startup som arbetar med att främja naturlig språkbehandling genom att utveckla verktyg med öppen källkod och utföra grundläggande forskning, berättade för Digital Trends.

Den stora frågan är vad allt detta ska användas till. GPT-2 hittade sin väg till en myriad av användningsområden, som används för olika textgenererande system.

Davison uttryckte viss försiktighet för att GPT-3 kunde begränsas av sin storlek. "Teamet på OpenAI har otvivelaktigt tänjt på gränsen för hur stora dessa modeller kan vara och visat att genom att växa dem minskar vårt beroende av uppgiftsspecifika data längre fram", sa han. "Men de beräkningsresurser som behövs för att faktiskt använda GPT-3 i den verkliga världen gör det extremt opraktiskt. Så även om arbetet verkligen är intressant och insiktsfullt, skulle jag inte kalla det ett stort steg framåt för fältet."

Andra håller dock inte med. "[internal-link post_id="NN"]artificiell intelligens[/internal-link]-gemenskapen har länge observerat att man kombinerar allt större modeller med mer och mer data ger nästan förutsägbara förbättringar i kraften hos dessa modeller, mycket likt Moores lag om skalning av beräkningskraft, säger Yannic Kilcher, en A.I. forskare WHO driver en YouTube-kanal, berättade för Digital Trends. "Ändå, precis som Moores lag, har många spekulerat i att vi är i slutet av att kunna förbättra språkmodeller genom att helt enkelt skala dem upp, och för att få högre prestanda skulle vi behöva göra betydande uppfinningar i form av ny arkitektur eller utbildning metoder. GPT-3 visar att detta inte är sant och förmågan att driva prestanda helt enkelt genom skala verkar obruten - och det finns inte riktigt ett slut i sikte."

Klarar du Turing-testet?

Branwen föreslår att verktyg som GPT-3 kan vara en stor störande kraft. "Ett sätt att tänka på det är, vilka jobb innefattar att ta ett stycke text, omvandla det och sända ut ytterligare ett stycke text?" sa Branwen. "Varje jobb som beskrivs av det - såsom medicinsk kodning, fakturering, receptionister, kundsupport, [och mer] skulle vara ett bra mål för att finjustera GPT-3 på och ersätta den personen. Många jobb är mer eller mindre att "kopiera fält från ett kalkylblad eller PDF till ett annat kalkylblad eller PDF", och den typen av kontorsautomation, som är för kaotisk för att enkelt skriva ett vanligt program att ersätta, skulle vara sårbart för GPT-3 eftersom det kan lära sig alla undantag och olika konventioner och prestera lika bra som den mänskliga skulle."

I slutändan kan bearbetning av naturligt språk bara vara en del av A.I., men det skär utan tvekan till kärnan i drömmen om artificiell intelligens på ett sätt som få andra discipliner inom området gör. De berömda Turing-testet, en av de framstående debatterna som kickstartade fältet, är ett naturligt språkbehandlingsproblem: Kan du bygga en A.I. som på ett övertygande sätt kan framstå som person? OpenAI: s senaste arbete främjar verkligen detta mål. Nu återstår att se vilka tillämpningar forskarna kommer att hitta för det.

"Jag tror att det är det faktum att GPT-2-text så lätt kan passera för människor att det blir svårt att för hand vifta bort det som "bara mönsterigenkänning" eller "bara memorering", sa Branwen. "Vem som helst som var säker på att de saker som djupinlärning gör inte liknar intelligens måste ha fått sin tro skakad för att se hur långt den har kommit."

Redaktörens rekommendationer

• Toppförfattare kräver betalning från AI-företag för att de använder deras arbete
• ChatGPT-tillverkaren OpenAI står inför FTC-utredning över konsumentskyddslagar
• OpenAI bygger ett nytt team för att förhindra att superintelligent AI blir oseriöst
• ChatGPT-skapare försöker eliminera chatbot-hallucinationer
• OpenAI: s nya ChatGPT-app är gratis för iPhone och iPad