GPT-3: OpenAI's nieuwe tekstgenererende neurale netwerk is er

Toen het tekstgenererende algoritme GPT-2 in 2019 werd gemaakt, werd het bestempeld als een van de meest “gevaarlijk” A.I. algoritmen in de geschiedenis. Sommigen voerden zelfs aan dat het zo gevaarlijk was dat het nooit aan het publiek mocht worden vrijgegeven (spoiler: dat was het), anders zou het de “robot-apocalyps.” Dat is uiteraard nooit gebeurd. GPT-2 werd uiteindelijk vrijgegeven voor het publiek, en nadat het de wereld niet had vernietigd, gingen de makers verder met het volgende. Maar hoe volg je het gevaarlijkste algoritme ooit op?

Het antwoord is, althans op papier, simpel: net als het vervolg op elke succesvolle film maak je iets dat groter, slechter en duurder is. Slechts één xenomorf in de eerste Buitenaards wezen? Voeg een heel nest van hen toe aan het vervolg, Buitenaardse wezens. Slechts één vrijwel onverwoestbare machine die vanuit de toekomst is teruggestuurd Terminator? Geef het publiek er twee om mee te worstelen Terminator 2: Dag des Oordeels.

Hetzelfde geldt voor A.I. - in dit geval, GPT-3, een onlangs uitgebracht neuraal netwerk voor natuurlijke taalverwerking, gecreëerd door OpenAI, het onderzoekslaboratorium voor kunstmatige intelligentie dat ooit was (maar niet langer) gesponsord door SpaceX en Tesla-CEO Elon Musk.

GPT-3 is de nieuwste in een reeks tekstgenererende neurale netwerken. De naam GPT staat voor Generative Pretrained Transformer, verwijzend naar een 2017 Google-innovatie genaamd Transformer waarmee de waarschijnlijkheid kan worden berekend dat een bepaald woord samen met omringende woorden zal verschijnen. Gevoed met een paar zinnen, zoals het begin van een nieuwsbericht, het GPT-voorgetrainde taalmodel kan overtuigend nauwkeurige voortzettingen genereren, zelfs met inbegrip van de formulering van verzonnen citaten.

Dit is de reden waarom sommigen zich zorgen maakten dat het gevaarlijk zou kunnen blijken te zijn, door valse tekst te helpen genereren, zoals deepfakes, zou kunnen helpen nepnieuws online te verspreiden. Met GPT-3 is het nu groter en slimmer dan ooit.

Verhaal van de band

GPT-3 is, zoals een vergelijking in boksstijl “Tale of the Tape” duidelijk zou maken, een echte zwaargewicht-kneuzer van een mededinger. De oorspronkelijke GPT uit 2018 van OpenAI had 110 miljoen parameters, verwijzend naar het gewicht van de verbindingen die een neuraal netwerk in staat stellen te leren. De GPT-2 van 2019, die veel van de eerdere ophef veroorzaakte over zijn potentiële kwaadaardige toepassingen, beschikte over 1,5 miljard parameters. Vorige maandintroduceerde Microsoft wat destijds het grootste vergelijkbare, vooraf getrainde taalmodel ter wereld was, met 17 miljard parameters. Ter vergelijking: de monsterlijke GPT-3 van 2020 heeft een verbazingwekkende prestatie 175 miljard parameters. Het kostte naar verluidt ongeveer $ 12 miljoen om te trainen.

“De kracht van deze modellen is dat ze, om het volgende woord succesvol te kunnen voorspellen, uiteindelijk een werkelijk krachtige wereld leren kennen modellen die voor allerlei interessante dingen kunnen worden gebruikt”, aldus Nick Walton, chief technology officer van Latitude, de studio achter AI Kerker, een door AI gegenereerd tekstavonturenspel mogelijk gemaakt door GPT-2, vertelde Digital Trends. “Je kunt de basismodellen ook verfijnen om de generatie in een specifieke richting te vormen, terwijl je toch de kennis behoudt die het model tijdens de vooropleiding heeft geleerd.”

Gwern Branwen, een commentator en onderzoeker die schrijft over psychologie, statistiek en technologie, vertelde Digital Trends dat de Het vooraf getrainde taalmodel dat GPT vertegenwoordigt, is een “steeds belangrijker onderdeel geworden van elke machine learning-taak die op tekst. Op dezelfde manier waarop [de standaard suggestie voor] veel beeldgerelateerde taken ‘gebruik a.’ zijn geworden [convolutioneel neuraal netwerk] zijn veel taalgerelateerde taken ‘een verfijnde [taal’ geworden model.'"

OpenAI – dat weigerde commentaar te geven op dit artikel – is niet het enige bedrijf dat indrukwekkend werk doet op het gebied van natuurlijke taalverwerking. Zoals gezegd heeft Microsoft een aantal schitterende eigen werken op de markt gebracht. Facebook, investeert ondertussen zwaar in de technologie en heeft voor doorbraken gezorgd zoals BlenderBot, de grootste open source chatbot ooit. Het presteert beter dan anderen in termen van betrokkenheid en voelt ook menselijker aan, aldus menselijke beoordelaars. Zoals iedereen die de afgelopen jaren een computer heeft gebruikt weet, begrijpen machines ons steeds beter dan ooit – en natuurlijke taalverwerking is de reden daarvoor.

Grootte doet er toe

Maar GPT-3 van OpenAI staat nog steeds op zichzelf in zijn recordbrekende schaal. “GPT-3 genereert vooral buzz vanwege zijn omvang”, zegt Joe Davison, onderzoeksingenieur bij Knuffelend gezicht, een startup die werkt aan de vooruitgang van natuurlijke taalverwerking door open-source tools te ontwikkelen en fundamenteel onderzoek uit te voeren, vertelde Digital Trends.

De grote vraag is waar dit allemaal voor gebruikt zal worden. GPT-2 vond zijn weg naar talloze toepassingen en werd gebruikt voor verschillende tekstgenererende systemen.

Davison uitte enige voorzichtigheid dat GPT-3 beperkt zou kunnen worden door zijn omvang. “Het team van OpenAI heeft zonder twijfel de grens verlegd van hoe groot deze modellen kunnen zijn en heeft laten zien dat het laten groeien ervan onze afhankelijkheid van taakspecifieke gegevens in de loop van de tijd vermindert”, zei hij. “De computerbronnen die nodig zijn om GPT-3 daadwerkelijk in de echte wereld te gebruiken, maken het echter uiterst onpraktisch. Dus hoewel het werk zeker interessant en verhelderend is, zou ik het geen grote stap voorwaarts voor het vakgebied willen noemen.”

Anderen zijn het daar echter niet mee eens. “De gemeenschap van [internal-link post_id="NN"]kunstmatige intelligentie[/internal-link] heeft lang waargenomen dat het combineren van steeds grotere modellen met steeds meer data levert vrijwel voorspelbare verbeteringen op in de kracht van deze modellen, vergelijkbaar met de wet van Moore over het schalen van rekenkracht”, aldus Yannic Kilcher, een A.I. onderzoeker WHO beheert een YouTube-kanaal, vertelde Digitale Trends. “Toch hebben velen, net als de wet van Moore, gespeculeerd dat we aan het einde zijn van de mogelijkheid om taalmodellen te verbeteren door ze simpelweg op te schalen. en om betere prestaties te krijgen, zouden we substantiële uitvindingen moeten doen op het gebied van nieuwe architecturen of training methoden. GPT-3 laat zien dat dit niet waar is en het vermogen om prestaties simpelweg door schaal te vergroten lijkt ononderbroken – en er is niet echt een einde in zicht.”

De Turing-test doorstaan?

Branwen suggereert dat tools als GPT-3 een grote disruptieve kracht kunnen zijn. “Een manier om erover na te denken is: welke taken omvatten het nemen van een stuk tekst, het transformeren ervan en het uitzenden van een ander stuk tekst?” zei Branwen. “Elke baan die daardoor wordt beschreven – zoals medische codering, facturering, receptionisten, klantenondersteuning [en meer] zou een goed doelwit zijn om GPT-3 op af te stemmen en die persoon te vervangen. Bij heel veel klussen gaat het min of meer om het ‘kopiëren van velden van de ene spreadsheet of pdf naar een andere spreadsheet of pdf’, en dat soort kantoorautomatisering, die te chaotisch is om te kunnen uitvoeren. gemakkelijk een normaal programma schrijven om te vervangen, zou kwetsbaar zijn voor GPT-3 omdat het alle uitzonderingen en verschillende conventies kan leren en net zo goed presteert als de mens zou."

Uiteindelijk kan natuurlijke taalverwerking slechts een onderdeel van AI zijn, maar het raakt aantoonbaar de kern van de droom van kunstmatige intelligentie op een manier die maar weinig andere disciplines in het veld doen. De beroemde Turingtest, een van de baanbrekende debatten die het vakgebied op gang hebben gebracht, is een probleem met natuurlijke taalverwerking: kun je een A.I. die zich op overtuigende wijze kan voordoen als persoon? Het nieuwste werk van OpenAI bevordert dit doel zeker. Wat nu overblijft is de vraag welke toepassingen onderzoekers ervoor zullen vinden.

“Ik denk dat het het feit is dat GPT-2-tekst zo gemakkelijk voor mensen kan doorgaan, dat het moeilijk wordt om het weg te wuiven als ‘gewoon patroonherkenning’ of ‘gewoon memoriseren’,” zei Branwen. “Iedereen die er zeker van was dat de dingen die deep learning doet in niets op intelligentie lijken, moet zijn geloof hebben geschokt om te zien hoe ver het is gekomen.”

Aanbevelingen van de redactie

• Topauteurs eisen betaling van AI-bedrijven voor het gebruik van hun werk
• ChatGPT-maker OpenAI wordt geconfronteerd met een FTC-onderzoek naar wetten inzake consumentenbescherming
• OpenAI bouwt nieuw team om te voorkomen dat superintelligente AI schurkenstaten wordt
• ChatGPT-maker wil ‘hallucinaties’ van chatbots elimineren
• De nieuwe ChatGPT-app van OpenAI is gratis voor iPhone en iPad