Hoe GPT-3 stilletjes de AI inluidt Revolutie

Waar is het goed voor? Absoluut alles

Onlangs belde Francis Jervis, de oprichter van een startup Geaugrenteerd, gebruikte GPT-3 om mensen die met hun huur worstelden te helpen brieven te schrijven waarin ze over huurkortingen onderhandelden. “Ik zou de use case hier omschrijven als ‘stijloverdracht’”, vertelde Jervis aan Digital Trends. “[Het neemt] opsommingen op, die niet eens in perfect Engels hoeven te zijn, en [uitvoert] twee tot drie zinnen in formele taal.”

Aangedreven door dit ultrakrachtige taalmodel, stelt de tool van Jervis huurders in staat hun situatie te beschrijven en de reden waarom ze een schikking met korting nodig hebben. “Voer gewoon een paar woorden in over waarom u inkomsten heeft verloren, en binnen een paar seconden krijgt u een overtuigende, formele paragraaf die u aan uw brief kunt toevoegen”, beweert het bedrijf.

Dit is slechts het topje van de ijsberg. Wanneer Aditya Joshi, een machine learning-wetenschapper en voormalig Amazon Web Services-ingenieur, GPT-3 voor het eerst tegenkwam, was zo onder de indruk van wat hij zag dat hij een website opzette, www.gpt3examples.com, om de beste bij te houden.

“Kort nadat OpenAI hun API had aangekondigd, begonnen ontwikkelaars indrukwekkende demo’s te tweeten van applicaties die waren gebouwd met GPT-3”, vertelde hij aan Digital Trends. “Ze waren verbazingwekkend goed. Ik heb [mijn website] gebouwd om het voor de gemeenschap gemakkelijk te maken deze voorbeelden te vinden en creatieve manieren te ontdekken om GPT-3 te gebruiken om problemen in hun eigen domein op te lossen.”

Volledig interactieve synthetische persona's met GPT-3 en https://t.co/ZPdnEqR0Hn 🎇

Ze weten wie ze zijn, waar ze hebben gewerkt, wie hun baas is en nog veel meer. Dit is niet de bot van je vader... pic.twitter.com/kt4AtgYHZL

— Tyler Lastovich (@tylerlastovich) 18 augustus 2020

Joshi wijst op verschillende demo's die echt indruk op hem hebben gemaakt. Eén, een lay-outgenerator, geeft een functionele lay-out weer door JavaScript-code te genereren op basis van een eenvoudige tekstbeschrijving. Wil je een knop met de tekst 'Abonneren' in de vorm van een watermeloen? Zin in een bannertekst met een reeks knoppen in de kleuren van de regenboog? Leg ze gewoon uit in basistekst, en de lay-outgenerator van Sharif Shameem zal de code voor u schrijven. Een ander, een Op GPT-3 gebaseerde zoekmachine gemaakt door Paras Chopra, kan elke schriftelijke vraag omzetten in een antwoord en een URL-link voor het verstrekken van meer informatie. Een ander, het omgekeerde van Francis Jervis’ van Michael Tefula, vertaalt juridische documenten naar gewoon Engels. Nog een andere, door Raphaël Millière, schrijft filosofische essays. En een ander, van Gwern Branwen, kan dat ook creatieve fictie genereren.

“Ik had niet verwacht dat een enkel taalmodel zo goed zou presteren bij zo’n breed scala aan taken, van het vertalen en genereren van talen tot het samenvatten van teksten en het extraheren van entiteiten,” zei Joshi. "In een van mijn eigen experimentengebruikte ik GPT-3 om chemische verbrandingsreacties te voorspellen, en dat deed het verrassend goed.”

Meer waar dat vandaan kwam

Het transformerende gebruik van GPT-3 houdt daar ook niet op. Computer wetenschapper Tyler Lastovitsj heeft GPT-3 gebruikt valse mensen creëren, inclusief achtergrondverhaal, met wie vervolgens via tekst kan worden gecommuniceerd. Ondertussen heeft Andrew Mayne laten zien dat GPT-3 dat wel kan gebruikt om filmtitels in emoji's te veranderen. Nick Walton, chief technology officer van Latitude, de studio achter het door GPT gegenereerde tekstavonturenspel AI-kerker onlangs hetzelfde gedaan om te kijken of het kon keren langere reeksen tekstbeschrijving in emoji. En Copy.ai, een startup die copywriting-tools bouwt met GPT-3, maakt optimaal gebruik van het model, met een maandelijkse terugkerende omzet van $ 67.000 vanaf maart – en een recente financieringsronde van $ 2,9 miljoen.

“Er was zeker verrassing en veel ontzag in termen van de creativiteit waarvoor mensen GPT-3 hebben gebruikt,” Sandhini Agarwal, een A.I. beleidsonderzoeker voor OpenAI tegen Digital Trends. “Zoveel gebruiksscenario's zijn zo creatief, en op domeinen waar zelfs ik niet van had voorzien, zou er veel kennis over zijn. Dat is interessant om te zien. Maar dat gezegd hebbende, hoopte GPT-3 – en deze hele onderzoeksrichting die OpenAI volgde – heel erg dat dit ons een A.I. model dat algemener van aard was. Het hele punt van een A.I. voor algemeen gebruik model is [dat het] één model zou zijn dat al deze verschillende A.I. taken.”

Veel van de projecten benadrukken een van de grote toegevoegde waarde van GPT-3: het gebrek aan training dat ervoor nodig is. Machine learning is de afgelopen decennia op allerlei manieren transformatief geweest. Maar machine learning vereist een groot aantal trainingsvoorbeelden om correcte antwoorden te kunnen geven. GPT-3 daarentegen heeft een ‘paar schotvermogen’ waardoor het kan worden geleerd iets te doen met slechts een handvol voorbeelden.

Plausibele bull***t

GPT-3 is zeer indrukwekkend. Maar het brengt ook uitdagingen met zich mee. Sommige hiervan hebben betrekking op de kosten: voor diensten met een hoog volume, zoals chatbots, die zouden kunnen profiteren van de magie van GPT-3, zou de tool misschien te duur zijn om te gebruiken. (Een enkel bericht kan 6 cent kosten, wat, hoewel niet bepaald bankbrekend, zeker oploopt.)

Anderen hebben te maken met de wijdverbreide beschikbaarheid ervan, wat betekent dat het waarschijnlijk moeilijk zal zijn om er een startup exclusief omheen te bouwen, omdat de hevige concurrentie waarschijnlijk de marges zal doen dalen.

Een andere is het gebrek aan geheugen; het contextvenster bevat voorheen iets minder dan 2000 woorden, zoals het personage van Guy Pierce in de film Aandenken, wordt het geheugen gereset. “Dit beperkt de lengte van de tekst die het kan genereren aanzienlijk, grofweg tot een korte paragraaf per verzoek”, aldus Lastovich. “Praktisch gezien betekent dit dat het niet in staat is om lange documenten te genereren en toch te onthouden wat er in het begin is gebeurd.”

Misschien wel de meest opvallende uitdaging heeft echter ook te maken met de grootste kracht ervan: de confabulatiemogelijkheden. Confabulatie is een term die vaak door artsen wordt gebruikt om de manier te beschrijven waarop sommige mensen met geheugenproblemen daartoe in staat zijn informatie verzinnen die in eerste instantie overtuigend lijkt, maar die bij nadere beschouwing niet noodzakelijkerwijs standhoudt inspectie. Het vermogen van GPT-3 om te confabuleren is, afhankelijk van de context, een sterkte en een zwakte. Voor creatieve projecten kan het geweldig zijn, omdat het thema's kan bespelen zonder zich zorgen te hoeven maken over zoiets alledaags als de waarheid. Voor andere projecten kan het lastiger zijn.

Francis Jervis van Augrented verwijst naar het vermogen van GPT-3 om “plausibele bullshit te genereren.” Nick Walton van AI-kerker zei: “GPT-3 is erg goed in het schrijven van creatieve tekst die lijkt alsof deze door een mens geschreven zou kunnen zijn… Een van de zwakke punten zijn echter dat het vaak kan schrijven alsof het heel zelfverzekerd is – zelfs als het geen idee heeft wat het antwoord is op een vraag. vraag is.”

Terug in de Chinese Kamer

In dit opzicht brengt GPT-3 ons terug naar het vertrouwde terrein van John Searle’s Chinese Room. In 1980 publiceerde Searle, een filosoof een van de bekendste A.I. gedachte-experimenten, gericht op het onderwerp ‘begrijpen’. De Chinese Kamer vraagt ​​ons ons een persoon voor te stellen die opgesloten zit in een kamer met een massa geschriften in een taal die hij of zij niet begrijpt. Het enige wat ze herkennen zijn abstracte symbolen. De kamer bevat ook een reeks regels die laten zien hoe de ene reeks symbolen met de andere overeenkomt. Gegeven een reeks vragen die moeten worden beantwoord, moet de bewoner van de kamer vraagsymbolen matchen met antwoordsymbolen. Nadat ze deze taak vele malen hebben herhaald, worden ze bedreven in het uitvoeren ervan – ook al hebben ze geen idee wat beide sets symbolen betekenen, alleen maar dat de ene met de andere overeenkomt.

GPT-3 is een wereld verwijderd van het soort taalkundige A.I. die bestond op het moment dat Searle aan het schrijven was. De vraag naar begrip is echter even netelig als altijd.

‘Dit is een zeer controversieel domein van vragen stellen, zoals u ongetwijfeld weet, omdat er zoveel verschillende meningen over de vraag of taalmodellen in het algemeen ooit [waar] begrip zouden hebben”, aldus Sandhini van OpenAI Agarwal. “Als je mij nu naar GPT-3 vraagt, presteert het soms heel goed, maar op andere momenten niet zo goed. Er is in zekere zin sprake van willekeur over hoe betekenisvol de output voor jou lijkt. Soms zul je versteld staan ​​van de output, en soms zal de output gewoon onzinnig zijn. Gezien het feit dat, op dit moment naar mijn mening … GPT-3 geen begrip lijkt te hebben.

Een extra draai aan het huidige Chinese Room-experiment is dat GPT-3 niet bij elke stap door een klein team van onderzoekers wordt geprogrammeerd. Het is een enorm model dat is getraind op een enorme dataset die bestaat uit, nou ja, internet. Dit betekent dat het gevolgtrekkingen en vooroordelen kan oppikken die mogelijk zijn gecodeerd in online gevonden tekst. Heb je de uitdrukking gehoord dat je een gemiddelde bent van de vijf mensen waarmee je jezelf omringt? Welnu, GPT-3 is getraind op bijna ondoorgrondelijke hoeveelheden tekstgegevens uit meerdere bronnen, waaronder boeken, Wikipedia en andere artikelen. Hieruit leert het het volgende woord in welke volgorde dan ook te voorspellen door de trainingsgegevens te doorzoeken om eerder gebruikte woordcombinaties te zien. Dit kan onbedoelde gevolgen hebben.

Het voeren van de stochastische papegaaien

Deze uitdaging met grote taalmodellen werd voor het eerst benadrukt in a baanbrekend papier over de zogenaamde stochastische papegaaien. Een stochastische papegaai – een term bedacht door de auteurs, waaronder de voormalige co-leider van Google’s ethische A.I. team, Timnit Gebru – verwijst naar een groot taalmodel dat “steekt op lukrake wijze sequenties van taalvormen aan elkaar die het heeft waargenomen in zijn enorme trainingsgegevens, op basis van probabilistische informatie over hoe ze combineren, maar zonder enige referentie naar betekenis.”

“Omdat we zijn getraind op een groot deel van het internet, is het belangrijk om te erkennen dat het een aantal vooroordelen met zich meedraagt,” Albert Gozzi, een andere GPT-3-gebruiker, vertelde Digital Trends. “Ik weet dat het OpenAI-team er hard aan werkt om dit op een aantal verschillende manieren te verzachten, maar ik verwacht dat dit nog een tijdje een probleem zal zijn.”

De tegenmaatregelen van OpenAI ter verdediging tegen vooringenomenheid omvatten een toxiciteitsfilter, dat bepaalde taal of onderwerpen eruit filtert. OpenAI werkt ook aan manieren om menselijke feedback te integreren om te kunnen specificeren op welke gebieden we niet mogen afdwalen. Bovendien controleert het team de toegang tot de tool, zodat bepaalde negatieve vormen van gebruik van de tool geen toegang krijgen.

“Een van de redenen waarom je misschien niet zo veel van deze kwaadwillende gebruikers hebt gezien, is omdat we intern een intensief beoordelingsproces hebben”, aldus Agarwal. “De manier waarop wij werken is dat elke keer dat je GPT-3 wilt gebruiken in een product dat daadwerkelijk zou worden ingezet, jij Je moet een proces doorlopen waarin een team, bijvoorbeeld een team van mensen, daadwerkelijk beoordeelt hoe je het wilt gebruiken Het. … Vervolgens krijgt u toegang, op basis van de zekerheid dat het niet iets kwaadaardigs is.’

Een deel hiervan is echter een uitdaging – niet in de laatste plaats omdat vooringenomenheid niet altijd een duidelijk geval is van het gebruik van bepaalde woorden. Jervis merkt op dat zijn GPT-3-huurberichten soms kunnen neigen naar stereotiepe geslachtsklassen. aannames." Als het onbeheerd wordt achtergelaten, kan het de genderidentiteit van de persoon op een huurbrief aannemen, op basis van hun familie rol of baan. Dit is misschien niet het meest treurige voorbeeld van A.I. bias, maar het benadrukt wat er gebeurt als grote hoeveelheden gegevens worden opgenomen en vervolgens probabilistisch opnieuw worden samengevoegd in een taalmodel.

“Vooroordelen en het potentieel voor expliciete rendementen bestaan ​​absoluut en vergen inspanning van ontwikkelaars om dit te voorkomen”, aldus Tyler Lastovich. “OpenAI signaleert potentieel giftige resultaten, maar voegt uiteindelijk wel een aansprakelijkheid toe waar klanten goed over moeten nadenken voordat ze het model in productie nemen. Een specifiek moeilijk randgeval om te ontwikkelen is de neiging van het model om te liegen – omdat het geen concept heeft van ware of valse informatie.”

Taalmodellen en de toekomst van A.I.

Negen maanden na zijn debuut maakt GPT-3 zijn verwachtingen als game changer zeker waar. Wat ooit louter potentieel was, blijkt potentieel gerealiseerd te zijn. Het aantal intrigerende gebruiksscenario's voor GPT-3 benadrukt hoe een tekstgenererende A.I. is een stuk veelzijdiger dan die beschrijving doet vermoeden.

Niet dat het tegenwoordig de nieuwe jongen in de buurt is. Eerder dit jaar werd GPT-3 ingehaald als het grootste taalmodel. Google Brain debuteerde met een nieuw taalmodel met ongeveer 1,6 biljoen parameters, waardoor het negen keer zo groot is als het aanbod van OpenAI. Het is ook niet waarschijnlijk dat dit het einde van de weg voor taalmodellen zal zijn. Dit zijn uiterst krachtige instrumenten – met het potentieel om de samenleving te transformeren, zowel ten goede als ten kwade.

Er bestaan ​​zeker uitdagingen met deze technologieën, en het zijn uitdagingen die bedrijven als OpenAI, onafhankelijke onderzoekers en anderen moeten blijven aanpakken. Maar over het geheel genomen is het moeilijk te beargumenteren dat taalmodellen niet een van de interessantste en belangrijkste fronten van het onderzoek naar kunstmatige intelligentie worden.

Wie had gedacht dat tekstgeneratoren zo enorm belangrijk zouden kunnen zijn? Welkom in de toekomst van kunstmatige intelligentie.

Aanbevelingen van de redactie

• Analoge AI? Het klinkt gek, maar het zou de toekomst kunnen zijn
• Lees het griezelig mooie ‘synthetische geschrift’ van een A.I. die denkt dat het God is
• Algoritmische architectuur: moeten we A.I. gebouwen voor ons ontwerpen?
• Women with Byte: Vivienne Ming’s plan om ‘rommelige menselijke problemen’ op te lossen met A.I.
• Waarom het leren van robots om verstoppertje te spelen de sleutel zou kunnen zijn tot de volgende generatie AI