GPT-3: OpenAIs nye tekstgenererende neurale netværk er her

Da den tekstgenererende algoritme GPT-2 blev oprettet i 2019, blev den mærket som en af ​​de mest "farligt"A.I. algoritmer i historien. Faktisk hævdede nogle, at det var så farligt, at det aldrig skulle frigives til offentligheden (spoiler: det var det), for at det ikke skulle indlede "robot apokalypse." Det skete selvfølgelig aldrig. GPT-2 blev til sidst frigivet til offentligheden, og efter at den ikke ødelagde verden, gik dens skabere videre til den næste ting. Men hvordan følger man op på den farligste algoritme, der nogensinde er skabt?

Svaret, i det mindste på papiret, er enkelt: Ligesom efterfølgeren til enhver succesfuld film, laver du noget, der er større, dårligere og dyrere. Kun én xenomorf i den første Alien? Inkluder en hel rede af dem i efterfølgeren, Udlændinge. Bare en enkelt næsten uforgængelig maskine sendt tilbage fra fremtiden ind Terminator? Giv publikum to af dem at kæmpe med Terminator 2: Judgment Day.

Det samme gælder for A.I. - I dette tilfælde, GPT-3, et nyligt udgivet neuralt netværk til behandling af naturligt sprog skabt af OpenAI, forskningslaboratoriet for kunstig intelligens, der engang var (men ikke længere) sponsoreret af SpaceX og Teslas CEO Elon Musk.

GPT-3 er den seneste i rækken af ​​tekstgenererende neurale netværk. Navnet GPT står for Generative Pretrained Transformer, der refererer til en 2017 Google innovation kaldet en Transformer som kan finde ud af sandsynligheden for, at et bestemt ord vises med omgivende ord. Fodret med et par sætninger, såsom begyndelsen af ​​en nyhedshistorie, GPT-foruddannet sprogmodel kan generere overbevisende nøjagtige fortsættelser, endda inklusive formulering af fabrikerede citater.

Det er grunden til, at nogle bekymrede sig om, at det kunne vise sig at være farligt, ved at hjælpe med at generere falsk tekst, der f.eks deepfakes, kunne hjælpe med at sprede falske nyheder online. Med GPT-3 er den nu større og smartere end nogensinde.

Fortælling om båndet

GPT-3 er, som en "fortælling om båndet"-sammenligning i boksestil ville gøre det klart, en rigtig sværvægter for en udfordrer. OpenAIs oprindelige 2018 GPT havde 110 millioner parametre, hvilket refererede til vægten af ​​forbindelserne, som gør det muligt for et neuralt netværk at lære. 2019's GPT-2, som forårsagede meget af det tidligere tumult om dets potentielle ondsindede applikationer, besad 1,5 milliarder parametre. Sidste måned, introducerede Microsoft det, der dengang var verdens største lignende præ-trænede sprogmodel, med 17 milliarder parametre. 2020's monstrøse GPT-3 har til sammenligning en forbløffende 175 mia parametre. Det har angiveligt kostet omkring 12 millioner dollars at træne.

"Kraften ved disse modeller er, at for at kunne forudsige det næste ord ender de med at lære en virkelig kraftfuld verden modeller, der kan bruges til alle slags interessante ting,” Nick Walton, teknologichef for Latitude, studiet bag A.I. Fangehul, et A.I.-genereret teksteventyrspil drevet af GPT-2, fortalte Digital Trends. "Du kan også finjustere basismodellerne for at forme generationen i en bestemt retning, mens du stadig bevarer den viden, som modellen lærte i før-træning."

Gwern Branwen, en kommentator og forsker, der skriver om psykologi, statistik og teknologi, fortalte Digital Trends, at præ-trænet sprogmodel GPT repræsenterer er blevet en "i stigende grad en kritisk del af enhver maskinlæringsopgave, der berører på tekst. På samme måde som [standardforslaget til] mange billedrelaterede opgaver er blevet 'brug en [convolutional neural network], mange sprogrelaterede opgaver er blevet 'brug et finjusteret [sprog model.'"

OpenAI - som afviste at kommentere til denne artikel - er ikke den eneste virksomhed, der udfører noget imponerende arbejde med naturlig sprogbehandling. Som nævnt er Microsoft gået op til pladen med sit eget blændende arbejde. Facebook, i mellemtiden, investerer kraftigt i teknologien og har skabt gennembrud som BlenderBot, den største open source chatbot med åbent domæne nogensinde. Det udkonkurrerer andre med hensyn til engagement og føles også mere menneskeligt, ifølge menneskelige evaluatorer. Som enhver, der har brugt en computer i de sidste par år, ved, bliver maskiner bedre til at forstå os end nogensinde før - og naturlig sprogbehandling er grunden til det.

Størrelse betyder noget

Men OpenAI's GPT-3 står stadig alene i sin rene rekord-skala. "GPT-3 genererer buzz primært på grund af sin størrelse," Joe Davison, en forskningsingeniør ved Krammer ansigt, en startup, der arbejder på fremme af naturlig sprogbehandling ved at udvikle open source-værktøjer og udføre grundlæggende forskning, fortalte Digital Trends.

Det store spørgsmål er, hvad alt dette skal bruges til. GPT-2 fandt vej til et utal af anvendelser, der blev brugt til forskellige tekstgenererende systemer.

Davison udtrykte en vis forsigtighed med, at GPT-3 kunne begrænses af dens størrelse. "Teamet hos OpenAI har utvivlsomt rykket grænsen for, hvor store disse modeller kan være og viste, at væksten af ​​dem reducerer vores afhængighed af opgavespecifikke data ned ad linjen," sagde han. "Men de beregningsmæssige ressourcer, der er nødvendige for rent faktisk at bruge GPT-3 i den virkelige verden, gør det ekstremt upraktisk. Så selvom arbejdet bestemt er interessant og indsigtsfuldt, vil jeg ikke kalde det et stort skridt fremad for feltet."

Andre er dog uenige. "[internal-link post_id="NN"]kunstig intelligens[/internal-link]-fællesskabet har længe observeret, at man kombinerer stadig større modeller med flere og flere data giver næsten forudsigelige forbedringer i disse modellers kraft, meget ligesom Moores lov om skalering af regnekraft,” Yannic Kilcher, en A.I. forsker WHO driver en YouTube-kanal, fortalte Digital Trends. "Alligevel har mange, ligesom Moores lov, spekuleret i, at vi er ved at være i stand til at forbedre sprogmodeller ved blot at skalere dem op, og for at opnå højere ydeevne, ville vi være nødt til at lave væsentlige opfindelser i form af nye arkitekturer eller uddannelse metoder. GPT-3 viser, at dette ikke er sandt, og evnen til at skubbe ydeevnen blot gennem skalaen virker ubrudt - og der er ikke rigtig en ende i sigte."

Består du Turing-testen?

Branwen foreslår, at værktøjer som GPT-3 kan være en stor forstyrrende kraft. "En måde at tænke på det er, hvilke job involverer at tage et stykke tekst, transformere det og udsende endnu et stykke tekst?" sagde Branwen. "Ethvert job, der er beskrevet af det - såsom medicinsk kodning, fakturering, receptionister, kundesupport, [og mere] ville være et godt mål for at finjustere GPT-3 på og erstatte denne person. Rigtig mange job er mere eller mindre 'kopiering af felter fra et regneark eller PDF til et andet regneark eller PDF', og den slags kontorautomatisering, som er for kaotisk til at nemt at skrive et normalt program til at erstatte, ville være sårbart over for GPT-3, fordi det kan lære alle undtagelserne og forskellige konventioner og præstere lige så godt som det menneskelige ville."

I sidste ende kan naturlig sprogbehandling kun være en del af A.I., men det skærer uden tvivl ind til kernen af ​​drømmen om kunstig intelligens på en måde, som få andre discipliner inden for området gør. Det berømte Turing Test, en af ​​de skelsættende debatter, der kickstartede feltet, er et naturligt sprogbehandlingsproblem: Kan du bygge en A.I. der på overbevisende måde kan udgive sig selv som person? OpenAIs seneste arbejde fremmer bestemt dette mål. Nu mangler vi at se, hvilke anvendelser forskerne vil finde til det.

"Jeg tror, ​​det er den kendsgerning, at GPT-2-tekst så let kunne passere til menneskelig, at det bliver svært at håndvifte den væk som 'bare mønstergenkendelse' eller 'bare udenadshukommelse'," sagde Branwen. "Enhver, der var sikker på, at de ting, som deep learning gør, ikke ligner intelligens, skal have fået deres tro rystet for at se, hvor langt den er nået."

Redaktørens anbefalinger

• Topforfattere kræver betaling fra AI-virksomheder for at bruge deres arbejde
• ChatGPT-producenten OpenAI står over for FTC-undersøgelse over forbrugerbeskyttelseslove
• OpenAI bygger nyt hold for at forhindre, at superintelligent kunstig intelligens bliver useriøs
• ChatGPT-skaber søger at eliminere chatbot 'hallucinationer'
• OpenAIs nye ChatGPT-app er gratis til iPhone og iPad