GPT-3: Nová neurónová sieť generujúca text od OpenAI je tu

Keď bol v roku 2019 vytvorený textový algoritmus GPT-2, bol označený ako jeden z najviac „nebezpečné“A.I. algoritmy v histórii. V skutočnosti niektorí tvrdili, že je to také nebezpečné, že by sa nikdy nemalo dostať na verejnosť (spoiler: Bolo), inak by to znamenalo „robotická apokalypsa.“ To sa, samozrejme, nikdy nestalo. GPT-2 bol nakoniec uvoľnený pre verejnosť a potom, čo nezničil svet, jeho tvorcovia prešli na ďalšiu vec. Ale ako môžete sledovať najnebezpečnejší algoritmus, aký bol kedy vytvorený?

Odpoveď, aspoň na papieri, je jednoduchá: Rovnako ako pokračovanie každého úspešného filmu, aj tu vytvoríte niečo väčšie, horšie a drahšie. Len jeden xenomorf v prvom Votrelec? Zahrňte ich celé hniezdo do pokračovania, Mimozemšťania. Len jeden takmer nezničiteľný stroj poslaný späť z budúcnosti Terminátor? Dajte divákom dve z nich, aby sa s nimi popasovali Terminátor 2: Súdny deň.

To isté platí pre A.I. - v tomto prípade,

GPT-3, nedávno vydaná neurónová sieť na spracovanie prirodzeného jazyka vytvorená OpenAI, výskumným laboratóriom umelej inteligencie, ktoré bolo kedysi (ale už nie) sponzorovaný SpaceX a generálnym riaditeľom Tesly Elonom Muskom.

GPT-3 je najnovšia zo série neurónových sietí generujúcich text. Názov GPT znamená Generative Pretrained Transformer s odkazom na rok 2017 Inovácia Google s názvom Transformer ktorý dokáže zistiť pravdepodobnosť, že sa určité slovo objaví s okolitými slovami. Doplnené niekoľkými vetami, ako je začiatok správy, model jazyka vopred vyškoleného GPT dokáže generovať presvedčivo presné pokračovania, dokonca aj vrátane formulácie vymyslených citácie.

To je dôvod, prečo sa niektorí obávali, že by sa to mohlo ukázať ako nebezpečné tým, že pomáha vytvárať falošný text, ktorý napr deepfakes, mohol pomôcť šíriť falošné správy online. Teraz je s GPT-3 väčší a inteligentnejší ako kedykoľvek predtým.

Príbeh pásky

GPT-3 je, ako by to objasnilo prirovnanie „rozprávky o páske“ v štýle boxu, skutočná ťažká váha uchádzača. Pôvodný GPT OpenAI z roku 2018 mal 110 miliónov parametrov, ktoré odkazovali na váhy spojení, ktoré umožňujú neurónovej sieti učiť sa. GPT-2 z roku 2019, ktorý spôsobil veľkú časť predchádzajúceho rozruchu o svojich potenciálnych škodlivých aplikáciách, mal 1,5 miliardy parametrov. Minulý mesiac, Microsoft predstavil vtedy najväčší podobný predtrénovaný jazykový model na svete, ktorý sa môže pochváliť 17 miliardami parametrov. Na porovnanie, monštruózna GPT-3 z roku 2020 má úžasné 175 miliárd parametre. Výcvik údajne stál okolo 12 miliónov dolárov.

„Sila týchto modelov spočíva v tom, že na to, aby úspešne predpovedali ďalšie slovo, nakoniec sa naučia skutočne mocný svet modely, ktoré sa dajú použiť na všetky druhy zaujímavých vecí,“ Nick Walton, technologický riaditeľ štúdia Latitude pozadu A.I. Dungeon, textová adventúra vygenerovaná A.I. poháňaná GPT-2, povedal pre Digital Trends. "Môžete tiež doladiť základné modely, aby ste formovali generáciu konkrétnym smerom, pričom si stále zachovávate znalosti, ktoré sa model naučil počas predtréningu."

Gwern Branwen, komentátor a výskumník, ktorý píše o psychológii, štatistike a technológii, pre Digital Trends povedal, že vopred vyškolený jazykový model, ktorý GPT predstavuje, sa stal „čoraz dôležitejšou súčasťou akejkoľvek úlohy strojového učenia, ktorá sa dotýka na texte. Rovnako ako [štandardný návrh] mnohých úloh súvisiacich s obrázkom sa stali „použitím a [konvolučná neurónová sieť], mnohé úlohy súvisiace s jazykom sa stali ‚používať jemne vyladený [jazyk‘ Model.'"

OpenAI – ktorá odmietla komentovať tento článok – nie je jedinou spoločnosťou, ktorá robí pôsobivú prácu so spracovaním prirodzeného jazyka. Ako už bolo spomenuté, spoločnosť Microsoft sa postavila na trh s niekoľkými oslnivými vlastnými prácami. Facebook, medzitým intenzívne investuje do technológie a vytvorila prelomové objavy, ako je BlenderBot, najväčší chatbot s otvoreným zdrojom a otvorenými doménami. Prevyšuje ostatných, pokiaľ ide o angažovanosť a tiež sa cíti ľudskejšie, podľa ľudských hodnotiteľov. Ako každý, kto v posledných rokoch používal počítač, vie, že stroje nám rozumejú lepšie ako kedykoľvek predtým – a dôvodom je spracovanie prirodzeného jazyka.

Na veľkosti záleží

Ale GPT-3 od OpenAI je stále osamotený vo svojom úplnom rekordnom meradle. „GPT-3 vyvoláva rozruch predovšetkým kvôli svojej veľkosti,“ povedal Joe Davison, výskumný inžinier v Objímajúca tvár, startup, ktorý pracuje na pokroku v spracovaní prirodzeného jazyka vývojom nástrojov s otvoreným zdrojovým kódom a vykonávaním základného výskumu, povedal pre Digital Trends.

Veľkou otázkou je, na čo to všetko bude slúžiť. GPT-2 si našiel cestu do nespočetného množstva použití a využíval sa v rôznych systémoch generujúcich text.

Davison vyjadril určitú opatrnosť, že GPT-3 môže byť obmedzený svojou veľkosťou. „Tím v OpenAI nepochybne posunul hranicu toho, aké veľké môžu byť tieto modely, a ukázal, že ich rozširovanie znižuje našu závislosť od údajov špecifických pre danú úlohu,“ povedal. „Výpočtové zdroje potrebné na skutočné používanie GPT-3 v reálnom svete ho však robia extrémne nepraktickým. Takže aj keď je práca určite zaujímavá a bystrá, nenazval by som ju veľkým krokom vpred v tejto oblasti.“

Iní však nesúhlasia. „Komunita [internal-link post_id="NN"]umelej inteligencie[/internal-link] už dlho pozoruje, že kombinovanie stále väčších modelov s čoraz väčším množstvom údajov prináša takmer predvídateľné vylepšenia výkonu týchto modelov, veľmi podobné Moorovmu zákonu škálovania výpočtového výkonu,“ Yannic Kilcher, A.I. výskumník SZO prevádzkuje kanál YouTube, povedal Digital Trends. „Avšak, rovnako ako v prípade Moorovho zákona, mnohí špekulovali, že sme na konci s vylepšovaním jazykových modelov jednoduchým škálovaním. a aby sme dosiahli vyšší výkon, museli by sme urobiť podstatné vynálezy z hľadiska nových architektúr alebo školení metódy. GPT-3 ukazuje, že to nie je pravda a schopnosť posunúť výkon jednoducho prostredníctvom škály sa zdá byť neprerušená – a koniec v skutočnosti nie je v dohľade.“

Absolvovanie Turingovho testu?

Branwen naznačuje, že nástroje ako GPT-3 by mohli byť hlavnou rušivou silou. „Jedným zo spôsobov, ako si to predstaviť, je, aké úlohy zahŕňajú prevzatie časti textu, jeho transformáciu a vydanie ďalšieho textu? povedal Branwen. „Akákoľvek práca, ktorá je tým popísaná – ako napríklad lekárske kódovanie, fakturácia, recepční, zákaznícka podpora a ďalšie, by bola dobrým cieľom na doladenie GPT-3 a nahradenie tejto osoby. Veľa úloh je viac-menej „kopírovanie polí z jednej tabuľky alebo PDF do inej tabuľky alebo PDF“ a tento druh automatizácie kancelárie, ktorý je príliš chaotický ľahko napísať normálny program, ktorý sa má nahradiť, bol by zraniteľný voči GPT-3, pretože sa dokáže naučiť všetky výnimky a rôzne konvencie a fungovať rovnako dobre ako človek by."

V konečnom dôsledku môže byť spracovanie prirodzeného jazyka len jednou časťou AI, ale je možné, že ide o jadro snov o umelej inteligencii tak, ako to robí len málo iných disciplín v tejto oblasti. The slávny Turingov test, jedna zo zásadných debát, ktorá odštartovala túto oblasť, je problém spracovania prirodzeného jazyka: Dokážete vytvoriť A.I. ktorý sa dokáže presvedčivo vydať za osobu? Najnovšia práca OpenAI tento cieľ určite napreduje. Teraz zostáva len zistiť, aké aplikácie pre ňu výskumníci nájdu.

„Myslím si, že je to skutočnosť, že text GPT-2 by mohol tak ľahko prejsť na človeka, že je stále ťažké ho ručne mávnuť rukou ako ‚len rozpoznávanie vzorov‘ alebo ‚len zapamätanie‘,“ povedal Branwen. „Každý, kto si bol istý, že veci, ktoré robí hlboké učenie, nie sú podobné inteligencii, musel mať otrasenú vieru, aby videl, ako ďaleko to zašlo.

Odporúčania redaktorov

• Špičkoví autori požadujú od firiem AI platbu za používanie ich práce
• Výrobca ChatGPT OpenAI čelí vyšetrovaniu FTC v súvislosti so zákonmi na ochranu spotrebiteľa
• OpenAI buduje nový tím, aby zastavil nečestnú superinteligentnú AI
• Tvorca ChatGPT sa snaží odstrániť „halucinácie“ chatbotov
• Nová aplikácia ChatGPT od OpenAI je zadarmo pre iPhone a iPad