GPT-3: Megérkezett az OpenAI új szöveggeneráló neurális hálózata

Amikor 2019-ben létrehozták a GPT-2 szöveggeneráló algoritmust, az egyik leggyakrabban használt „veszélyes”A.I. algoritmusok a történelemben. Sőt, egyesek azzal érveltek, hogy annyira veszélyes, hogy soha nem szabad nyilvánosságra hozni (spoiler: így volt), nehogy bemutassa a „robot apokalipszis.” Ez persze soha nem történt meg. A GPT-2 végül megjelent a nyilvánosság számára, és miután nem tette tönkre a világot, alkotói a következő dologra tértek át. De hogyan követheti nyomon a valaha készített legveszélyesebb algoritmust?

A válasz – legalábbis papíron – egyszerű: csakúgy, mint bármely sikeres film folytatása, készítünk valamit, ami nagyobb, rosszabb és drágább. Csak egy xenomorf az elsőben Idegen? Szerezz be belőlük egy egész fészket a folytatásban, Idegenek. Csak egyetlen, szinte elpusztíthatatlan gépet küldtek vissza a jövőből Végrehajtó? Adj kettőt a közönségnek, hogy megküzdjenek velük Terminátor 2: Az ítélet napja.

Ugyanez igaz az A.I-re is. - ebben az esetben, GPT-3, egy nemrégiben kiadott természetes nyelvet feldolgozó neurális hálózat, amelyet az OpenAI, a mesterséges intelligencia kutatólabor hozott létre, amely egykorde már nem) támogatta a SpaceX és a Tesla vezérigazgatója, Elon Musk.

A GPT-3 a legújabb a szöveggeneráló neurális hálózatok sorozatában. A GPT név a Generative Pretraained Transformer rövidítése, ami egy 2017-es évre utal A Google Transformer nevű innovációja amelyek kitalálhatják annak valószínűségét, hogy egy adott szó megjelenik a környező szavakkal. Néhány mondattal táplálva, például egy hír kezdetével, a GPT előre betanított nyelvi modelljével meggyőzően pontos folytatásokat generálhat, még a koholt megfogalmazását is beleértve idézetek.

Ezért aggódtak egyesek amiatt, hogy veszélyesnek bizonyulhat azáltal, hogy segít létrehozni hamis szövegeket, mint pl. mélyhamisítványok, lehetne segít az álhírek online terjesztésében. Most a GPT-3-mal nagyobb és intelligensebb, mint valaha.

Mese a szalagról

A GPT-3 – amint azt egy boksz-stílusú „mese a szalagról” összehasonlításból világossá tenné – egy igazi nehézsúlyú versenyző. Az OpenAI eredeti, 2018-as GPT-je 110 millió paraméterrel rendelkezett, utalva a kapcsolatok súlyára, amelyek lehetővé teszik a neurális hálózatok tanulását. A 2019-es GPT-2, amely a potenciális rosszindulatú alkalmazásaival kapcsolatos korábbi felzúdulás nagy részét kiváltotta, 1,5 milliárd paraméterrel rendelkezett. Múlt hónap, a Microsoft bemutatta a világ akkori legnagyobb hasonló, előre betanított nyelvi modelljét, amely 17 milliárd paraméterrel büszkélkedhet. A 2020-as szörnyű GPT-3 ehhez képest elképesztő 175 milliárd paramétereket. Állítólag körülbelül 12 millió dollárba került a képzés.

„E modellek ereje abban rejlik, hogy a következő szó sikeres megjóslása érdekében egy igazán hatalmas világot tanulnak meg olyan modellek, amelyek mindenféle érdekes dologra használhatók” – Nick Walton, a stúdió Latitude technológiai igazgatója mögött A.I. Dungeon, egy mesterséges intelligencia által generált szöveges kalandjáték, amelyet GPT-2 hajtott, mondta a Digital Trends. "Az alapmodelleket finomhangolhatja is, hogy egy adott irányba formálja a generációt, miközben megőrzi a modell által az előképzésen elsajátított tudást."

Gwern Branwen, egy pszichológiáról, statisztikákról és technológiáról író kommentátor és kutató azt mondta a Digital Trendsnek, hogy A GPT által képviselt előre betanított nyelvi modell „minden olyan gépi tanulási feladat egyre kritikusabb részévé vált szövegen. Ugyanúgy, ahogy [a standard javaslat] számos képpel kapcsolatos feladat lett „használd a [konvolúciós neurális hálózat], sok nyelvvel kapcsolatos feladat vált „finomhangolt [nyelv modell.'"

Az OpenAI – amely nem volt hajlandó kommentálni ezt a cikket – nem az egyetlen cég, amely lenyűgöző munkát végez a természetes nyelvi feldolgozás terén. Mint már említettük, a Microsoft néhány káprázatos saját munkával feljebb lépett. Facebook, eközben sokat fektet a technológiába, és olyan áttöréseket hozott létre, mint BlenderBot, a valaha volt legnagyobb nyílt forráskódú, nyílt tartományú chatbot. Az emberértékelők szerint felülmúlja a többieket az elkötelezettség tekintetében, és emberibbnek is érzi magát. Amint azt mindenki tudja, aki használt számítógépet az elmúlt években, a gépek egyre jobban megértenek minket, mint valaha – és ennek az oka a természetes nyelvi feldolgozás.

A méret számít

De az OpenAI GPT-3 még mindig egyedül áll a maga puszta rekordméretű skáláján. „A GPT-3 elsősorban a mérete miatt kelt zsivajt” – Joe Davison, a kutatómérnök Átölelő Arc, egy startup, amely a természetes nyelvi feldolgozás fejlesztésén dolgozik nyílt forráskódú eszközök fejlesztésével és alapkutatásokkal – mondta a Digital Trends.

A nagy kérdés az, hogy mindezt mire fogják felhasználni. A GPT-2 számtalan felhasználási területre talált, különféle szöveggeneráló rendszerekhez alkalmazva.

Davison némi óvatosságnak adott hangot azzal kapcsolatban, hogy a GPT-3 méretét korlátozhatja. „Az OpenAI csapata vitathatatlanul kitágította a határt, hogy mekkora méretűek lehetnek ezek a modellek, és megmutatta, hogy a fejlesztésük csökkenti a feladatspecifikus adatoktól való függőségünket” – mondta. „A GPT-3 valós világbeli használatához szükséges számítási erőforrások azonban rendkívül kivitelezhetetlenné teszik. Tehát bár a munka minden bizonnyal érdekes és szemléletes, nem nevezném jelentős előrelépésnek a terület számára.”

Mások azonban nem értenek egyet. „Az [internal-link post_id="NN"]mesterséges intelligencia[/internal-link] közösség régóta megfigyelte, hogy az egyre nagyobb modellek egyre több adattal való kombinálása szinte megjósolható javulást eredményez ezeknek a modelleknek a teljesítményében, hasonlóan Moore-féle számítási teljesítmény skálázási törvényéhez” – mondta Yannic Kilcher, az A.I. kutató WHO YouTube csatornát üzemeltet, mondta a Digital Trendsnek. „Moorre törvényéhez hasonlóan azonban sokan azt gondolják, hogy a végén vagyunk annak, hogy a nyelvi modelleket egyszerűen skálázva javíthatjuk. felfelé, és a nagyobb teljesítmény elérése érdekében jelentős találmányokat kell tennünk az új architektúrák vagy a képzés terén mód. A GPT-3 azt mutatja, hogy ez nem igaz, és a teljesítmény egyszerűen a skálán való áttérés képessége töretlennek tűnik – és valójában nem is látszik a vég.”

Sikerült a Turing-teszten?

Branwe azt sugallja, hogy az olyan eszközök, mint a GPT-3, jelentős bomlasztó erők lehetnek. „Az egyik módja ennek az, hogy milyen munkákhoz tartozik egy szövegrész elvétele, átalakítása és egy másik szövegrész kibocsátása?” – mondta Branwen. „Bármilyen feladat, amelyet ez ír le – például orvosi kódolás, számlázás, recepciósok, ügyfélszolgálat, [és egyebek] – jó célpont lenne a GPT-3 finomhangolására és az adott személy leváltására. Nagyon sok munka többé-kevésbé „mezők másolása egyik táblázatból vagy PDF-ből egy másik táblázatba vagy PDF-be”, és ez a fajta irodai automatizálás, ami túl kaotikus ahhoz, hogy könnyen írhat egy normál programot a helyettesítésre, sebezhető lenne a GPT-3-mal szemben, mert képes megtanulni az összes kivételt és különböző konvenciót, és olyan jól teljesít, mint az emberi lenne.”

Végső soron a természetes nyelv feldolgozása lehet, hogy csak egy része az A.I.-nek, de vitathatatlanul a mesterséges intelligencia-álom lényegét vágja oly módon, ahogyan ezt kevés más tudományág teszi meg a területen. A híres Turing-teszt, az egyik alapvető vita, amely elindította a terepet, egy természetes nyelvi feldolgozási probléma: Can you build an A.I. amely meggyőzően tudja magát személynek adni? Az OpenAI legújabb munkája minden bizonnyal elősegíti ezt a célt. Most pedig az marad, hogy a kutatók milyen alkalmazásokat találnak rá.

„Szerintem az a tény, hogy a GPT-2 szöveg olyan könnyen átadható az embernek, hogy egyre nehézkessé válik „csak mintafelismerésként” vagy „csak memorizálásként” eltüntetni” – mondta Branwen. „Aki biztos volt abban, hogy a mélytanulás nem olyan, mint az intelligencia, annak meg kellett rendülnie a hite, hogy lássa, meddig jutott.”

Szerkesztői ajánlások

• A legjobb szerzők fizetést követelnek az AI-cégektől munkájuk felhasználásáért
• A ChatGPT-t gyártó OpenAI-t az FTC vizsgálja a fogyasztóvédelmi törvényekkel kapcsolatban
• Az OpenAI új csapatot épít, hogy megakadályozza a szuperintelligens mesterséges intelligencia szélhámosságát
• A ChatGPT alkotója a chatbot „hallucinációinak” megszüntetésére törekszik
• Az OpenAI új ChatGPT alkalmazása ingyenes iPhone-ra és iPadre