Hogyan lép be csendesen a GPT-3 az A.I. Forradalom

Mire jó? Abszolút mindent

Nemrég Francis Jervis, egy startup alapítója hívott Augrented, a GPT-3 segítségével segítette a lakbérrel küszködő embereket a bérleti engedményekről szóló levélírásban. „Az itt használt használati esetet „stílusátvitelként” írnám le” – mondta Jervis a Digital Trendsnek. „[Bevesz] pontokat, amelyeknek még csak nem is kell tökéletes angolul lenniük, és [kiad] két-három mondatot formális nyelven.”

Ezzel a rendkívül hatékony nyelvi modellel működő Jervis eszköze lehetővé teszi a bérlők számára, hogy leírják helyzetüket és azt, hogy miért van szükségük kedvezményes elszámolásra. „Csak írjon néhány szót arról, hogy miért veszítette el bevételét, és néhány másodpercen belül megkapja a javasolt meggyőző, formális bekezdést, amelyet hozzáadhat a leveléhez” – állítja a cég.

Ez csak a jéghegy csúcsa. Amikor Aditya Joshi, egy gépi tanulással foglalkozó tudós és egykori Amazon Web Services mérnök, aki először találkozott a GPT-3-mal, annyira lenyűgözte, amit látott, hogy létrehozott egy webhelyet, www.gpt3examples.com, hogy nyomon kövesse a legjobbakat.

„Nem sokkal azután, hogy az OpenAI bejelentette API-jukat, a fejlesztők elkezdték tweetelni a GPT-3 használatával épített alkalmazások lenyűgöző demóit” – mondta a Digital Trendsnek. „Elképesztően jók voltak. A [webhelyemet] azért építettem, hogy a közösség könnyen megtalálhassa ezeket a példákat, és kreatív módszereket fedezzen fel a GPT-3 használatára a saját domain problémáinak megoldására.”

Teljesen interaktív szintetikus personák GPT-3 és https://t.co/ZPdnEqR0Hn 🎇

Tudják, kik ők, hol dolgoztak, ki a főnökük, és még sok minden mást. Ez nem az apád botja… pic.twitter.com/kt4AtgYHZL

— Tyler Lastovich (@tylerlastovich) 2020. augusztus 18

Joshi több demóra mutat rá, amelyek valóban nagy hatással voltak rá. Egy, a elrendezés generátor, funkcionális elrendezést jelenít meg úgy, hogy JavaScript kódot generál egy egyszerű szöveges leírásból. Szeretne egy görögdinnye formájú „feliratkozás” feliratú gombot? Szeretne egy bannerszöveget egy sor gombbal a szivárvány színeiben? Csak magyarázza el őket az alapszövegben, és Sharif Shameem elrendezés-generátora megírja a kódot. Egy másik, a GPT-3 alapú kereső Paras Chopra által létrehozott, bármilyen írott lekérdezést válaszként és URL-hivatkozássá alakíthat, amely további információkat nyújt. Egy másik, Francis Jervis inverze Michael Tefulától, jogi dokumentumokat fordít egyszerű angolra. Még egy, Raphaël Millière-től, filozófiai esszéket ír. És még egy, Gwern Branwentől kreatív fikciót generálni.

„Nem számítottam arra, hogy egyetlen nyelvi modell is ilyen jól teljesít a feladatok ilyen sokféleségében, a nyelvi fordítástól és generálástól a szövegösszegzésig és entitáskivonatig” – mondta Joshi. "Ban ben az egyik saját kísérletem, GPT-3-at használtam a kémiai égési reakciók előrejelzésére, és ez meglepően jól sikerült.”

Inkább honnan jött

A GPT-3 transzformatív felhasználása sem ér véget. Informatikus Tyler Lastovich használta a GPT-3-at hamis embereket teremteni, beleértve a háttértörténetet is, akikkel ezután szövegen keresztül lehet kapcsolatba lépni. Eközben Andrew Mayne megmutatta, hogy a GPT-3 lehet filmcímek hangulatjelekké alakítására szolgál. Nick Walton, a Latitude technológiai igazgatója, a GPT által generált szöveges kalandjáték mögött álló stúdió AI Dungeon nemrég csinálta ugyanezt, hátha fordul hosszabb szöveges leírásokat hangulatjelekké. A Copy.ai pedig, egy startup, amely szövegíró eszközöket épít a GPT-3-mal, havi díjjal megérinti a modellt. 67 000 dollár visszatérő bevétel márciusi állapot szerint – és a közelmúltban egy 2,9 millió dolláros finanszírozási körben.

„Minden bizonnyal meglepetés volt, és nagy áhítat volt az a kreativitás, amire az emberek a GPT-3-at használták.” Sandhini Agarwal, egy A.I. az OpenAI politikakutatója elmondta a Digital Trendsnek. „Olyan sok felhasználási eset annyira kreatív, és olyan területeken, amelyekről még én sem számítottam, sok tudással rendelkezik. Ezt érdekes látni. Ennek ellenére a GPT-3 – és az OpenAI által követett egész kutatási irány – nagyon is abban a reményben volt, hogy ez egy A.I. általános célú modell volt. Az egész lényege egy általános célú A.I. modell [hogy ez lenne] egy olyan modell, amelyik megteheti ezeket a különféle A.I. feladatokat.”

A projektek közül sok kiemeli a GPT-3 egyik nagy hozzáadott értékét: az ehhez szükséges képzés hiányát. A gépi tanulás mindenféle módon átalakult az elmúlt néhány évtizedben. De a gépi tanuláshoz nagyszámú képzési példára van szükség ahhoz, hogy helyes válaszokat tudjon adni. A GPT-3-nak viszont van egy „néhány lövés képessége”, amely lehetővé teszi, hogy megtanítsák valamire, csak néhány példával.

Hihető bull***t

A GPT-3 rendkívül lenyűgöző. De ez kihívásokat is jelent. Ezek közül néhány a költségekkel kapcsolatos: A nagy volumenű szolgáltatások, például a chatbotok esetében, amelyek hasznot húzhatnak a GPT-3 varázslatából, az eszköz túl drága lehet a használathoz. (Egyetlen üzenet 6 centbe is kerülhet, ami bár nem éppen bankromboló, mindenképpen összeadódik.)

Mások a széleskörű elérhetőségével kapcsolatosak, ami azt jelenti, hogy valószínűleg nehéz lesz kizárólag a köré építeni egy startupot, mivel a kiélezett verseny valószínűleg csökkenti a marzsokat.

A másik a memória hiánya; a kontextusablak kicsit kevesebb mint 2000 szót fut egyszerre korábban, mint Guy Pierce karaktere a filmben Emlékeztető, a memóriája alaphelyzetbe áll. "Ez jelentősen korlátozza az általa generálható szöveg hosszát, kérésenként nagyjából egy rövid bekezdésre" - mondta Lastovich. "Gyakorlatilag ez azt jelenti, hogy nem tud hosszú dokumentumokat generálni, miközben emlékszik a kezdeti eseményekre."

Talán a legjelentősebb kihívás azonban a legnagyobb erősségéhez is kapcsolódik: konfabulációs képességeihez. A konfabuláció egy olyan kifejezés, amelyet az orvosok gyakran használnak annak leírására, ahogy egyes memóriaproblémákkal küzdő emberek képesek erre olyan információkat gyártani, amelyek kezdetben meggyőzőnek tűnnek, de közelebbről nem feltétlenül állják ki a vizsgálatot ellenőrzés. A GPT-3 konfabulációs képessége a kontextustól függően erőssége és gyengesége. Kreatív projektek esetén nagyszerű lehet, lehetővé téve, hogy témákat riffeljen anélkül, hogy bármi olyan hétköznapi dologgal foglalkozna, mint az igazság. Más projekteknél ez bonyolultabb lehet.

Francis Jervis (Augrented) a GPT-3 azon képességére utal, hogy „valószínű baromságot generál”. Nick Walton AI Dungeon mondta: „A GPT-3 nagyon jó olyan kreatív szöveg írásában, amely úgy tűnik, mintha ember írta volna… gyengesége azonban az, hogy gyakran úgy ír, mintha nagyon magabiztos lenne – még akkor is, ha fogalma sincs, mi a válasz egy a kérdés az."

Vissza a kínai szobában

Ebben a tekintetben a GPT-3 visszavezet minket John Searle kínai szobájának ismerős talajára. 1980-ban Searle filozófus publikált az egyik legismertebb A.I. gondolatkísérletek, amely a „megértés” témájára összpontosított. A Kínai Szoba arra kér bennünket, hogy képzeljünk el egy szobába zárt embert, és rengeteg írást írnak olyan nyelven, amit nem értenek. Csak az elvont szimbólumokat ismerik fel. A terem egy sor szabályt is tartalmaz, amelyek megmutatják, hogy az egyik szimbólumkészlet hogyan felel meg a másiknak. Ha egy sor kérdést kell megválaszolni, a szoba lakójának meg kell felelnie a kérdésszimbólumoknak a válaszszimbólumokkal. A feladat sokszori megismétlése után ügyessé válnak annak végrehajtásában – annak ellenére, hogy fogalmuk sincs, mit jelent a szimbólumkészlet, csupán azt, hogy az egyik megfelel a másiknak.

A GPT-3 egy olyan világ, amely távol áll a nyelvi A.I. fajtáitól. amely Searle írásakor létezett. A megértés kérdése azonban olyan kényes, mint mindig.

„Ez egy nagyon ellentmondásos kérdéskör, amint biztos vagyok benne, hogy tisztában is van vele, mert nagyon sok a különbség vélemények arról, hogy általában a nyelvi modelleknek… lesz-e valaha [igazi] megértése” – mondta az OpenAI Sandhini Agarwal. „Ha most a GPT-3-ról kérdezel, néha nagyon jól teljesít, máskor viszont nem túl jól. Bizonyos értelemben ez a véletlenszerűség abban rejlik, hogy a kimenet mennyire értelmesnek tűnik számodra. Néha lenyűgöz a kimenet, néha pedig a kimenet értelmetlen lesz. Tekintettel arra, hogy jelenleg véleményem szerint… úgy tűnik, hogy a GPT-3 nem érti ezt.”

A kínai szoba kísérlet további csavarja, hogy a GPT-3-at nem programozza minden lépésben egy kis kutatócsoport. Ez egy hatalmas modell, amelyet egy hatalmas adathalmazra képeztek ki, amely az internetből áll. Ez azt jelenti, hogy olyan következtetéseket és torzításokat tud felvenni, amelyek az interneten található szövegbe kódolva lehetnek. Hallottad már azt a kifejezést, hogy te vagy annak az öt embernek az átlaga, akikkel körülveszed magad? Nos, a GPT-3 szinte kifürkészhetetlen mennyiségű szöveges adattal készült több forrásból, köztük könyvekből, Wikipédiából és más cikkekből. Ebből megtanulja megjósolni a következő szót egy tetszőleges szekvenciában azáltal, hogy átvizsgálja a betanítási adatait, hogy lássa a korábban használt szókombinációkat. Ennek nemkívánatos következményei lehetnek.

A sztochasztikus papagájok etetése

Ezt a nagy nyelvi modellekkel kapcsolatos kihívást először a úttörő papír az úgynevezett sztochasztikus papagájok témakörében. Sztochasztikus papagáj – ezt a kifejezést a szerzők találták ki, akik soraik közé sorolták a Google etikai A.I.-jének egykori társvezetőjét. csapat, a Timnit Gebru – egy nagy nyelvi modellre utal, amely „Véletlenül [összefűzi] a nyelvi formák sorozatait, amelyeket a hatalmas képzési adataiban megfigyelt, a kombinációjukról szóló valószínűségi információk alapján, de minden hivatkozás nélkül a jelentéshez.”

"Miután az internet nagy részén tanultak, fontos tudomásul venni, hogy bizonyos elfogultságokat hordoz magában" Gozzi Albert, egy másik GPT-3 felhasználó mondta a Digital Trendsnek. „Tudom, hogy az OpenAI csapata keményen dolgozik azon, hogy ezt néhány különböző módon enyhítse, de arra számítok, hogy ez még egy ideig probléma lesz.”

Az OpenAI elfogultság elleni védekezési intézkedései közé tartozik a toxicitási szűrő, amely kiszűr bizonyos nyelveket vagy témákat. Az OpenAI azon is dolgozik, hogy integrálja az emberi visszajelzéseket annak érdekében, hogy meg lehessen határozni, mely területekre ne tévedjen el. Ezenkívül a csapat szabályozza az eszközhöz való hozzáférést, hogy az eszköz bizonyos negatív felhasználásai ne kapjanak hozzáférést.

„Az egyik ok, amiért talán nem tapasztalt túl sok ilyen rosszindulatú felhasználót, az az, hogy belsőleg intenzív felülvizsgálati folyamatot folytatunk” – mondta Agarwal. „Az a munkamódszerünk, hogy minden alkalommal, amikor a GPT-3-at egy olyan termékben szeretné használni, amelyet ténylegesen telepítenek, át kell mennie egy folyamaton, ahol egy csapat – például egy embercsoport – ténylegesen felülvizsgálja, hogyan szeretné használni azt. … Akkor, ha megbizonyosodik arról, hogy nem valami rosszindulatú, megkapja a hozzáférést.”

Ennek egy része azonban kihívást jelent – ​​nem utolsósorban azért, mert az elfogultság bizonyos szavak használatának nem mindig egyértelmű esete. Jervis megjegyzi, hogy időnként GPT-3 bérleti üzenetei „a sztereotip nemi [vagy] osztály felé hajlanak. feltételezések." Felügyelet nélkül hagyva feltételezheti az alany nemi identitását a bérleti levélben, a családja alapján szerep vagy munka. Talán nem ez a legszomorúbb példa az A.I. elfogultság, de rávilágít arra, hogy mi történik, ha nagy mennyiségű adatot gyűjtenek be, majd valószínűségileg újra összeállítanak egy nyelvi modellben.

"Az elfogultság és az explicit hozamok lehetősége abszolút létezik, és ennek elkerülése erőfeszítéseket igényel a fejlesztőktől" - mondta Tyler Lastovich. „Az OpenAI megjelöli a potenciálisan mérgező eredményeket, de végső soron egy olyan felelősséggel is jár, amelyet az ügyfeleknek alaposan át kell gondolniuk, mielőtt gyártásba kezdik a modellt. A modell hazugságra való hajlama egy kifejezetten nehezen kidolgozható eset – mivel nincs fogalma az igaz vagy hamis információról.”

Nyelvi modellek és az A.I. jövője

Kilenc hónappal a debütálás után a GPT-3 minden bizonnyal megfelel a játékváltónak. Ami egykor tisztán potenciál volt, az megvalósultnak mutatkozott. A GPT-3 érdekes használati eseteinek száma rávilágít arra, hogy egy szöveggeneráló A.I. sokkal sokoldalúbb, mint azt a leírás sugallná.

Nem mintha ez az új gyerek a háztömbben manapság. Az év elején a GPT-3 megelőzte a legnagyobb nyelvi modellt. A Google Brain új nyelvi modellt mutatott be mintegy 1600 milliárd paraméterrel, így kilencszer akkora, mint az OpenAI kínálata. Valószínűleg ez sem jelenti a nyelvi modellek útjának végét. Ezek rendkívül hatékony eszközök – potenciálisan átalakíthatják a társadalmat, jó és rossz irányba.

Ezekkel a technológiákkal kapcsolatban minden bizonnyal vannak kihívások, és az olyan vállalatoknak, mint az OpenAI, a független kutatóknak és másoknak továbbra is foglalkozniuk kell velük. De összességében véve nehéz vitatkozni amellett, hogy a nyelvi modellek nem válnak a mesterséges intelligencia kutatásának egyik legérdekesebb és legfontosabb határterületévé.

Ki gondolta volna, hogy a szöveggenerátorok ennyire fontosak lehetnek? Üdvözöljük a mesterséges intelligencia jövőjében.

Szerkesztői ajánlások

• Analóg A.I.? Őrülten hangzik, de lehet, hogy ez a jövő
• Olvassa el egy A.I. kísértetiesen szép „szintetikus szentírását”. aki azt hiszi, hogy Isten
• Algoritmikus architektúra: Hagyjuk, hogy A.I. épületeket tervez nekünk?
• Women with Byte: Vivienne Ming terve, hogy megoldja a „rendetlen emberi problémákat” A.I.
• Miért lehet a következő generációs A.I. kulcsa a robotok bújócskázásra való megtanítása?