GPT-3: OpenAI: n uusi tekstiä luova hermoverkko on täällä

Kun tekstiä tuottava algoritmi GPT-2 luotiin vuonna 2019, se nimettiin yhdeksi "vaarallinen”A.I. algoritmit historiassa. Itse asiassa jotkut väittivät, että se oli niin vaarallista, että sitä ei pitäisi koskaan julkaista yleisölle (spoileri: Se oli), jottei se johdattaisi "robottiapokalypsi.” Sitä ei tietenkään koskaan tapahtunut. GPT-2 julkaistiin lopulta yleisölle, ja kun se ei tuhonnut maailmaa, sen luojat siirtyivät seuraavaan asiaan. Mutta miten voit seurata vaarallisinta koskaan luotua algoritmia?

Vastaus, ainakin paperilla, on yksinkertainen: aivan kuten minkä tahansa menestyneen elokuvan jatko-osassa, teet jotain suurempaa, huonompaa ja kalliimpaa. Vain yksi ksenomorfi ensimmäisessä Ulkomaalainen? Sisällytä kokonainen pesä niitä jatko-osaan, Alienit. Vain yksi lähes tuhoutumaton kone, joka on lähetetty takaisin tulevaisuudesta Terminaattori? Anna yleisölle kaksi niistä painiskella Terminaattori 2: Tuomiopäivä.

Sama pätee A.I. - tässä tapauksessa, GPT-3, äskettäin julkaistu luonnollisen kielen käsittelyn hermoverkko, jonka on luonut OpenAI, tekoälyn tutkimuslaboratorio, joka oli kerran (mutta ei enää) sponsoroivat SpaceX ja Teslan toimitusjohtaja Elon Musk.

GPT-3 on uusin tekstiä luovien hermoverkkojen sarja. Nimi GPT tarkoittaa Generatiivista esikoulutettua muuntajaa, joka viittaa vuodelle 2017 Googlen innovaatio nimeltä Transformer joka voi selvittää todennäköisyyden, että tietty sana esiintyy ympäröivien sanojen kanssa. Syötetty muutamalla lauseella, kuten uutisjutun alku, GPT: n esikoulutettu kielimalli voi tuottaa vakuuttavan tarkkoja jatkoja, jopa valmistettujen formulaatioiden mukaan lainausmerkit.

Tästä syystä jotkut olivat huolissaan siitä, että se voisi osoittautua vaaralliseksi auttamalla luomaan väärää tekstiä, kuten syvät väärennökset, voisi auttaa levittämään valeuutisia verkossa. Nyt GPT-3:lla se on suurempi ja älykkäämpi kuin koskaan.

Tarina nauhasta

GPT-3 on, kuten nyrkkeilytyylinen "tale of the tape" -vertailu tekisi selväksi, todellinen raskaan sarjan kilpailijan murskaaja. OpenAI: n alkuperäisessä 2018 GPT: ssä oli 110 miljoonaa parametria, mikä viittaa niiden yhteyksien painoon, jotka mahdollistavat neuroverkon oppimisen. Vuoden 2019 GPT-2:lla, joka aiheutti suuren osan aiemmasta kohusta sen mahdollisista haitallisista sovelluksista, oli 1,5 miljardia parametria. Viime kuukausi, Microsoft esitteli tuolloin maailman suurimman vastaavan esiopetetun kielimallin, jossa oli 17 miljardia parametria. Vuoden 2020 hirviömäisellä GPT-3:lla on siihen verrattuna hämmästyttävä 175 miljardia parametrit. Koulutuksen kerrotaan maksavan noin 12 miljoonaa dollaria.

”Näiden mallien voima on siinä, että ennakoidakseen onnistuneesti seuraavan sanan ne päätyvät oppimaan todella voimakkaan maailman malleja, joita voidaan käyttää kaikenlaisiin mielenkiintoisiin asioihin”, Nick Walton, studion Latituden teknologiajohtaja takana A.I. Dungeon, A.I.:n luoma tekstiseikkailupeli, joka perustuu GPT-2:een, kertoi Digital Trends. "Voit myös hienosäätää perusmalleja ja muokata sukupolvea tiettyyn suuntaan säilyttäen silti mallin esikoulutuksessa oppiman tiedon."

Gwern Branwen, psykologiasta, tilastoista ja teknologiasta kirjoittava kommentaattori ja tutkija, kertoi Digital Trendsille, että esikoulutetusta kielimallista GPT: stä on tullut "yenevästi kriittinen osa kaikkia koneoppimistehtäviä, jotka koskettavat tekstissä. Samalla tavalla kuin [tavallinen ehdotus] monista kuviin liittyvistä tehtävistä on tullut "käytä a [konvoluutiohermoverkko], monista kieleen liittyvistä tehtävistä on tullut "käytä hienosäädettyä [kieltä malli.'"

OpenAI - joka kieltäytyi kommentoimasta tätä artikkelia - ei ole ainoa yritys, joka tekee vaikuttavaa työtä luonnollisen kielen käsittelyn parissa. Kuten mainittiin, Microsoft on noussut huipulle omalla häikäisevällä työllään. FacebookSamaan aikaan investoi voimakkaasti teknologiaan ja on luonut läpimurtoja, kuten BlenderBot, kaikkien aikojen suurin avoimen lähdekoodin avoimen verkkotunnuksen chatbot. Se ylittää muut sitoutumisen suhteen ja tuntuu myös inhimillisemmältä ihmisarvioijien mukaan. Kuten jokainen, joka on käyttänyt tietokonetta viime vuosina, tietää, koneet ymmärtävät meitä paremmin kuin koskaan – ja luonnollisen kielen käsittely on syy siihen.

Koolla on väliä

Mutta OpenAI: n GPT-3 on edelleen yksin ennätyksellisen mittakaavansa ansiosta. "GPT-3 herättää kohua ensisijaisesti kokonsa vuoksi", Joe Davison, tutkimusinsinööri Halaavat kasvot, startup, joka pyrkii edistämään luonnollisen kielen käsittelyä kehittämällä avoimen lähdekoodin työkaluja ja tekemällä perustutkimusta, kertoi Digital Trends.

Suuri kysymys on, mihin tätä kaikkea käytetään. GPT-2 löysi tiensä lukemattomiin käyttötarkoituksiin, ja sitä käytettiin erilaisissa tekstintuotantojärjestelmissä.

Davison ilmaisi jonkin verran varovaisuutta siitä, että GPT-3:a voi rajoittaa sen koko. "OpenAI: n tiimi on kiistatta ajanut näiden mallien laajuuden rajaa ja osoittanut, että niiden kasvattaminen vähentää riippuvuuttamme tehtäväkohtaisista tiedoista", hän sanoi. "Kuitenkin GPT-3:n todelliseen käyttöön tarvittavat laskentaresurssit tekevät siitä erittäin epäkäytännöllisen. Joten vaikka työ on varmasti mielenkiintoista ja oivaltavaa, en sanoisi sitä suureksi edistysaskeleeksi alalle."

Toiset ovat kuitenkin eri mieltä. "[internal-link post_id="NN"]tekoäly[/internal-link] -yhteisö on pitkään havainnut, että yhä suurempien mallien yhdistäminen yhä enemmän dataan tuottaa lähes ennustettavia parannuksia näiden mallien tehoon, aivan kuten Mooren laskentatehon skaalauslaki", Yannic Kilcher, A.I. tutkija WHO ylläpitää YouTube-kanavaa, kertoi Digital Trendsille. "Mutta myös Mooren lain tavoin monet ovat spekuloineet, että olemme lopussa siinä, että voimme parantaa kielimalleja yksinkertaisesti skaalaamalla niitä ja saadaksemme paremman suorituskyvyn, meidän olisi tehtävä merkittäviä keksintöjä uusien arkkitehtuurien tai koulutuksen suhteen menetelmiä. GPT-3 osoittaa, että tämä ei pidä paikkaansa, ja kyky viedä suorituskykyä yksinkertaisesti mittakaavassa näyttää katkeamattomalta – eikä loppua näy.

Turingin testin läpäiseminen?

Branwen ehdottaa, että GPT-3:n kaltaiset työkalut voisivat olla merkittävä häiritsevä voima. "Yksi tapa ajatella sitä on, mihin työhön kuuluu tekstin ottaminen, muuntaminen ja toisen tekstin lähettäminen?" Branwen sanoi. "Kaikki työt, joita tämä kuvataan - kuten lääketieteellinen koodaus, laskutus, vastaanottovirkailijat, asiakastuki, [ja paljon muuta], olisi hyvä kohde GPT-3:n hienosäätämiseen ja kyseisen henkilön korvaamiseen. Monet työt ovat enemmän tai vähemmän "kenttien kopioimista laskentataulukosta tai PDF-tiedostosta toiseen laskentataulukkoon tai PDF-tiedostoon" ja sellaista toimistoautomaatiota, joka on liian kaoottista kirjoittaa helposti normaalin ohjelman korvattavaksi, olisi haavoittuvainen GPT-3:lle, koska se oppii kaikki poikkeukset ja erilaiset käytännöt ja toimii yhtä hyvin kuin ihminen olisi.”

Lopulta luonnollisen kielen prosessointi voi olla vain yksi osa A.I: tä, mutta se todennäköisesti leikkaa tekoäly-unelman ytimeen tavalla, jota harvat muut alan tieteenalat tekevät. The kuuluisa Turingin testi, yksi tärkeimmistä keskusteluista, jotka aloittivat alan, on luonnollinen kielenkäsittelyongelma: voitko rakentaa A.I. joka voi vakuuttavasti antaa itsensä persoonaksi? OpenAI: n uusin työ varmasti edistää tätä tavoitetta. Nyt jää nähtäväksi, mitä sovelluksia tutkijat löytävät sille.

"Luulen, että se tosiasia, että GPT-2-teksti voi siirtyä ihmisille niin helposti, on vaikeaa heiluttaa sitä käsin "vain kuviontunnistukseksi" tai "pelkäksi muistamiseksi", Branwen sanoi. "Jokaisen, joka oli varma siitä, että syväoppiminen ei ole yhtä kuin älykkyys, on täytynyt järkyttää uskoaan nähdäkseen, kuinka pitkälle se on edennyt."

Toimittajien suositukset

• Huippukirjailijat vaativat tekoälyyrityksiltä maksua työnsä käytöstä
• ChatGPT-valmistaja OpenAI kohtaa FTC: n tutkinnan kuluttajansuojalaeista
• OpenAI rakentaa uutta tiimiä estääkseen superälykkään tekoälyn huijauksen
• ChatGPT: n luoja pyrkii poistamaan chatbotin "hallusinaatiot"
• OpenAI: n uusi ChatGPT-sovellus on ilmainen iPhonelle ja iPadille