Když byl v roce 2019 vytvořen algoritmus pro generování textu GPT-2, byl označen jako jeden z nejvíce „nebezpečný“A.I. algoritmy v historii. Ve skutečnosti někteří tvrdili, že je to tak nebezpečné, že by nemělo být nikdy zveřejněno (spoiler: Bylo), jinak by to znamenalo „robotická apokalypsa.“ To se samozřejmě nikdy nestalo. GPT-2 byl nakonec uvolněn pro veřejnost a poté, co nezničil svět, jeho tvůrci přešli k další věci. Jak ale následovat nejnebezpečnější algoritmus, jaký byl kdy vytvořen?
Obsah
- Příběh pásky
- Na velikosti záleží
- Absolvování Turingova testu?
Odpověď, alespoň na papíře, je jednoduchá: Stejně jako pokračování každého úspěšného filmu uděláte něco, co je větší, horší a dražší. Pouze jeden xenomorf v prvním Mimozemšťan? Zahrňte jich celé hnízdo do pokračování, Mimozemšťané. Jen jeden téměř nezničitelný stroj poslaný zpět z budoucnosti Terminátor? Dejte divákům dva z nich, aby se s nimi potýkali Terminátor 2: Soudný den.
Totéž platí pro A.I. - v tomto případě, GPT-3, nedávno vydaná neuronová síť pro zpracování přirozeného jazyka vytvořená OpenAI, laboratoří pro výzkum umělé inteligence, která byla kdysi (
ale už ne) sponzorované SpaceX a generálním ředitelem Tesly Elonem Muskem.Doporučená videa
GPT-3 je nejnovější ze série neuronových sítí generujících text. Název GPT znamená Generative Pretrained Transformer s odkazem na rok 2017 Inovace Google zvaná Transformer který dokáže zjistit pravděpodobnost, že se určité slovo objeví s okolními slovy. Doplněno několika větami, jako je začátek zprávy, jazykový model GPT předem vyškolený může generovat přesvědčivě přesná pokračování, a to i včetně formulace vymyšlených citáty.
To je důvod, proč se někteří obávali, že by se to mohlo ukázat jako nebezpečné tím, že pomáhá generovat falešný text, který jako deepfakes, mohl pomáhají šířit falešné zprávy online. Nyní je s GPT-3 větší a chytřejší než kdy dříve.
Příběh pásky
GPT-3 je, jak by jasně ukázalo srovnání „tale of the tape“ v boxerském stylu, skutečná těžká váha soupeře. Původní GPT OpenAI z roku 2018 měl 110 milionů parametrů, které odkazovaly na váhy připojení, které umožňují neuronové síti učit se. GPT-2 z roku 2019, který způsobil velkou část předchozího rozruchu ohledně svých potenciálních škodlivých aplikací, měl 1,5 miliardy parametrů. Minulý měsíc, Microsoft představil tehdy největší podobný předtrénovaný jazykový model na světě, který se může pochlubit 17 miliardami parametrů. Ve srovnání s tím monstrózní GPT-3 z roku 2020 má ohromující 175 miliard parametry. Výcvik údajně stál kolem 12 milionů dolarů.
„Síla těchto modelů spočívá v tom, že aby úspěšně předpověděli další slovo, nakonec se naučí opravdu mocný svět modely, které lze použít pro nejrůznější zajímavé věci,“ Nick Walton, technologický ředitel studia Latitude za A.I. Žalář, textová adventura generovaná A.I. poháněná GPT-2, řekl Digital Trends. "Můžete také doladit základní modely, abyste utvářeli generaci konkrétním směrem, a přitom si zachovali znalosti, které se model naučil v předtréninku."
Výpočetní zdroje potřebné ke skutečnému použití GPT-3 v reálném světě jej činí extrémně nepraktickým.
Gwern Branwen, komentátor a výzkumník, který píše o psychologii, statistice a technologii, řekl pro Digital Trends, že předem vyškolený jazykový model, který GPT představuje, se stal „stále kritickou součástí jakéhokoli úkolu strojového učení, který se dotýká na textu. Stejně jako [standardní návrh pro] mnoho úloh souvisejících s obrázky se staly „použijte a [konvoluční neuronová síť], mnoho úloh souvisejících s jazykem se stalo ‚použijte vyladěný [jazyk‘ Modelka.'"
OpenAI – která odmítla komentovat tento článek – není jedinou společností, která odvádí působivou práci se zpracováním přirozeného jazyka. Jak již bylo zmíněno, Microsoft přikročil k oslnivé vlastní práci. Facebook, mezitím masivně investuje do technologie a vytvořil průlomy, jako je BlenderBot, vůbec největší chatbot s otevřeným zdrojovým kódem a otevřenou doménou. Převyšuje ostatní v angažovanosti a také se cítí lidštější, podle lidských hodnotitelů. Jak každý, kdo v posledních několika letech používal počítač, ví, že stroje nám rozumějí lépe než kdy jindy – a důvodem je zpracování přirozeného jazyka.
Na velikosti záleží
Ale GPT-3 od OpenAI je stále osamocený ve svém naprosto rekordním měřítku. Objímání obličeje, startup pracující na pokroku ve zpracování přirozeného jazyka vývojem nástrojů s otevřeným zdrojovým kódem a prováděním základního výzkumu, řekl Digital Trends.
Velkou otázkou je, k čemu to všechno bude sloužit. GPT-2 si našel cestu do nesčetného množství použití, protože se používá pro různé systémy generující text.
Davison vyjádřil určitou opatrnost, že GPT-3 by mohl být omezen svou velikostí. „Tým v OpenAI nepochybně posunul hranice toho, jak velké tyto modely mohou být, a ukázal, že jejich rozšiřování snižuje naši závislost na datech konkrétních úloh,“ řekl. „Nicméně výpočetní zdroje potřebné ke skutečnému použití GPT-3 v reálném světě jej činí extrémně nepraktickým. Takže i když je práce jistě zajímavá a bystrá, nenazval bych ji velkým krokem vpřed v oboru.“
Jiní však nesouhlasí. „Komunita [internal-link post_id="NN"]umělé inteligence[/internal-link] již dlouho pozoruje, že kombinování stále větších modelů s více a více daty přináší téměř předvídatelná zlepšení výkonu těchto modelů, velmi podobně jako Moorův zákon škálování výpočetního výkonu,“ Yannic Kilcher, A.I. výzkumník SZO provozuje kanál YouTube, řekl Digital Trends. „Přesto, stejně jako u Moorova zákona, mnozí spekulovali, že jsme na konci schopnosti zlepšovat jazykové modely pouhým jejich škálováním. a abychom dosáhli vyššího výkonu, museli bychom udělat podstatné vynálezy, pokud jde o nové architektury nebo školení metody. GPT-3 ukazuje, že to není pravda a schopnost prosazovat výkon jednoduše prostřednictvím měřítka se zdá být nepřerušená – a konec ve skutečnosti není v dohledu.“
Absolvování Turingova testu?
Branwen naznačuje, že nástroje jako GPT-3 by mohly být velkou rušivou silou. "Jedním ze způsobů, jak si to představit, je, jaké práce zahrnují odebrání části textu, jeho transformaci a odeslání dalšího textu?" řekl Branwen. „Jakákoli práce, která je tím popsána – jako je lékařské kódování, účtování, recepční, zákaznická podpora [a další] by byla dobrým cílem pro doladění GPT-3 a nahrazení této osoby. Mnoho úloh je víceméně „kopírování polí z jedné tabulky nebo PDF do jiné tabulky nebo PDF“ a tento druh automatizace kanceláře, který je příliš chaotický snadno napsat normální program, který by bylo možné nahradit, byl by zranitelný vůči GPT-3, protože se dokáže naučit všechny výjimky a různé konvence a fungovat stejně dobře jako člověk bych."
Zpracování přirozeného jazyka může být v konečném důsledku jen jednou částí AI, ale pravděpodobně se to týká jádra snu umělé inteligence způsobem, jakým to dělá jen málo jiných oborů v oboru. The slavný Turingův test, jedna ze zásadních debat, která nastartovala toto pole, je problém zpracování přirozeného jazyka: Dokážete sestavit A.I. který se dokáže přesvědčivě vydávat za osobu? Nejnovější práce OpenAI tento cíl určitě posouvají. Nyní zbývá zjistit, jaké aplikace pro něj výzkumníci najdou.
„Myslím si, že je to skutečnost, že text GPT-2 by mohl tak snadno projít pro člověka, že je čím dál obtížné jej ručně zamávat jako ‚jen rozpoznání vzoru‘ nebo ‚jen zapamatování‘,“ řekl Branwen. "Každý, kdo si byl jistý, že věci, které dělá hluboké učení, nejsou podobné inteligenci, musel mít otřesenou víru, aby viděl, jak daleko to došlo."
Doporučení redakce
- Špičkoví autoři požadují od firem zabývajících se umělou inteligencí platby za použití jejich díla
- Tvůrce ChatGPT OpenAI čelí vyšetřování FTC kvůli zákonům na ochranu spotřebitele
- OpenAI buduje nový tým, aby zabránil tomu, že superinteligentní umělá inteligence bude nečestná
- Tvůrce ChatGPT se snaží odstranit „halucinace“ chatbotů
- Nová aplikace ChatGPT od OpenAI je zdarma pro iPhone a iPad
