GPT-3: Новата невронна мрежа за генериране на текст на OpenAI е тук

Когато алгоритъмът за генериране на текст GPT-2 беше създаден през 2019 г., той беше обозначен като един от най-„опасно” A.I. алгоритми в историята. Всъщност някои твърдяха, че е толкова опасно, че никога не трябва да се пуска публично (спойлер: Беше), за да не въведе „робот апокалипсис.” Това, разбира се, така и не се случи. GPT-2 в крайна сметка беше пуснат на обществеността и след като не унищожи света, създателите му преминаха към следващото нещо. Но как да проследите най-опасния алгоритъм, създаван някога?

Отговорът, поне на хартия, е прост: Точно като продължението на всеки успешен филм, правите нещо, което е по-голямо, по-лошо и по-скъпо. Само един ксеноморф в първия Извънземно? Включете цяло гнездо от тях в продължението, извънземни. Само една-единствена почти неразрушима машина, изпратена от бъдещето Терминатор? Дайте на публиката две от тях, за да се борят с тях Терминатор 2: Денят на страшния съд.

Същото важи и за A.I. - в такъв случай, GPT-3, наскоро пусната невронна мрежа за обработка на естествен език, създадена от OpenAI, изследователската лаборатория за изкуствен интелект, която някога беше (но вече не), спонсориран от главния изпълнителен директор на SpaceX и Tesla Илон Мъск.

GPT-3 е най-новата от поредицата генериращи текст невронни мрежи. Името GPT означава Generative Pretrained Transformer, препращайки към 2017 г Иновация на Google, наречена Transformer който може да определи вероятността определена дума да се появи със заобикалящите я думи. Подхранван с няколко изречения, като началото на новина, предварително обученият езиков модел на GPT може да генерира убедително точни продължения, дори включително формулирането на измислени кавички.

Ето защо някои се притесняваха, че може да се окаже опасно, като спомага за генерирането на фалшив текст, който, като deepfakes, бих могъл помогнете за разпространението на фалшиви новини онлайн. Сега, с GPT-3, той е по-голям и по-умен от всякога.

Приказка за лентата

GPT-3 е, както би станало ясно от едно сравнение в боксов стил „история на лентата“, истински съперник в тежка категория. Оригиналният 2018 GPT на OpenAI имаше 110 милиона параметъра, отнасящи се до теглата на връзките, които позволяват на невронната мрежа да се учи. GPT-2 от 2019 г., който предизвика голяма част от предишния шум относно потенциалните злонамерени приложения, притежаваше 1,5 милиарда параметри. Миналия месец, Microsoft представи това, което тогава беше най-големият в света подобен предварително обучен езиков модел, разполагащ със 17 милиарда параметъра. За сравнение, чудовищният GPT-3 от 2020 г. има удивителен 175 милиарда параметри. Съобщава се, че обучението е струвало около 12 милиона долара.

„Силата на тези модели е, че за да предскажат успешно следващата дума, те в крайна сметка научават наистина мощен свят модели, които могат да се използват за всякакви интересни неща,” Ник Уолтън, главен технологичен директор на Latitude, студиото отзад ИИ Тъмница, генерирана от AI текстова приключенска игра, задвижвана от GPT-2, каза Digital Trends. „Можете също така да настроите фино базовите модели, за да оформите поколението в конкретна посока, като същевременно запазите знанията, които моделът е научил в предварителното обучение.“

Гверн Бранвен, коментатор и изследовател, който пише за психология, статистика и технологии, каза пред Digital Trends, че предварително обучен езиков модел, който GPT представлява, се е превърнал във „все по-важна част от всяка задача за машинно обучение, засягаща върху текст. По същия начин, по който [стандартното предложение за] много задачи, свързани с изображения, се превърнаха в „използвайте a [конволюционна невронна мрежа], много задачи, свързани с езика, са станали „използване на фино настроен [език модел.'"

OpenAI – която отказа да коментира тази статия – не е единствената компания, която върши впечатляваща работа с обработката на естествен език. Както споменахме, Microsoft се засили към плочата с някои ослепителни собствени работи. Facebook, междувременно, инвестира сериозно в технологията и е създал пробиви като BlenderBot, най-големият някога чатбот с отворен код и отворен домейн. Той превъзхожда другите по отношение на ангажираността и също така се чувства по-човешки, според човешки оценители. Както всеки, който е използвал компютър през последните няколко години, ще знае, машините стават все по-добри в разбирането ни от всякога - и обработката на естествен език е причината за това.

Размерът има значение

Но GPT-3 на OpenAI все още стои сам в своя чист рекорден мащаб. „GPT-3 генерира шум главно поради размера си“, Джо Дейвисън, изследователски инженер в Прегръщащо лице, стартираща компания, работеща върху усъвършенстването на обработката на естествен език чрез разработване на инструменти с отворен код и извършване на фундаментални изследвания, каза пред Digital Trends.

Големият въпрос е за какво ще се използва всичко това. GPT-2 намери своето място в безброй приложения, като се използва за различни системи за генериране на текст.

Дейвисън изрази известна предпазливост, че GPT-3 може да бъде ограничен от размера си. „Екипът на OpenAI несъмнено прокара границата на това колко големи могат да бъдат тези модели и показа, че разрастването им намалява зависимостта ни от данни, специфични за задачата“, каза той. „Въпреки това изчислителните ресурси, необходими за действителното използване на GPT-3 в реалния свят, го правят изключително непрактичен. Така че, въпреки че работата със сигурност е интересна и проницателна, не бих я нарекъл голяма крачка напред в областта.“

Други обаче не са съгласни. „Общността [internal-link post_id="NN"]за изкуствен интелект[/internal-link] отдавна е забелязала, че комбинирането на все по-големи модели с все повече и повече данни води до почти предсказуеми подобрения в мощността на тези модели, много подобно на закона на Мур за мащабиране на изчислителната мощност,” Яник Килчър, A.I. изследовател СЗО управлява канал в YouTube, каза Digital Trends. „И все пак, подобно на закона на Мур, мнозина спекулират, че сме в края на възможността да подобрим езиковите модели, като просто ги мащабираме и за да постигнем по-висока производителност, ще трябва да направим значителни изобретения по отношение на нови архитектури или обучение методи. GPT-3 показва, че това не е вярно и способността да се повиши производителността просто чрез мащаб изглежда непокътната - и всъщност не се вижда край."

Преминавате ли теста на Тюринг?

Брануен предполага, че инструменти като GPT-3 могат да бъдат основна разрушителна сила. „Един от начините да мислим за това е какви задачи включват вземане на част от текст, трансформирането му и излъчване на друга част от текст?“ - каза Брануен. „Всяка работа, която е описана от това – като медицинско кодиране, фактуриране, рецепционисти, поддръжка на клиенти [и други] би била добра цел за фина настройка на GPT-3 и замяна на този човек. Голяма част от работните места са повече или по-малко „копиране на полета от една електронна таблица или PDF в друга електронна таблица или PDF“ и този вид офис автоматизация, която е твърде хаотична за лесно да напише нормална програма, която да замени, би била уязвима към GPT-3, защото може да научи всички изключения и различни конвенции и да работи толкова добре, колкото и човека би се."

В крайна сметка обработката на естествения език може да е само една част от изкуствения интелект, но може би се докосва до същността на мечтата за изкуствен интелект по начин, който малко други дисциплини в тази област правят. The известният тест на Тюринг, един от основополагащите дебати, които дадоха тласък на полето, е проблемът с обработката на естествения език: Можете ли да изградите A.I. който може убедително да се представи като човек? Последната работа на OpenAI със сигурност напредва тази цел. Сега остава да видим какви приложения ще намерят изследователите за него.

„Мисля, че фактът е, че GPT-2 текстът може толкова лесно да мине за човек, че става трудно да го махнем с ръка като „просто разпознаване на образи“ или „просто запаметяване“, каза Бранвен. „Всеки, който е бил сигурен, че нещата, които дълбокото обучение прави, не са нищо като интелигентност, трябва да е разклатил вярата си, за да види докъде е стигнал.“

Препоръки на редакторите

• Топ автори изискват заплащане от фирми за изкуствен интелект за използване на работата им
• Създателят на ChatGPT OpenAI е изправен пред разследване на FTC относно законите за защита на потребителите
• OpenAI изгражда нов екип, за да спре свръхинтелигентния AI да стане измамник
• Създател на ChatGPT, който се стреми да премахне „халюцинациите“ на чатбота
• Новото приложение ChatGPT на OpenAI е безплатно за iPhone и iPad