GPT-3: Нова нейромережа OpenAI для створення тексту тут

Коли алгоритм генерації тексту GPT-2 був створений у 2019 році, він був позначений як один із найбільш "небезпечний” А.І. алгоритми в історії. Фактично, дехто стверджував, що це настільки небезпечно, що його ніколи не слід оприлюднювати для публіки (спойлер: так), щоб не призвести до «робот апокаліпсис.” Цього, звичайно, ніколи не було. Зрештою GPT-2 було опубліковано, і після того, як він не знищив світ, його творці перейшли до наступного. Але як слідкувати за найнебезпечнішим алгоритмом, коли-небудь створеним?

Зміст

Казка про стрічку
Розмір має значення
Пройти тест Тюрінга?

Відповідь, принаймні на папері, проста: як і в продовженні будь-якого успішного фільму, ви робите щось більше, поганіше та дорожче. Лише один ксеноморф у першому Інопланетянин? Включіть ціле гніздо їх у продовження, Інопланетяни. Лише єдина майже незнищенна машина, яку повернули з майбутнього Термінатор? Дайте аудиторії два з них, щоб впоратися з ними Термінатор 2: Судний день.

OpenAI

Те саме стосується А.І. - в цьому випадку,

ГПТ-3, нещодавно випущена нейронна мережа обробки природної мови, створена OpenAI, дослідницькою лабораторією штучного інтелекту, яка колись була (але не більше) за підтримки SpaceX і генерального директора Tesla Ілона Маска.

Рекомендовані відео

GPT-3 є останньою в серії нейронних мереж, що генерують текст. Назва GPT означає Generative Pretrained Transformer, посилаючись на 2017 рік Інновація Google під назвою Transformer який може визначити ймовірність того, що певне слово з’явиться разом із навколишніми словами. Поповнений кількома реченнями, як-от початок новини, попередньо навчена мовна модель GPT може породжувати переконливо точні продовження, навіть включаючи формулювання сфабрикованих котирування.

Ось чому деякі хвилювалися, що він може виявитися небезпечним, допомагаючи генерувати неправдивий текст, який, як deepfakes, міг би допомагають поширювати фейкові новини в Інтернеті. Тепер із GPT-3 він більший і розумніший, ніж будь-коли.

Казка про стрічку

GPT-3 — це, як зрозуміло порівняння у боксерському стилі «оповідання на плівку», справжній суперник у важкій вазі. Оригінальний GPT OpenAI 2018 мав 110 мільйонів параметрів, що стосуються ваги з’єднань, які дозволяють нейронній мережі навчатися. GPT-2 2019 року, який раніше викликав багато галасу щодо потенційних шкідливих програм, мав 1,5 мільярда параметрів. Минулого місяця, Microsoft представила на той час найбільшу в світі аналогічну попередньо навчену мовну модель із 17 мільярдами параметрів. Для порівняння, жахливий GPT-3 2020 року має вражаюче 175 мільярдів параметри. Повідомляється, що навчання коштувало близько 12 мільйонів доларів.

«Потужність цих моделей полягає в тому, що для того, щоб успішно передбачити наступне слово, вони вивчають справді потужний світ моделі, які можна використовувати для різноманітних цікавих речей», – Нік Волтон, головний технічний директор студії Latitude ззаду А.І. Підземелля, створена штучним інтелектом текстова пригодницька гра на базі GPT-2, повідомляє Digital Trends. «Ви також можете налаштувати базові моделі, щоб сформувати покоління в певному напрямку, зберігаючи при цьому знання, отримані моделлю під час попереднього навчання».

Обчислювальні ресурси, необхідні для реального використання GPT-3 у реальному світі, роблять його надзвичайно непрактичним.

Гверн Бранвен, коментатор і дослідник, який пише про психологію, статистику та технології, сказав Digital Trends, що попередньо підготовлена мовна модель, яку представляє GPT, стала «все більш важливою частиною будь-якого завдання машинного навчання, на тексті. Так само, як [стандартна пропозиція для] багатьох завдань, пов’язаних із зображеннями, стало «використовувати a [згорточна нейронна мережа], багато завдань, пов’язаних із мовою, стали «використовувати тонко налаштовану [мову модель».

OpenAI, яка відмовилася коментувати цю статтю, не єдина компанія, яка виконує вражаючу роботу з обробки природної мови. Як згадувалося, Microsoft підійшла до планки, зробивши власну чудову роботу. Facebook, тим часом, інвестує значні кошти в технології та створив такі прориви, як BlenderBot, найбільший чат-бот із відкритим кодом із відкритим доменом. За оцінками людей, він перевершує інші з точки зору взаємодії, а також виглядає більш людяним. Кожен, хто користувався комп’ютером протягом останніх кількох років, знає, що машини все краще розуміють нас, ніж будь-коли, і тому обробка природної мови.

Розмір має значення

Але GPT-3 від OpenAI все ще залишається самотнім у своєму рекордному масштабі. «GPT-3 викликає галас насамперед через свій розмір», — Джо Девісон, інженер-дослідник компанії Обіймати обличчя, стартап, який працює над вдосконаленням обробки природної мови шляхом розробки інструментів з відкритим кодом і проведення фундаментальних досліджень, розповів Digital Trends.

Велике питання в тому, на що все це буде використано. GPT-2 знайшов свій шлях до безлічі застосувань, застосовуючи його для різних систем генерування тексту.

Девісон висловив деяку обережність, що GPT-3 може бути обмежений своїм розміром. «Команда OpenAI, безсумнівно, розширила межі того, наскільки великими можуть бути ці моделі, і показала, що їх зростання зменшує нашу залежність від даних, пов’язаних із завданням», — сказав він. «Однак обчислювальні ресурси, необхідні для реального використання GPT-3 у реальному світі, роблять його вкрай непрактичним. Тому, незважаючи на те, що робота є цікавою та проникливою, я б не назвав її серйозним кроком вперед у цій галузі».

Проте інші не погоджуються. «Спільнота [internal-link post_id="NN"]штучного інтелекту[/internal-link] давно помітила, що поєднання все більших моделей із дедалі більшою кількістю даних дає майже передбачувані покращення потужності цих моделей, дуже схоже на закон Мура про масштабування обчислювальної потужності», – Яннік Кілчер, дослідник ШІ. дослідник ВООЗ веде канал YouTube, розповіли Digital Trends. «Однак, як і закон Мура, багато хто припускає, що ми наближаємося до того, щоб покращити мовні моделі, просто масштабуючи їх і для того, щоб отримати вищу продуктивність, нам потрібно було б зробити значні винаходи з точки зору нових архітектур або навчання методи. GPT-3 показує, що це неправда, і здатність підвищувати продуктивність просто за рахунок масштабу здається непорушною — і кінця цьому насправді не видно».

Пройти тест Тюрінга?

Бранвен припускає, що такі інструменти, як GPT-3, можуть стати головною руйнівною силою. «Один із способів подумати про це: які роботи включають взяття фрагмента тексту, його трансформацію та випромінювання іншого фрагмента тексту?» – сказала Бранвен. «Будь-яка робота, яка описана в цьому, — наприклад, медичне кодування, виставлення рахунків, адміністратори, підтримка клієнтів [і багато іншого] буде хорошою метою для точного налаштування GPT-3 і заміни цієї людини. Дуже багато завдань — це більш-менш «копіювання полів з однієї електронної таблиці або PDF-файлу в іншу електронну таблицю або PDF-файл», і такий вид автоматизації офісу, який є надто хаотичним, щоб легко написати нормальну програму для заміни, буде вразливим до GPT-3, оскільки він може вивчати всі винятки та різні конвенції та працювати так само добре, як і людина б."

Зрештою, обробка природної мови може бути лише частиною штучного інтелекту, але, можливо, вона врізається в суть мрії про штучний інтелект так, як мало інших дисциплін у цій галузі. The знаменитий тест Тюрінга, однією з основоположних дебатів, які поклали початок галузі, є проблема обробки природної мови: чи можете ви створити ШІ? що може переконливо видати себе за особистість? Остання робота OpenAI, безумовно, сприяє цій меті. Тепер залишається тільки побачити, які застосування дослідники знайдуть для нього.

«Я вважаю, що текст GPT-2 може так легко прийняти за людину, що стає важко відмахнутися від нього як «просто розпізнавання шаблонів» або «просто запам’ятовування», – сказав Бранвен. «Кожен, хто був упевнений, що те, що робить глибоке навчання, не схоже на інтелект, мав похитнути свою віру, щоб побачити, як далеко воно зайшло».