GPT-3: новая нейронная сеть OpenAI, генерирующая текст, уже здесь

Когда в 2019 году был создан алгоритм генерации текста GPT-2, его назвали одним из самыхопасныйА.И. алгоритмы в истории. Фактически, некоторые утверждали, что это настолько опасно, что его никогда не следует публиковать (спойлер: это было так), иначе это приведет к «робот апокалипсис». Этого, конечно, не произошло. GPT-2 в конечном итоге был представлен публике, и после того, как он не уничтожил мир, его создатели перешли к следующему делу. Но как реализовать самый опасный из когда-либо созданных алгоритмов?

Содержание

Сказка о ленте
Размер имеет значение
Пройти тест Тьюринга?

Ответ, по крайней мере на бумаге, прост: как и в сиквеле любого успешного фильма, вы делаете что-то большее, круче и дороже. Только один ксеноморф в первом Чужак? Включите их целое гнездо в сиквел, Инопланетяне. Всего лишь одна-единственная почти неразрушимая машина, отправленная обратно из будущего в Терминатор? Дайте зрителям возможность разобраться с двумя из них. Терминатор 2: Судный день.

ОпенАИ

То же самое относится и к А.И. - в этом случае,

ГПТ-3, недавно выпущенная нейронная сеть для обработки естественного языка, созданная OpenAI, исследовательской лабораторией искусственного интеллекта, которая когда-то была (но больше нет), спонсируемый генеральным директором SpaceX и Tesla Илоном Маском.

Рекомендуемые видео

GPT-3 — последняя из серии нейронных сетей, генерирующих текст. Название GPT расшифровывается как «Генераторный предварительно обученный трансформатор», что является отсылкой к модели 2017 года. Инновация Google под названием Трансформер который может определить вероятность того, что определенное слово появится среди окружающих слов. Подача нескольких предложений, например, начало новостной статьи, предварительно обученной языковой модели GPT. может генерировать убедительно точные продолжения, даже включая формулировку сфабрикованных кавычки.

Вот почему некоторые беспокоятся, что он может оказаться опасным, помогая создавать ложный текст, который, например, дипфейки, мог Помогите распространить фейковые новости в Интернете. Теперь, с GPT-3, он стал больше и умнее, чем когда-либо.

Сказка о ленте

GPT-3, как можно понять из сравнения «истории с лентой» в боксерском стиле, является настоящим тяжеловесом среди соперников. Оригинальный GPT OpenAI 2018 года имел 110 миллионов параметров, относящихся к весам соединений, которые позволяют нейронной сети обучаться. GPT-2 2019 года, вызвавший большую часть предыдущих шумихи по поводу своих потенциальных вредоносных приложений, обладал 1,5 миллиарда параметров. Прошлый месяцMicrosoft представила крупнейшую на тот момент в мире аналогичную предварительно обученную языковую модель, содержащую 17 миллиардов параметров. Для сравнения, чудовищный GPT-3 2020 года обладает поразительным 175 миллиардов параметры. Сообщается, что обучение стоило около 12 миллионов долларов.

«Сила этих моделей в том, что для успешного предсказания следующего слова они в конечном итоге изучают действительно мощный мир. модели, которые можно использовать для самых разных интересных вещей», — Ник Уолтон, технический директор студии Latitude. позади А.И. Подземелье, текстовая приключенческая игра, созданная искусственным интеллектом на базе GPT-2, рассказала Digital Trends. «Вы также можете точно настроить базовые модели, чтобы сформировать поколение в определенном направлении, сохраняя при этом знания, полученные моделью в ходе предварительного обучения».

Вычислительные ресурсы, необходимые для реального использования GPT-3 в реальном мире, делают его крайне непрактичным.

Гверн Бранвен, комментатор и исследователь, пишущий о психологии, статистике и технологиях, рассказал Digital Trends, что предварительно обученная языковая модель, которую представляет GPT, становится «все более важной частью любой задачи машинного обучения, касающейся по тексту. Точно так же, как [стандартным предложением] для многих задач, связанных с изображениями, стало «использовать [сверточная нейронная сеть], многие задачи, связанные с языком, стали «использовать точно настроенную [языковую сеть]». модель.'"

OpenAI, которая отказалась комментировать эту статью, — не единственная компания, проделавшая впечатляющую работу в области обработки естественного языка. Как уже упоминалось, Microsoft выступила с собственной блестящей работой. ФейсбукТем временем компания активно инвестирует в технологии и добилась таких прорывов, как БлендерБот, крупнейший в истории чат-бот с открытым исходным кодом и открытым доменом. По мнению оценщиков, он превосходит других с точки зрения вовлеченности, а также кажется более человечным. Любой, кто пользовался компьютером в последние несколько лет, знает, что машины понимают нас лучше, чем когда-либо, и причина тому — обработка естественного языка.

Размер имеет значение

Но GPT-3 от OpenAI по-прежнему выделяется своими рекордными масштабами. «GPT-3 вызывает ажиотаж в первую очередь из-за своего размера», — говорит Джо Дэвисон, инженер-исследователь из компании OpenAI. Обнимающее лицо, стартап, работающий над улучшением обработки естественного языка путем разработки инструментов с открытым исходным кодом и проведения фундаментальных исследований, рассказал Digital Trends.

Большой вопрос в том, для чего все это будет использовано. GPT-2 нашел множество применений в различных системах генерации текста.

Дэвисон выразил некоторую осторожность по поводу того, что GPT-3 может быть ограничен своим размером. «Команда OpenAI, несомненно, раздвинула границы того, насколько большими могут быть эти модели, и показала, что их расширение снижает нашу зависимость от данных для конкретных задач в будущем», — сказал он. «Однако вычислительные ресурсы, необходимые для фактического использования GPT-3 в реальном мире, делают его крайне непрактичным. Поэтому, хотя работа, безусловно, интересна и познавательна, я бы не назвал ее большим шагом вперед в этой области».

Однако другие с этим не согласны. «Сообщество [internal-link post_id="NN"]искусственного интеллекта[/internal-link] уже давно заметило, что объединение все более крупных моделей с все большим количеством данных дает почти предсказуемое улучшение мощности этих моделей, очень похоже на закон Мура о масштабировании вычислительной мощности», — Янник Килчер, специалист по искусственному интеллекту. Исследователь ВОЗ ведет канал на YouTube, рассказал Digital Trends. «Тем не менее, как и в случае с законом Мура, многие предполагают, что мы подошли к концу возможности улучшать языковые модели, просто масштабируя их. и для того, чтобы получить более высокую производительность, нам нужно будет сделать существенные изобретения с точки зрения новой архитектуры или обучения методы. GPT-3 показывает, что это не так, и способность повышать производительность просто за счет масштабирования кажется неизменной — и конца этому не видно».

Пройти тест Тьюринга?

Бранвен предполагает, что такие инструменты, как GPT-3, могут стать серьезной разрушительной силой. «Один из способов подумать об этом таков: какие работы включают в себя взятие фрагмента текста, его преобразование и создание другого фрагмента текста?» - сказала Бранвен. «Любая работа, которая описывается этим, например, медицинское кодирование, выставление счетов, секретари, служба поддержки клиентов и многое другое, будет хорошей целью для тонкой настройки GPT-3 и замены этого человека. Очень многие работы в той или иной степени связаны с «копированием полей из одной электронной таблицы или PDF-файла в другую электронную таблицу или PDF-файл», а также с подобной офисной автоматизацией, которая слишком хаотична, чтобы ее можно было понять. легко написать обычную программу для замены, она будет уязвима для GPT-3, поскольку она может изучить все исключения и различные соглашения и работать так же хорошо, как человек. бы."

В конечном счете, обработка естественного языка может быть лишь частью ИИ, но, возможно, она затрагивает суть мечты об искусственном интеллекте так, как это делают немногие другие дисциплины в этой области. знаменитый тест Тьюринга, одна из плодотворных дискуссий, положивших начало этой области, касается проблемы обработки естественного языка: можете ли вы создать искусственный интеллект? который может убедительно выдать себя за человека? Последняя работа OpenAI, безусловно, способствует достижению этой цели. Теперь остается только посмотреть, какое применение найдут для него исследователи.

«Я думаю, дело в том, что текст GPT-2 может так легко сойти за человеческий, что становится все труднее отмахнуться от него как от «просто распознавания образов» или «просто запоминания», — сказал Бранвен. «Любой, кто был уверен, что то, что делает глубокое обучение, не имеет ничего общего с интеллектом, должен был поколебать свою веру, чтобы увидеть, как далеко оно зашло».