Как GPT-3 незаметно открывает путь искусственному интеллекту Революция

Для чего это? Абсолютно все

Недавно Фрэнсис Джервис, основатель стартапа под названием Расширенный, использовал GPT-3, чтобы помочь людям, испытывающим трудности с арендной платой, написать письма с предложением о скидках на аренду. «Я бы описал этот вариант использования как «перенос стиля», — сказал Джервис Digital Trends. «[Он принимает] пункты списка, которые даже не обязательно должны быть на идеальном английском языке, и [выводит] два-три предложения на формальном языке».

Инструмент Джервиса, основанный на этой сверхмощной языковой модели, позволяет арендаторам описать свою ситуацию и причину, по которой им нужна скидка. «Просто введите пару слов о том, почему вы потеряли доход, и через несколько секунд вы получите убедительный формальный абзац, который можно добавить к вашему письму», — утверждает компания.

Это лишь верхушка айсберга. Когда Адитья Джоши, ученый в области машинного обучения и бывший инженер Amazon Web Services, впервые столкнулся с GPT-3 и был настолько потрясен увиденным, что создал веб-сайт, www.gpt3examples.com, чтобы следить за лучшими.

«Вскоре после того, как OpenAI анонсировала свой API, разработчики начали публиковать в Твиттере впечатляющие демонстрации приложений, созданных с использованием GPT-3», — рассказал он Digital Trends. «Они были удивительно хороши. Я создал [мой веб-сайт], чтобы сообщество могло легко находить эти примеры и открывать творческие способы использования GPT-3 для решения проблем в своей области».

Полностью интерактивные синтетические персонажи с GPT-3 и https://t.co/ZPdnEqR0Hn 🎇

Они знают, кто они, где работали, кто их начальник и многое другое. Это не бот твоего отца… pic.twitter.com/kt4AtgYHZL

— Тайлер Ластович (@tylerlastovich) 18 августа 2020 г.

Джоши указывает на несколько демо, которые действительно произвели на него впечатление. Один, а генератор макетов, визуализирует функциональный макет, генерируя код JavaScript из простого текстового описания. Хотите кнопку с надписью «подписаться» в форме арбуза? Хотите текст баннера с серией кнопок цветов радуги? Просто объясните их простым текстом, и генератор макетов Шарифа Шамима напишет за вас код. Другой, а Поисковая система на основе GPT-3 созданный Парасом Чопра, может превратить любой письменный запрос в ответ и URL-ссылку для предоставления дополнительной информации. Другой, обратная картина Фрэнсиса Джервиса Майкла Тефулы, переводит юридические документы на простой английский. Еще один, Рафаэль Мильер, пишет философские эссе. И еще один, автор Гверн Бранвен, может создавать творческую фантастику.

«Я не ожидал, что одна языковая модель будет так хорошо работать в таком разнообразном диапазоне задач: от языкового перевода и генерации до обобщения текста и извлечения сущностей», — сказал Джоши. "В один из моих собственных экспериментовЯ использовал GPT-3 для прогнозирования химических реакций горения, и он справился с этим на удивление хорошо».

Подробнее откуда это взялось

На этом трансформационное использование GPT-3 не заканчивается. Специалист в области информатики Тайлер Ластович использовал GPT-3 для создавать фальшивых людей, включая предысторию, с которой затем можно взаимодействовать с помощью текста. Между тем, Эндрю Мейн показал, что GPT-3 может быть используется для превращения названий фильмов в смайлы. Ник Уолтон, технический директор Latitude, студии, создавшей текстовую приключенческую игру, созданную с помощью GPT. ИИ-подземелье недавно сделал то же самое, чтобы посмотреть, сможет ли он повернуться более длинные строки текстового описания в смайлах. А Copy.ai, стартап, создающий инструменты копирайтинга с использованием GPT-3, максимально использует эту модель, ежемесячно публикуя регулярный доход в размере 67 000 долларов США по состоянию на март — и недавний раунд финансирования на сумму 2,9 миллиона долларов.

«Определенно, это было удивлением и большим трепетом с точки зрения творчества, для которого люди использовали GPT-3», Сандхини Агарвал, ИИ. Политический исследователь OpenAI рассказал Digital Trends. «Так много вариантов использования настолько креативны, и в областях, о которых даже я не предвидел, у него будет много знаний. Это интересно посмотреть. Но при этом GPT-3 — и все это направление исследований, которое проводил OpenAI — во многом основывалось на надежде, что это даст нам искусственный интеллект. модель, которая была более универсальной. Весь смысл универсального ИИ. Модель — это [что это будет] одна модель, которая могла бы выполнять все эти разные задачи ИИ. задания."

Многие проекты подчеркивают одно из больших преимуществ GPT-3: отсутствие требуемого обучения. За последние пару десятилетий машинное обучение произвело трансформацию во всех отношениях. Но машинное обучение требует большого количества обучающих примеров, чтобы иметь возможность выдавать правильные ответы. GPT-3, с другой стороны, обладает «способностью нескольких выстрелов», которая позволяет научить его что-то делать лишь с помощью небольшого количества примеров.

Правдоподобная чушь

GPT-3 очень впечатляет. Но это также создает проблемы. Некоторые из них связаны со стоимостью: для крупномасштабных сервисов, таких как чат-боты, которые могли бы извлечь выгоду из магии GPT-3, этот инструмент может оказаться слишком дорогим в использовании. (Одно сообщение может стоить 6 центов, что, хотя и не совсем обременительно, но, безусловно, в сумме складывается.)

Другие связаны с его широкой доступностью, а это означает, что, вероятно, будет сложно построить стартап исключительно на его основе, поскольку жесткая конкуренция, вероятно, приведет к снижению прибыли.

Другой — недостаток памяти; его контекстное окно раньше содержало чуть менее 2000 слов за раз, как у персонажа Гая Пирса в фильме сувенир, его память сбрасывается. «Это существенно ограничивает длину текста, который он может генерировать, примерно до короткого абзаца на запрос», — сказал Ластович. «Практически говоря, это означает, что он не может создавать длинные документы, помня при этом, что произошло в начале».

Однако, возможно, самая заметная проблема также связана с его самой сильной стороной: его способностями к конфабуляции. Конфабуляция — это термин, который врачи часто используют для описания того, как некоторые люди с проблемами памяти способны фабриковать информацию, которая поначалу кажется убедительной, но не обязательно выдерживает проверку при ближайшем рассмотрении. осмотр. Способность GPT-3 конфабулировать, в зависимости от контекста, является сильной и слабой стороной. Для творческих проектов это может быть здорово, позволяя размышлять над темами, не заботясь о чем-то столь же обыденном, как истина. Для других проектов все может быть сложнее.

Фрэнсис Джервис из Augrented ссылается на способность GPT-3 «генерировать правдоподобную чушь». Ник Уолтон из ИИ-подземелье сказал: «GPT-3 очень хорош в написании творческого текста, который кажется, будто его мог написать человек… Один из его Слабость, однако, заключается в том, что он часто может писать так, как будто он очень уверен в себе, даже если он понятия не имеет, что ответить на вопрос. вопрос в том».

Вернувшись в китайскую комнату

В этом отношении GPT-3 возвращает нас в знакомую нам «Китайскую комнату» Джона Сирла. В 1980 году философ Сирл опубликовал один из самых известных ИИ. мысленные эксперименты, сосредоточился на теме «понимание». «Китайская комната» предлагает нам представить человека, запертого в комнате с массой записей на языке, которого он не понимает. Все, что они признают, — это абстрактные символы. В комнате также содержится набор правил, которые показывают, как один набор символов соотносится с другим. Учитывая серию вопросов, на которые нужно ответить, обитатель комнаты должен сопоставить символы вопроса с символами ответа. Повторив эту задачу много раз, они становятся искусными в ее выполнении — даже несмотря на то, что они понятия не имеют, что означает тот или иной набор символов, а просто знают, что один соответствует другому.

GPT-3 — это мир, далекий от языкового ИИ. существовавший в то время, когда Сирл писал. Однако вопрос понимания остается столь же тернистым, как и прежде.

«Это очень спорная область вопросов, как я уверен, вы знаете, потому что существует так много разных мнения о том, будут ли в целом языковые модели… иметь [истинное] понимание», — сказал Сандхини из OpenAI. Агарвал. «Если вы спросите меня о GPT-3 прямо сейчас, то я скажу, что иногда он работает очень хорошо, но иногда не очень хорошо. В некотором смысле случайность влияет на то, насколько значимым может показаться вам результат. Иногда результат может вас ошеломить, а иногда результат будет просто бессмысленным. Учитывая это, сейчас, по моему мнению… GPT-3, похоже, не понимает».

Дополнительным преимуществом сегодняшнего эксперимента с «Китайской комнатой» является то, что GPT-3 не программируется на каждом этапе небольшой группой исследователей. Это массивная модель, обученная на огромном наборе данных, состоящем, например, из Интернета. Это означает, что он может улавливать выводы и предубеждения, которые могут быть закодированы в текст, найденный в Интернете. Вы слышали выражение, что вы — среднее из пяти человек, которыми вы себя окружаете? Что ж, GPT-3 обучался на почти непостижимых объемах текстовых данных из разных источников, включая книги, Википедию и другие статьи. Благодаря этому он учится предсказывать следующее слово в любой последовательности, просматривая свои обучающие данные, чтобы увидеть словосочетания, использованные ранее. Это может иметь непредвиденные последствия.

Кормление стохастических попугаев

Эта проблема с большими языковыми моделями была впервые освещена в революционная бумага на тему так называемых стохастических попугаев. Стохастический попугай — термин, придуманный авторами, включившими в свои ряды бывшего соруководителя отдела этического искусственного интеллекта Google. команда Тимнит Гебру — относится к большой языковой модели, которая «случайно [сшивает] вместе последовательности лингвистических форм, которые он наблюдал в своих обширных обучающих данных, в соответствии с вероятностной информацией о том, как они сочетаются, но без каких-либо ссылок. к смыслу».

«Поскольку вы прошли обучение работе с большой частью Интернета, важно признать, что он будет нести в себе некоторые из его предубеждений», Альберт Гоцци, другой пользователь GPT-3, рассказал Digital Trends. «Я знаю, что команда OpenAI усердно работает над смягчением этой проблемы несколькими различными способами, но я ожидаю, что это станет проблемой в течение некоторого времени».

Контрмеры OpenAI для защиты от предвзятости включают фильтр токсичности, который отфильтровывает определенные языки или темы. OpenAI также работает над способами интеграции обратной связи с людьми, чтобы иметь возможность указывать, в каких областях не следует отклоняться. Кроме того, команда контролирует доступ к инструменту, чтобы не допустить доступа к некоторым негативным случаям использования инструмента.

«Одна из причин, по которой вы, возможно, не заметили слишком много таких злонамеренных пользователей, заключается в том, что у нас действительно существует интенсивный внутренний процесс проверки», — сказал Агарвал. «Мы работаем так: каждый раз, когда вы хотите использовать GPT-3 в продукте, который будет фактически развернут, вы вам придется пройти через процесс, в ходе которого команда — например, команда людей — фактически рассматривает, как вы хотите использовать это. … Затем, если вы убедитесь, что это не что-то вредоносное, вам будет предоставлен доступ».

Однако кое-что из этого вызывает трудности — не в последнюю очередь потому, что предвзятость не всегда является очевидным случаем использования определенных слов. Джервис отмечает, что иногда его сообщения об аренде GPT-3 могут «иметь тенденцию к стереотипному гендерному [или] классовому предположения». Оставленный без присмотра, он может предположить гендерную идентичность субъекта в письме об аренде, основываясь на его семье. роль или работа. Возможно, это не самый печальный пример ИИ. предвзятость, но он подчеркивает, что происходит, когда большие объемы данных принимаются, а затем вероятностно повторно собираются в языковую модель.

«Предвзятость и потенциал явной прибыли абсолютно существуют и требуют усилий со стороны разработчиков, чтобы их избежать», — сказал Тайлер Ластович. «OpenAI действительно отмечает потенциально токсичные результаты, но в конечном итоге это добавляет ответственности, о которой клиенты должны тщательно подумать, прежде чем запускать модель в производство. Особенно трудным крайним случаем является склонность модели ко лжи, поскольку она не имеет понятия истинной или ложной информации».

Языковые модели и будущее ИИ

Спустя девять месяцев после своего дебюта GPT-3, безусловно, оправдывает свою репутацию, меняющую правила игры. То, что когда-то было чисто потенциалом, оказалось потенциально реализованным. Количество интригующих вариантов использования GPT-3 показывает, как ИИ, генерирующий текст, гораздо более универсален, чем можно предположить из этого описания.

Не то чтобы в эти дни это был новенький в квартале. Ранее в этом году GPT-3 уступила место крупнейшей языковой модели. Google Brain представил новую языковую модель с примерно 1,6 триллионами параметров, что в девять раз превышает размер предложения OpenAI. И это вряд ли станет концом пути для языковых моделей. Это чрезвычайно мощные инструменты, способные изменить общество, потенциально как к лучшему, так и к худшему.

С этими технологиями, безусловно, существуют проблемы, и такие компании, как OpenAI, независимые исследователи и другие, должны продолжать решать их. Но в целом трудно утверждать, что языковые модели не становятся одним из самых интересных и важных направлений исследований искусственного интеллекта.

Кто бы мог подумать, что генераторы текста могут быть настолько важны? Добро пожаловать в будущее искусственного интеллекта.

Рекомендации редакции

• Аналоговый ИИ? Это звучит безумно, но это может быть будущее
• Прочтите устрашающе красивое «синтетическое писание» ИИ. который думает, что это Бог
• Алгоритмическая архитектура: стоит ли позволять ИИ проектировать для нас здания?
• Женщины с байтом: план Вивьен Минг по решению «грязных человеческих проблем» с помощью искусственного интеллекта
• Почему обучение роботов игре в прятки может стать ключом к созданию искусственного интеллекта следующего поколения