Як GPT-3 тихо запроваджує A.I. Революція

Чим це корисно? Абсолютно все

Нещодавно подзвонив Френсіс Джервіс, засновник стартапу Augrented, використовував GPT-3, щоб допомогти людям, які борються з орендною платою, писати листи з переговорами про знижки на оренду. «Я б описав варіант використання тут як «перенесення стилю», — сказав Джервіс Digital Trends. «[Він бере] пункти, які навіть не обов’язково мають бути ідеальною англійською мовою, і [виводить] два-три речення офіційною мовою».

Завдяки цій надпотужній мовній моделі інструмент Джервіса дозволяє орендарям описати свою ситуацію та причину, чому їм потрібна знижка. «Просто введіть пару слів про те, чому ви втратили дохід, і за кілька секунд ви отримаєте запропонований переконливий офіційний абзац, який потрібно додати до свого листа», — стверджує компанія.

Це лише верхівка айсберга. Коли Адітя Джоші, науковець з машинного навчання та колишній інженер Amazon Web Services, уперше зіткнувся з GPT-3, він був настільки вражений побаченим, що створив веб-сайт, www.gpt3examples.com, щоб стежити за найкращими.

«Невдовзі після того, як OpenAI анонсувала свій API, розробники почали публікувати в Twitter вражаючі демонстрації програм, створених за допомогою GPT-3», — сказав він Digital Trends. «Вони були напрочуд хороші. Я створив [мій веб-сайт], щоб полегшити спільноті пошук цих прикладів і виявити креативні способи використання GPT-3 для вирішення проблем у власному домені».

Повністю інтерактивні синтетичні персонажі з GPT-3 і https://t.co/ZPdnEqR0Hn 🎇

Вони знають, хто вони, де працювали, хто їхній начальник і багато іншого. Це не бот твого батька… pic.twitter.com/kt4AtgYHZL

— Тайлер Ластовіч (@tylerlastovich) 18 серпня 2020 р

Джоші вказує на кілька демонстрацій, які справді вплинули на нього. Один, а генератор макетів, створює функціональний макет, генеруючи код JavaScript із простого текстового опису. Хочете кнопку з написом «Підписатися» у формі кавуна? Бажаєте текст на банері з рядом кнопок кольорів веселки? Просто поясніть їх основним текстом, і генератор макетів Шаріфа Шаміма напише код для вас. Інший, а Пошукова система на основі GPT-3 створений Парасом Чопра, може перетворити будь-який письмовий запит на відповідь і URL-посилання для надання додаткової інформації. Інший, зворотний до Френсіса Джервіса Майкла Тефули, перекладає юридичні документи простою англійською мовою. Ще один, Рафаель Мільєр, пише філософські есеї. І ще один, автор Гверн Бранвен, може створювати творчу фантастику.

«Я не очікував, що одна мовна модель так добре працюватиме з таким різноманітним рядом завдань, від перекладу й генерації мови до підсумовування тексту та вилучення об’єктів», — сказав Джоші. «В один із моїх власних експериментів, я використовував GPT-3 для прогнозування хімічних реакцій горіння, і він зробив це напрочуд добре».

Більше звідки це взялося

Трансформаційне використання GPT-3 також не закінчується. Інформатик Тайлер Ластович використовував GPT-3 до створювати фальшивих людей, включаючи передісторію, з якою потім можна взаємодіяти за допомогою тексту. Тим часом Ендрю Мейн показав, що GPT-3 може бути використовується для перетворення назв фільмів на емодзі. Нік Волтон, головний технічний директор Latitude, студії, яка розробляє текстову пригодницьку гру, створену за допомогою GPT AI Dungeon нещодавно робив те саме, щоб побачити, чи може він повернутись довші рядки текстового опису в емодзі. А Copy.ai, стартап, який створює інструменти для копірайтингу за допомогою GPT-3, використовує цю модель у повному обсязі, щомісяця регулярний дохід 67 000 доларів США станом на березень — і нещодавній раунд фінансування на суму 2,9 мільйона доларів.

«Безумовно, був сюрприз і великий благоговійний трепет з точки зору креативності, для якої люди використовували GPT-3», Сандіні Агарвал, А.І. Про це Digital Trends розповів дослідник політики OpenAI. «Стільки випадків використання настільки креативні, і в областях, про які навіть я не передбачив, він матиме багато знань. Це цікаво побачити. Але, як сказано, GPT-3 — і весь цей напрямок досліджень, який проводив OpenAI — дуже сподівалися, що це дасть нам ШІ. модель більш загального призначення. Вся суть універсального А.І. модель полягає в тому, що [це буде] одна модель, яка могла б створити всі ці різні ШІ. завдання».

Багато проектів підкреслюють одну з великих переваг GPT-3: відсутність необхідного навчання. За останні кілька десятиліть машинне навчання змінило всілякі аспекти. Але машинне навчання вимагає великої кількості навчальних прикладів, щоб мати можливість виводити правильні відповіді. GPT-3, з іншого боку, має «здібність до декількох пострілів», що дозволяє навчити його робити щось лише на невеликій кількості прикладів.

Правдоподібний бик***т

GPT-3 дуже вражає. Але це також створює проблеми. Деякі з них стосуються вартості: для великих сервісів, таких як чат-боти, які могли б отримати вигоду від магії GPT-3, інструмент може бути надто дорогим для використання. (Одне повідомлення може коштувати 6 центів, що, хоч і не зовсім зламує банк, безсумнівно додає.)

Інші пов’язують його широку доступність, тобто, ймовірно, буде важко створити стартап виключно на його основі, оскільки жорстка конкуренція, ймовірно, призведе до зниження маржі.

Інший – брак пам’яті; його контекстне вікно запускає трохи менше 2000 слів за раз раніше, як персонаж Гая Пірса у фільмі Пам'ять, пам’ять скидається. «Це значно обмежує довжину тексту, який він може створити, приблизно до короткого абзацу на запит», — сказав Ластович. «Практично кажучи, це означає, що він не може генерувати довгі документи, пам’ятаючи, що сталося на початку».

Однак, мабуть, найпомітніший виклик також пов’язаний з його найбільшою перевагою: його здатністю до конфабуляції. Конфабуляція – це термін, який лікарі часто використовують для опису того, як деякі люди з проблемами пам’яті можуть сфабрикувати інформацію, яка спочатку здається переконливою, але яка не обов’язково витримує ретельну перевірку огляд. Залежно від контексту здатність GPT-3 до конфабуляції є як сильною, так і слабкою стороною. Для творчих проектів це може бути чудовим, дозволяючи розбиратися на теми, не турбуючись про щось таке приземлене, як правда. Для інших проектів це може бути складніше.

Френсіс Джервіс з Augrented говорить про здатність GPT-3 «генерувати правдоподібну фігню». Нік Волтон з AI Dungeon сказав: «GPT-3 дуже добре вміє писати креативний текст, який, здається, міг бути написаний людиною… Один із його однак недоліки полягають у тому, що він часто може писати так, ніби він дуже впевнений — навіть якщо він не має уявлення про відповідь на питання є».

Назад у китайську кімнату

У зв’язку з цим GPT-3 повертає нас на звичну тему китайської кімнати Джона Серла. У 1980 р. опублікував філософ Серл один із найвідоміших А.І. мисленнєві експерименти, присвячений темі «розуміння». Китайська кімната просить нас уявити людину, замкнену в кімнаті з купою писань мовою, яку вони не розуміють. Все, що вони розпізнають, це абстрактні символи. Кімната також містить набір правил, які показують, як один набір символів відповідає іншому. Маючи ряд запитань, на які потрібно відповісти, мешканець кімнати повинен зіставити символи запитань із символами відповідей. Повторивши це завдання багато разів, вони стають вправними у його виконанні — навіть якщо вони поняття не мають, що означає той чи інший набір символів, лише те, що один відповідає іншому.

GPT-3 — це світ далеко від різновидів лінгвістичного штучного інтелекту. яка існувала в той час, коли Серл писав. Проте питання розуміння як ніколи непросте.

«Я впевнений, що ви знаєте, що це дуже суперечлива сфера запитань, оскільки існує дуже багато відмінностей думки щодо того, чи загалом мовні моделі … матимуть [справжнє] розуміння», – сказав Сандіні з OpenAI Агарвал. «Якщо ви зараз запитаєте мене про GPT-3, іноді він працює дуже добре, але іноді не дуже добре. Існує ця випадковість у певному сенсі того, наскільки значущим результат може здаватися вам. Іноді ви можете бути вражені результатом, а іноді результат буде просто безглуздим. Враховуючи це, зараз, на мій погляд... GPT-3, здається, не має розуміння».

Додатковою особливістю сучасного експерименту з китайською кімнатою є те, що GPT-3 не програмується на кожному кроці невеликою групою дослідників. Це масивна модель, яка була навчена на величезному наборі даних, який складається з Інтернету. Це означає, що він може підбирати висновки та упередження, які можуть бути закодовані в тексті, знайденому в Інтернеті. Ви чули вислів, що ви є середнім із п’яти людей, які вас оточують? Що ж, GPT-3 навчався на майже незбагненній кількості текстових даних із багатьох джерел, включаючи книги, Вікіпедію та інші статті. Завдяки цьому він вчиться передбачати наступне слово в будь-якій послідовності, переглядаючи дані навчання, щоб побачити комбінації слів, які використовувалися раніше. Це може мати непередбачені наслідки.

Годування стохастичних папуг

Ця проблема з великими мовними моделями вперше була висвітлена в a новаторський папір на тему так званих стохастичних папуг. Стохастичний папуга — термін, придуманий авторами, які включили до своїх рядів колишнього співкерівника етичного штучного інтелекту Google. team, Timnit Gebru — відноситься до великої мовної моделі, яка «випадково [зшиває] разом послідовності мовних форм, які він спостерігав у своїх величезних навчальних даних, відповідно до імовірнісної інформації про те, як вони поєднуються, але без будь-яких посилань до сенсу».

«Пройшовши навчання на великій частині Інтернету, важливо визнати, що він матиме деякі свої упередження», Альберт Гоцці, інший користувач GPT-3, розповів Digital Trends. «Я знаю, що команда OpenAI наполегливо працює над пом’якшенням цього декількома різними способами, але я сподіваюся, що це буде проблемою ще [деякий] час».

Контрзаходи OpenAI для захисту від упередженості включають фільтр токсичності, який відфільтровує певну мову чи теми. OpenAI також працює над способами інтеграції зворотного зв’язку людини, щоб мати можливість визначати, у які області не варто заблукати. Крім того, команда контролює доступ до інструменту, щоб певні негативні випадки використання інструменту не отримували доступу.

«Одна з причин, чому ви, мабуть, не бачили так багато цих зловмисників, полягає в тому, що ми дійсно маємо інтенсивний внутрішній процес перевірки», — сказав Агарвал. «Ми працюємо так: кожного разу, коли ви хочете використовувати GPT-3 у продукті, який буде фактично розгорнуто, ви потрібно пройти через процес, коли команда — наприклад, команда людей — фактично перевіряє, як ви хочете використовувати це. … Потім, переконавшись, що це не щось шкідливе, вам буде надано доступ».

Однак деякі з них є складними — не в останню чергу тому, що упередження не завжди є чітким випадком використання певних слів. Джервіс зазначає, що інколи його повідомлення про орендну плату GPT-3 можуть «тяжіти до стереотипного гендерного [або] класу припущення». Залишений без нагляду, він може припустити гендерну ідентичність суб’єкта в листі про оренду на основі його сім’ї роль або робота. Можливо, це не найгірший приклад А.І. упередженості, але він підкреслює, що відбувається, коли великі обсяги даних поглинаються, а потім імовірнісно збираються в мовній моделі.

«Упередженість і потенціал для явного повернення абсолютно існують і потребують зусиль від розробників, щоб уникнути», — сказав Тайлер Ластовіч. «OpenAI дійсно позначає потенційно токсичні результати, але в кінцевому підсумку це додає відповідальності, про яку клієнти повинні добре подумати, перш ніж запускати модель у виробництво. Особливо важким граничним випадком для розробки є схильність моделі брехати, оскільки вона не має поняття правдивої чи неправдивої інформації».

Мовні моделі та майбутнє А.І.

Через дев’ять місяців після свого дебюту GPT-3, безсумнівно, виправдовує свої вимоги як зміна правил гри. Те, що колись було чистим потенціалом, виявилося реалізованим потенціалом. Кількість інтригуючих випадків використання GPT-3 підкреслює, як штучний інтелект, що генерує текст. є набагато більш універсальним, ніж це опис може припустити.

Не те, щоб це нова дитина в блоці в ці дні. На початку цього року GPT-3 випередили як найбільшу мовну модель. Google Brain представив нову мовну модель з приблизно 1,6 трильйонами параметрів, що робить його в дев’ять разів більшим за пропозицію OpenAI. Це також не кінець шляху для мовних моделей. Це надзвичайно потужні інструменти, які можуть трансформувати суспільство як на краще, так і на гірше.

З цими технологіями, безумовно, існують проблеми, і їх мають продовжувати вирішувати такі компанії, як OpenAI, незалежні дослідники та інші. Але в цілому важко стверджувати, що мовні моделі не стають одним із найцікавіших і найважливіших рубежів досліджень штучного інтелекту.

Хто б міг подумати, що генератори тексту можуть бути такими надзвичайно важливими? Ласкаво просимо в майбутнє штучного інтелекту.

Рекомендації редакції

• Аналоговий ШІ? Це звучить божевільно, але це може бути майбутнє
• Прочитайте моторошно красиве «синтетичне писання» штучного інтелекту. що думає, що це Бог
• Алгоритмічна архітектура: чи повинні ми дозволити А.І. проектувати будівлі для нас?
• Жінки з Байтом: план Вів’єн Мін вирішити «безладні людські проблеми» за допомогою штучного інтелекту.
• Чому навчання роботів грати в хованки може стати ключем до Штучного інтелекту наступного покоління