Как GPT-3 тихо въвежда A.I. революция

За какво е полезно? Абсолютно всичко

Наскоро се обади Франсис Джервис, основателят на стартъп Augrented, използва GPT-3, за да помогне на хората, които се борят с наема си, да пишат писма за договаряне на отстъпки за наем. „Бих описал случая на използване тук като „прехвърляне на стил“, каза Джървис пред Digital Trends. „[Взема] точки от куршуми, които дори не е необходимо да са на перфектен английски, и [извежда] две до три изречения на официален език.“

Поддържан от този свръхмощен езиков модел, инструментът на Jervis позволява на наемателите да опишат ситуацията си и причината, поради която се нуждаят от споразумение с отстъпка. „Просто въведете няколко думи за това защо сте загубили доходи и след няколко секунди ще получите предложение за убедителен, официален параграф, който да добавите към писмото си“, твърди компанията.

Това е само върхът на айсберга. Кога Адитя Джоши, учен по машинно обучение и бивш инженер на Amazon Web Services, за първи път се натъкна на GPT-3, той беше толкова поразен от това, което видя, че създаде уебсайт, www.gpt3examples.com, за да следите най-добрите.

„Малко след като OpenAI обяви своя API, разработчиците започнаха да публикуват впечатляващи демонстрации на приложения, създадени с помощта на GPT-3,“ каза той пред Digital Trends. „Бяха удивително добри. Създадох [моя уебсайт], за да улесня общността да намира тези примери и да открива креативни начини за използване на GPT-3 за решаване на проблеми в техния собствен домейн.“

Напълно интерактивни синтетични персонажи с GPT-3 и https://t.co/ZPdnEqR0Hn 🎇

Те знаят кои са, къде са работили, кой е техният шеф и много повече. Това не е ботът на баща ви... pic.twitter.com/kt4AtgYHZL

— Тайлър Ластович (@tylerlastovich) 18 август 2020 г

Джоши посочва няколко демонстрации, които наистина са го впечатлили. Едно, а генератор на оформление, прави функционално оформление чрез генериране на JavaScript код от просто текстово описание. Искате ли бутон с надпис „Абонирайте се“ във формата на диня? Искате ли текст на банер с поредица от бутони в цветовете на дъгата? Просто ги обяснете в основен текст и генераторът на оформление на Sharif Shameem ще напише кода вместо вас. Друг, а GPT-3 базирана търсачка създаден от Paras Chopra, може да превърне всяко писмено запитване в отговор и URL връзка за предоставяне на повече информация. Друг, обратен на Франсис Джървис от Майкъл Тефула, превежда юридически документи на обикновен английски. Още една, от Рафаел Милиер, пише философски есета. И един друг, от Гверн Бранвен, може генерира творческа измислица.

„Не очаквах един езиков модел да се представи толкова добре при такъв разнообразен набор от задачи, от езиков превод и генериране до обобщаване на текст и извличане на обекти“, каза Джоши. „Вътре един от моите собствени експерименти, използвах GPT-3, за да предскажа реакциите на химическо горене и го направи изненадващо добре.

Още откъде идва това

Трансформиращите употреби на GPT-3 също не свършват дотук. Компютърен учен Тайлър Ластович е използвал GPT-3 за създават фалшиви хора, включително предистория, с които след това може да се взаимодейства чрез текст. Междувременно Андрю Мейн показа, че GPT-3 може да бъде използвани за превръщане на филмови заглавия в емотикони. Ник Уолтън, главен технологичен директор на Latitude, студиото зад генерираната от GPT текстова приключенска игра AI Dungeon наскоро направи същото, за да види дали може да се обърне по-дълги низове от текстово описание в емоджи. И Copy.ai, стартираща компания, която изгражда инструменти за копирайтинг с GPT-3, се възползва от модела докрай, с месечен периодични приходи от $67 000 от март - и скорошен кръг от финансиране от 2,9 милиона долара.

„Определено имаше изненада и много страхопочитание по отношение на креативността, за която хората са използвали GPT-3,“ Сандини Агарвал, ИИ изследовател на политиката за OpenAI каза пред Digital Trends. „Толкова много случаи на употреба са толкова креативни и в области, за които дори аз не бях предвидил, ще има много знания. Това е интересно да се види. Но като се има предвид това, GPT-3 - и цялата тази посока на изследване, която OpenAI преследваше - беше много с надеждата, че това ще ни даде ИИ. модел, който е с по-общо предназначение. Целият смисъл на ИИ с общо предназначение модел е [че би бил] един модел, който би могъл да направи всички тези различни ИИ. задачи.”

Много от проектите подчертават една от големите добавени стойности на GPT-3: липсата на обучение, което изисква. Машинното обучение е трансформиращо по всякакви начини през последните няколко десетилетия. Но машинното обучение изисква голям брой примери за обучение, за да може да изведе правилни отговори. GPT-3, от друга страна, има „способност за няколко изстрела“, която му позволява да бъде научен да прави нещо само с малка шепа примери.

Правдоподобна глупост

GPT-3 е много впечатляващ. Но това поставя и предизвикателства. Някои от тях са свързани с разходите: за услуги с голям обем като чатботове, които могат да се възползват от магията на GPT-3, инструментът може да е твърде скъп за използване. (Едно съобщение може да струва 6 цента, което, макар и да не разбива точно банката, със сигурност добавя.)

Други се отнасят до широко разпространената му наличност, което означава, че вероятно ще бъде трудно да се изгради стартиращ бизнес изключително около него, тъй като жестоката конкуренция вероятно ще намали маржовете.

Друга е липсата на памет; неговият контекстен прозорец работи с малко под 2000 думи наведнъж преди, като героя на Гай Пиърс във филма Спомен, паметта му се нулира. „Това значително ограничава дължината на текста, който може да генерира, приблизително до кратък абзац на заявка“, каза Ластович. „Практически казано, това означава, че не е в състояние да генерира дълги документи, докато все още помни какво се е случило в началото.“

Може би най-забележителното предизвикателство обаче е свързано и с най-голямата му сила: способностите му за конфабулация. Конфабулацията е термин, често използван от лекарите, за да опише начина, по който някои хора с проблеми с паметта могат да изфабрикува информация, която първоначално изглежда убедителна, но която не издържа непременно на по-внимателна проверка проверка. Способността на GPT-3 да конфабулира, в зависимост от контекста, е сила и слабост. За творчески проекти може да бъде страхотно, позволявайки му да се занимава с теми, без да се интересува от нещо толкова светско като истината. За други проекти може да е по-трудно.

Франсис Джервис от Augrented се позовава на способността на GPT-3 да „генерира правдоподобни глупости“. Ник Уолтън от AI Dungeon каза: „GPT-3 е много добър в писането на творчески текст, който изглежда сякаш е бил написан от човек... Един от слабостите обаче са, че често може да пише, сякаш е много уверено - дори и да няма представа какъв е отговорът на въпросът е."

Обратно в китайската стая

В това отношение GPT-3 ни връща на познатата основа на китайската стая на Джон Сърл. През 1980 г. Сърл, философ, публикува един от най-известните A.I. мисловни експерименти, фокусиран върху темата „разбиране“. „Китайската стая“ ни кара да си представим човек, затворен в стая с маса написани на език, който не разбира. Всичко, което разпознават, са абстрактни символи. Стаята също така съдържа набор от правила, които показват как един набор от символи съответства на друг. Като се има предвид поредица от въпроси, на които трябва да се отговори, обитателят на стаята трябва да свърже символите на въпроси със символите на отговорите. След като повтарят тази задача много пъти, те стават умели в изпълнението й - въпреки че нямат представа какво означава който и да е набор от символи, а само че единият съответства на другия.

GPT-3 е свят далеч от видовете лингвистичен ИИ. които съществуват по времето, когато Сърл пише. Въпросът за разбирането обаче е трънлив както винаги.

„Това е много противоречива област на разпит, както съм сигурен, че знаете, защото има толкова много различни мнения относно това дали като цяло езиковите модели … някога ще имат [истинско] разбиране“, каза Sandhini от OpenAI Агарвал. „Ако ме попитате за GPT-3 в момента, той се представя много добре понякога, но не много добре друг път. Има тази произволност по начин относно това колко смислен може да ви изглежда изходът. Понякога може да бъдете удивени от резултата, а понякога резултатът ще бъде просто безсмислен. Като се има предвид това, в момента според мен … GPT-3 не изглежда да има разбиране.“

Допълнителен обрат в експеримента с китайската стая днес е, че GPT-3 не се програмира на всяка стъпка от малък екип от изследователи. Това е масивен модел, който е обучен на огромен набор от данни, състоящ се от, добре, интернет. Това означава, че може да вземе изводи и пристрастия, които могат да бъдат кодирани в текст, намерен онлайн. Чували ли сте израза, че сте средно сред петте души, с които се заобикаляте? Е, GPT-3 беше обучен на почти необозрими количества текстови данни от множество източници, включително книги, Wikipedia и други статии. От това той се научава да предсказва следващата дума във всяка последователност, като претърсва данните си за обучение, за да види комбинации от думи, използвани преди. Това може да има непредвидени последици.

Хранене на стохастичните папагали

Това предизвикателство с големи езикови модели беше подчертано за първи път в a новаторска хартия по темата за така наречените стохастични папагали. Стохастичен папагал – термин, измислен от авторите, които включват сред своите редици бившия съпредседател на етичния AI на Google екип, Timnit Gebru — се отнася до голям езиков модел, който „случайно [свързва] заедно последователности от езикови форми, които е наблюдавал в своите обширни данни за обучение, според вероятностна информация за това как се комбинират, но без никаква препратка към смисъла.”

„След като сте били обучени в голяма част от интернет, важно е да признаете, че той ще носи някои от своите пристрастия,“ Алберт Гоци, друг потребител на GPT-3, каза пред Digital Trends. „Знам, че екипът на OpenAI работи усилено за смекчаване на това по няколко различни начина, но бих очаквал това да бъде проблем за [известно] време.“

Контрамерките на OpenAI за защита срещу пристрастия включват филтър за токсичност, който филтрира определен език или теми. OpenAI също така работи върху начини за интегриране на човешка обратна връзка, за да може да посочи в кои области да не се отклонява. Освен това екипът контролира достъпа до инструмента, така че определени отрицателни употреби на инструмента да не получат достъп.

„Една от причините, поради които може би не сте виждали твърде много от тези злонамерени потребители, е, че имаме интензивен вътрешен процес на преглед“, каза Агарвал. „Начинът, по който работим, е, че всеки път, когато искате да използвате GPT-3 в продукт, който действително ще бъде внедрен, вие трябва да преминете през процес, при който екип - като екип от хора - всъщност преглежда как искате да използвате то. … След това, след като се уверите, че не е нещо злонамерено, ще ви бъде предоставен достъп.“

Някои от това обаче са предизвикателства - не на последно място защото пристрастието не винаги е ясен случай на използване на определени думи. Джервис отбелязва, че понякога неговите съобщения за наем GPT-3 могат да „клонят към стереотипен пол [или] класа предположения." Оставен без надзор, той може да приеме полова идентичност на субекта в писмо за наем въз основа на неговото семейство роля или работа. Това може да не е най-тъжният пример за ИИ. пристрастие, но подчертава какво се случва, когато големи количества данни бъдат погълнати и след това вероятностно повторно сглобени в езиков модел.

„Пристрастията и потенциалът за изрични връщания абсолютно съществуват и изискват усилия от страна на разработчиците, за да бъдат избегнати“, каза Тайлър Ластович. „OpenAI наистина маркира потенциално токсични резултати, но в крайна сметка добавя отговорност, за която клиентите трябва да помислят добре, преди да пуснат модела в производство. Особено труден крайен случай за развитие е склонността на модела да лъже - тъй като той няма концепция за вярна или невярна информация.

Езикови модели и бъдещето на ИИ

Девет месеца след дебюта си, GPT-3 със сигурност оправдава таксуването си като промяна на играта. Това, което някога беше чисто потенциално, се оказа потенциално реализиран. Броят на интригуващите случаи на използване на GPT-3 подчертава как един генериращ текст ИИ. е много по-гъвкав, отколкото това описание може да предполага.

Не че това е новото дете в квартала тези дни. По-рано тази година GPT-3 беше изпреварен като най-големия езиков модел. Google Brain дебютира с нов езиков модел с около 1,6 трилиона параметри, което го прави девет пъти по-голям от предлагането на OpenAI. Нито пък е вероятно това да е краят на пътя за езиковите модели. Това са изключително мощни инструменти - с потенциал да променят обществото, потенциално за добро и за лошо.

Със сигурност съществуват предизвикателства с тези технологии и те са тези, с които компании като OpenAI, независими изследователи и други трябва да продължат да се справят. Но взето като цяло, трудно е да се спори, че езиковите модели не се превръщат в една от най-интересните и важни граници на изследванията на изкуствения интелект.

Кой би си помислил, че текстовите генератори могат да бъдат толкова важни? Добре дошли в бъдещето на изкуствения интелект.

Препоръки на редакторите

• Аналогов AI? Звучи налудничаво, но това може да е бъдещето
• Прочетете зловещо красивото „синтетично писание“ на A.I. който мисли, че е Бог
• Алгоритмична архитектура: Трябва ли да оставим A.I. проектират сгради за нас?
• Жени с Байт: Планът на Вивиен Минг за решаване на „объркани човешки проблеми“ с ИИ.
• Защо обучението на роботи да играят на криеница може да бъде ключът към ИИ от следващо поколение