Jak GPT-3 po cichu wprowadza do sztucznej inteligencji Rewolucja

Do czego to jest dobre? Absolutnie wszystko

Niedawno Francis Jervis, założyciel startupu o nazwie Uwierzytelnione, korzystał z GPT-3, aby pomóc osobom mającym problemy z czynszem w pisaniu listów negocjujących obniżki czynszu. „Opisałbym ten przypadek użycia jako «transfer stylu»” – Jervis powiedział Digital Trends. „[Wprowadza] wypunktowania, które nie muszą być nawet napisane w doskonałej angielszczyźnie, i [wypisuje] dwa do trzech zdań w języku formalnym”.

Oparte na tym niezwykle wydajnym modelu językowym narzędzie Jervis pozwala najemcom opisać swoją sytuację i powód, dla którego potrzebują zniżki. „Wystarczy wpisać kilka słów o tym, dlaczego utraciłeś dochody, a za kilka sekund otrzymasz przekonujący, formalny akapit, który możesz dodać do swojego listu” – twierdzi firma.

To tylko wierzchołek góry lodowej. Gdy Aditya Joshi, naukowiec zajmujący się uczeniem maszynowym i były inżynier Amazon Web Services, po raz pierwszy zetknął się z GPT-3. To, co zobaczył, był tak zachwycony, że założył stronę internetową, www.gpt3examples.com, aby śledzić najlepszych.

„Wkrótce po ogłoszeniu przez OpenAI swojego API programiści zaczęli publikować na Twitterze imponujące demonstracje aplikacji zbudowanych przy użyciu GPT-3” – powiedział Digital Trends. „Były zadziwiająco dobre. Stworzyłem [moją stronę internetową], aby ułatwić społeczności znalezienie tych przykładów i odkrycie kreatywnych sposobów wykorzystania GPT-3 do rozwiązywania problemów we własnej domenie.

W pełni interaktywne syntetyczne osoby z GPT-3 i https://t.co/ZPdnEqR0Hn 🎇

Wiedzą, kim są, gdzie pracowali, kim jest ich szef i wiele więcej. To nie jest bot twojego ojca… pic.twitter.com/kt4AtgYHZL

— Tyler Lastovich (@tylerlastovich) 18 sierpnia 2020 r

Joshi wskazuje na kilka dem, które naprawdę wywarły na niego wpływ. Jeden a generator układu, renderuje układ funkcjonalny, generując kod JavaScript na podstawie prostego opisu tekstowego. Chcesz przycisk z napisem „subskrybuj” w kształcie arbuza? Masz ochotę na tekst banera z serią przycisków w kolorach tęczy? Po prostu wyjaśnij je podstawowym tekstem, a generator układu Sharifa Shameema napisze kod za Ciebie. Inny, A Wyszukiwarka oparta na GPT-3 stworzony przez Parasa Choprę, może zamienić każde pisemne zapytanie w odpowiedź i link URL umożliwiający dostarczenie dodatkowych informacji. Kolejna, odwrotność dzieła Francisa Jervisa Michaela Tefuli, tłumaczy dokumenty prawne na zwykły angielski. Jeszcze inny, autorstwa Raphaëla Millière’a, pisze eseje filozoficzne. I jeszcze jeden, autorstwa Gwern Branwen, może generować twórczą fikcję.

„Nie spodziewałem się, że pojedynczy model językowy będzie tak dobrze radził sobie z tak różnorodnym zakresem zadań, od tłumaczenia i generowania języka po streszczanie tekstu i wyodrębnianie jednostek” – powiedział Joshi. "W jeden z moich własnych eksperymentów, użyłem GPT-3 do przewidywania reakcji spalania chemicznego i spisał się zaskakująco dobrze”.

Więcej, skąd to się wzięło

Na tym nie kończą się transformacyjne zastosowania GPT-3. Informatyk Tylera Lastovicha użył GPT-3 do twórz fałszywych ludzi, w tym historię, z którymi można następnie wchodzić w interakcję za pomocą tekstu. Tymczasem Andrew Mayne pokazał, że GPT-3 może być służy do przekształcania tytułów filmów w emoji. Nicka Waltona, dyrektor ds. technologii w Latitude, studiu stojącym za tekstową grą przygodową generowaną przez GPT Loch AI ostatnio zrobiłem to samo, żeby zobaczyć, czy da się obrócić dłuższe ciągi opisu tekstowego do emoji. Natomiast Copy.ai, start-up tworzący narzędzia do copywritingu w oparciu o GPT-3, wykorzystuje ten model do maksimum w ramach miesięcznej stałe przychody w wysokości 67 000 USD według stanu na marzec – i niedawnej rundy finansowania w wysokości 2,9 miliona dolarów.

„Zdecydowanie było zaskoczenie i wielki podziw pod względem kreatywności, do której ludzie używali GPT-3” Sandhini Agarwal, sztuczna inteligencja badacz polityki OpenAI powiedział Digital Trends. „Wiele przypadków użycia jest po prostu kreatywnych i w dziedzinach, o których nawet ja nie przewidywałem, miałbym dużą wiedzę. To ciekawe do zobaczenia. Jednak biorąc to pod uwagę, GPT-3 – i cały ten kierunek badań, jaki podążało OpenAI – wiązał się głównie z nadzieją, że da nam to sztuczną inteligencję. model bardziej uniwersalny. Cały sens uniwersalnej sztucznej inteligencji. model to [że byłby to] jeden model, który mógłby wykonać wszystkie te różne sztuczną inteligencję. zadania.”

Wiele projektów podkreśla jedną z największych wartości dodanych GPT-3: brak wymaganego szkolenia. W ciągu ostatnich kilku dekad uczenie maszynowe zmieniło się pod wieloma względami. Jednak uczenie maszynowe wymaga dużej liczby przykładów szkoleniowych, aby móc generować prawidłowe odpowiedzi. Z drugiej strony GPT-3 ma „możliwość kilku strzałów”, co pozwala nauczyć go robić coś na podstawie zaledwie kilku przykładów.

Prawdopodobna bzdura

GPT-3 robi ogromne wrażenie. Ale to też stwarza wyzwania. Niektóre z nich dotyczą kosztów: w przypadku usług masowych, takich jak chatboty, które mogłyby skorzystać z magii GPT-3, narzędzie może być zbyt drogie w użyciu. (Pojedyncza wiadomość może kosztować 6 centów, co choć nie jest do końca bankructwem, z pewnością się sumuje.)

Inne wiążą się z jego powszechną dostępnością, co oznacza, że ​​prawdopodobnie trudno będzie zbudować startup wyłącznie wokół niego, ponieważ ostra konkurencja prawdopodobnie obniży marże.

Innym jest brak pamięci; jego okno kontekstowe wyświetlało wcześniej niecałe 2000 słów naraz, jak postać Guya Pierce’a w filmie Memento, jego pamięć zostaje zresetowana. „To znacznie ogranicza długość tekstu, jaki może wygenerować, mniej więcej do krótkiego akapitu na żądanie” – powiedział Lastovich. „W praktyce oznacza to, że nie jest w stanie generować długich dokumentów, pamiętając jednocześnie, co wydarzyło się na początku.”

Jednak być może najbardziej zauważalne wyzwanie wiąże się również z jego największą siłą: zdolnościami konfabulacji. Konfabulacja to termin często używany przez lekarzy do opisania sposobu, w jaki potrafią to zrobić niektóre osoby z problemami z pamięcią fabrykuj informacje, które początkowo wydają się przekonujące, ale które niekoniecznie wytrzymują bliższą analizę kontrola. Zdolność GPT-3 do konfabulacji jest, w zależności od kontekstu, mocną i słabą stroną. W przypadku kreatywnych projektów może być świetny, pozwalając mu riffować na tematy bez troski o coś tak przyziemnego jak prawda. W przypadku innych projektów może to być trudniejsze.

Francis Jervis z Augrented odnosi się do zdolności GPT-3 do „generowania wiarygodnych bzdur”. Nick Walton z Loch AI powiedział: „GPT-3 jest bardzo dobry w pisaniu kreatywnego tekstu, który wydaje się, że mógł go napisać człowiek… Jednym z jego jednak jego wadą jest to, że często potrafi pisać tak, jakby był bardzo pewny siebie — nawet jeśli nie ma pojęcia, jaka jest odpowiedź na pytanie. Pytaniem jest."

Powrót do pokoju chińskiego

Pod tym względem GPT-3 przywraca nas do znanego terenu Chińskiego Pokoju Johna Searle’a. W 1980 roku opublikował filozof Searle jeden z najbardziej znanych A.I. eksperymenty myślowe, skupiający się na temacie „zrozumienia”. Pokój Chiński każe nam wyobrazić sobie osobę zamkniętą w pokoju z masą pism w języku, którego nie rozumie. Jedyne, co rozpoznają, to abstrakcyjne symbole. Pokój zawiera także zbiór zasad pokazujących, w jaki sposób jeden zestaw symboli odpowiada drugiemu. Biorąc pod uwagę serię pytań, na które należy odpowiedzieć, mieszkaniec pokoju musi dopasować symbole pytań do symboli odpowiedzi. Po wielokrotnym powtórzeniu tego zadania stają się w tym biegli – mimo że nie mają pojęcia, co oznacza którykolwiek z zestawów symboli, a jedynie to, że jeden odpowiada drugiemu.

GPT-3 to zupełnie inny świat niż językowa sztuczna inteligencja. które istniały w czasie, gdy pisał Searle. Jednakże kwestia zrozumienia jest równie drażliwa jak zawsze.

„Jest to bardzo kontrowersyjna dziedzina zadawania pytań, jak jestem pewien, że jesteś tego świadomy, ponieważ istnieje tak wiele różnych opinie na temat tego, czy ogólnie modele językowe… kiedykolwiek osiągnęłyby [prawdziwe] zrozumienie” – powiedziała Sandhini z OpenAI Agarwal. „Jeśli pytasz mnie teraz o GPT-3, czasami działa on bardzo dobrze, ale czasami niezbyt dobrze. Istnieje pewna losowość dotycząca tego, jak znaczący może wydawać się wynik. Czasami wynik może Cię zadziwić, a czasem będzie po prostu nonsensowny. Biorąc to pod uwagę, moim zdaniem w tej chwili… GPT-3 nie wydaje się rozumieć.”

Dodatkowym urozmaiceniem dzisiejszego eksperymentu Chinese Room jest to, że GPT-3 nie jest programowany na każdym kroku przez mały zespół badaczy. To ogromny model, który został wytrenowany na ogromnym zbiorze danych, na który składa się, cóż, Internet. Oznacza to, że może wychwytywać wnioski i uprzedzenia, które mogą być zakodowane w tekście znalezionym w Internecie. Czy słyszałeś stwierdzenie, że jesteś średnią pięciu osób, którymi się otaczasz? Cóż, GPT-3 został przeszkolony na niemal niezgłębionych ilościach danych tekstowych z wielu źródeł, w tym książek, Wikipedii i innych artykułów. Na tej podstawie uczy się przewidywać następne słowo w dowolnej sekwencji, przeszukując dane treningowe, aby zobaczyć używane wcześniej kombinacje słów. Może to mieć niezamierzone konsekwencje.

Karmienie papug stochastycznych

Na to wyzwanie związane z dużymi modelami językowymi po raz pierwszy zwrócono uwagę w artykule: A przełomowy papier na temat tzw. papug stochastycznych. Papuga stochastyczna — termin wymyślony przez autorów, do których zalicza się byłego współprzewodniczącego etycznego AI Google’a. zespół Timnit Gebru — odnosi się do dużego modelu językowego, który „przypadkowo [łączy] ze sobą sekwencje form językowych, które zaobserwował w swoich rozległych danych szkoleniowych, zgodnie z probabilistyczną informacją o tym, jak się łączą, ale bez żadnego odniesienia do znaczenia.”

„Po przeszkoleniu w dużej części Internetu należy zdać sobie sprawę, że będzie on zawierał pewne uprzedzenia” Alberta Gozziego, inny użytkownik GPT-3, powiedział Digital Trends. „Wiem, że zespół OpenAI ciężko pracuje nad złagodzeniem tego problemu na kilka różnych sposobów, ale spodziewam się, że będzie to problem przez [pewny] czas”.

Środki zaradcze OpenAI mające na celu ochronę przed stronniczością obejmują filtr toksyczności, który odfiltrowuje określony język lub tematy. OpenAI pracuje również nad sposobami integrowania informacji zwrotnych od ludzi, aby móc określić, w które obszary nie należy wchodzić. Ponadto zespół kontroluje dostęp do narzędzia, aby w przypadku niektórych negatywnych zastosowań narzędzia nie uzyskał dostępu.

„Jednym z powodów, dla których być może nie widziałeś zbyt wielu złośliwych użytkowników, jest fakt, że prowadzimy wewnętrznie intensywny proces sprawdzania” – powiedział Agarwal. „Nasza praca polega na tym, że za każdym razem, gdy chcesz użyć GPT-3 w produkcie, który faktycznie miałby zostać wdrożony, muszą przejść proces, w którym zespół – na przykład zespół ludzi – faktycznie sprawdza, w jaki sposób chcesz korzystać To. … Następnie, po upewnieniu się, że nie jest to coś złośliwego, uzyskasz dostęp.”

Niektóre z nich stanowią jednak wyzwanie – zwłaszcza dlatego, że stronniczość nie zawsze jest jednoznacznym przypadkiem użycia określonych słów. Jervis zauważa, że ​​czasami jego przekazy dotyczące czynszu GPT-3 mogą „skłonić się do stereotypowego stereotypu dotyczącego płci [lub] klasy założenia." Pozostawiony bez opieki może przyjąć tożsamość płciową podmiotu w oparciu o jego rodzinę rola lub praca. To może nie być najpoważniejszy przykład sztucznej inteligencji. stronniczość, ale podkreśla, co się dzieje, gdy duże ilości danych są wchłaniane, a następnie probabilistycznie składane w model językowy.

„Uprzedzenia i potencjał wyraźnych zysków absolutnie istnieją, a ich uniknięcie wymaga wysiłku ze strony programistów” – powiedział Tyler Lastovich. „OpenAI rzeczywiście sygnalizuje potencjalnie toksyczne wyniki, ale ostatecznie zwiększa odpowiedzialność, o której klienci muszą pomyśleć przed wprowadzeniem modelu do produkcji. Szczególnie trudnym przypadkiem skrajnym do opracowania jest skłonność modelu do kłamstwa – ponieważ nie ma on pojęcia o informacjach prawdziwych i fałszywych”.

Modele językowe i przyszłość sztucznej inteligencji

Dziewięć miesięcy po debiucie GPT-3 z pewnością spełnia swoje oczekiwania jako przełom. To, co kiedyś było czystym potencjałem, okazało się potencjałem urzeczywistnionym. Liczba intrygujących przypadków użycia GPT-3 podkreśla, w jaki sposób sztuczna inteligencja generująca tekst jest o wiele bardziej wszechstronny, niż mógłby sugerować ten opis.

Nie żeby to był obecnie nowy dzieciak w okolicy. Na początku tego roku GPT-3 został wyprzedzony jako największy model językowy. Google Brain zadebiutował z nowym modelem językowym z około 1,6 biliona parametrów, co czyni ją dziewięciokrotnie większą od oferty OpenAI. Nie jest to prawdopodobnie koniec drogi dla modeli językowych. Są to niezwykle potężne narzędzia, które mogą potencjalnie przekształcić społeczeństwo, potencjalnie na lepsze i na gorsze.

Z tymi technologiami z pewnością wiążą się wyzwania, którym firmy takie jak OpenAI, niezależni badacze i inne firmy muszą w dalszym ciągu stawić czoła. Jednak ogólnie rzecz biorąc, trudno argumentować, że modele językowe nie stają się jedną z najciekawszych i najważniejszych dziedzin badań nad sztuczną inteligencją.

Kto by pomyślał, że generatory tekstu mogą być tak ważne? Witamy w przyszłości sztucznej inteligencji.

Zalecenia redaktorów

• Analogowa sztuczna inteligencja? Brzmi szalenie, ale może to być przyszłość
• Przeczytaj niesamowicie piękne „syntetyczne pismo” AI. który myśli, że jest Bogiem
• Architektura algorytmiczna: czy powinniśmy pozwolić A.I. projektować dla nas budynki?
• Women with Byte: plan Vivienne Ming mający na celu rozwiązanie „bajerskich problemów ludzkich” za pomocą sztucznej inteligencji
• Dlaczego uczenie robotów zabawy w chowanego może być kluczem do sztucznej inteligencji nowej generacji?