ГПТ-3: Нова неуронска мрежа за генерисање текста ОпенАИ је ту

Када је 2019. креиран алгоритам за генерисање текста ГПТ-2, означен је као један од најопасно” А.И. алгоритми у историји. У ствари, неки су тврдили да је толико опасно да никада не би требало да буде објављено у јавности (спојлер: било је) да не би довело до „роботска апокалипса.” То се, наравно, никада није догодило. ГПТ-2 је на крају пуштен јавности, а након што није уништио свет, његови креатори су прешли на следећу ствар. Али како пратити најопаснији алгоритам икада створен?

Одговор је, барем на папиру, једноставан: баш као наставак сваког успешног филма, правите нешто што је веће, лошије и скупље. Само један ксеноморф у првом Алиен? Укључите их цело гнездо у наставак, Ванземаљци. Само једна скоро неуништива машина послата из будућности Терминатор? Дајте публици два од њих да се суоче са њима Терминатор 2: Судњи дан.

Исто важи и за А.И. - у овом случају, ГПТ-3, недавно објављена неуронска мрежа за обраду природног језика коју је креирао ОпенАИ, лабораторија за истраживање вештачке интелигенције која је некада била (

али не више) спонзорисали СпацеКс и извршни директор Тесле Елон Муск.

ГПТ-3 је најновији у низу неуронских мрежа које генеришу текст. Назив ГПТ је скраћеница за Генеративе Претраинед Трансформер, што се односи на 2017 Гуглова иновација названа Трансформер који може утврдити вероватноћу да ће се одређена реч појавити са околним речима. Нахрањен са неколико реченица, као што је почетак вести, ГПТ унапред обучени језички модел може да генерише убедљиво тачне наставке, укључујући и формулацију измишљених цитати.

Због тога су неки забринути да би то могло да се покаже као опасно, помажући да се генерише лажни текст који, нпр. деепфакес, могао помозите у ширењу лажних вести на мрежи. Сада, са ГПТ-3 је већи и паметнији него икад.

Прича о траци

ГПТ-3 је, као што би поређење „приче о траци“ у боксерском стилу јасно показало, прави наученик у тешкој категорији. Оригинални ОпенАИ ГПТ за 2018. имао је 110 милиона параметара, који се односе на тежине веза које омогућавају неуронској мрежи да учи. ГПТ-2 из 2019. године, који је изазвао већи део претходне галаме око својих потенцијалних злонамерних апликација, имао је 1,5 милијарди параметара. Прошлог месеца, Мицрософт је представио тада највећи слични претходно обучени језички модел на свету, који се може похвалити 17 милијарди параметара. За поређење, монструозни ГПТ-3 из 2020. има запањујуће 175 милијарди параметрима. Обука је наводно коштала око 12 милиона долара.

„Моћ ових модела је у томе што да би успешно предвидели следећу реч на крају уче заиста моћан свет модели који се могу користити за све врсте занимљивих ствари“, Ницк Валтон, главни технолошки директор Латитуде-а, студија иза А.И. Дунгеон, текстуалну авантуристичку игру генерисану вештачком интелигенцијом коју покреће ГПТ-2, рекао је за Дигитал Трендс. „Такође можете фино подесити основне моделе да бисте обликовали генерацију у одређеном правцу, а да притом задржите знање које је модел научио током пре-тренинга.

Гверн Бранвен, коментатор и истраживач који пише о психологији, статистици и технологији, рекао је за Дигитал Трендс да унапред обучени језички модел који ГПТ представља постао је „све критичнији део сваког задатка машинског учења који додирује на тексту. На исти начин на који су [стандардни предлог за] многе задатке у вези са сликом постали „користите а [конволуциона неуронска мрежа], многи задаци у вези са језиком постали су „користите фино подешен [језик модел.’”

ОпенАИ — који је одбио да коментарише овај чланак — није једина компанија која ради импресиван посао са обрадом природног језика. Као што је поменуто, Мајкрософт је иступио са неким сопственим блиставим радом. Фејсбук, у међувремену, увелико улаже у технологију и створио је пробој попут БлендерБот, највећи икада четбот отвореног кода и отвореног домена. Она надмашује друге у смислу ангажовања и такође се осећа људскије, према људским евалуаторима. Као што ће свако ко је користио рачунар у последњих неколико година знати, машине нас све боље разумеју него икада — а обрада природног језика је разлог зашто.

Величина је битна

Али ОпенАИ-јев ГПТ-3 и даље стоји сам у својој чистој рекордној скали. „ГПТ-3 изазива буку првенствено због своје величине,“ Јое Дависон, инжењер истраживања у Хуггинг Фаце, стартап који ради на унапређењу обраде природног језика развојем алата отвореног кода и спровођењем фундаменталних истраживања, рекао је за Дигитал Трендс.

Велико је питање чему ће све ово користити. ГПТ-2 је нашао свој пут у безброј употреба, користећи се за различите системе за генерисање текста.

Дејвисон је изразио извесну опрезност да би ГПТ-3 могао бити ограничен својом величином. „Тим у ОпенАИ-у је несумњиво померио границу колико велики ови модели могу бити и показао да њихово повећање смањује нашу зависност од података специфичних за задатак“, рекао је он. „Међутим, рачунарски ресурси потребни за стварно коришћење ГПТ-3 у стварном свету чине га изузетно непрактичним. Дакле, иако је рад свакако занимљив и проницљив, не бих то назвао великим кораком напред за ову област."

Други се, међутим, не слажу. „Заједница [интернал-линк пост_ид="НН"]вештачке интелигенције[/интернал-линк] дуго је приметила да комбиновање све већих модела са све више података доноси скоро предвидљива побољшања у снази ових модела, веома слично Муровом закону скалирања рачунарске снаге“, рекао је Ианниц Килцхер, АИ. истраживач СЗО води ИоуТубе канал, рекао је за Дигитал Трендс. „Ипак, као и Муров закон, многи су спекулисали да смо на крају могућности да побољшамо језичке моделе једноставним скалирањем и да бисмо постигли боље перформансе, морали бисмо да направимо значајне изуме у смислу нове архитектуре или обуке методе. ГПТ-3 показује да то није тачно и да способност да се перформансе једноставно прогурају кроз скалу изгледа непрекинуто – и да се заправо не назире крај.”

Положио Тјурингов тест?

Бранвен сугерише да би алати као што је ГПТ-3 могли да буду велика реметилачка сила. „Један од начина да се то замисли је, који послови укључују узимање дела текста, његову трансформацију и емитовање другог дела текста?“ рекла је Бранвен. „Сваки посао који се тиме описује — као што је медицинско кодирање, фактурисање, рецепционари, корисничка подршка, [и још много тога] био би добра мета за фино подешавање ГПТ-3 и замену те особе. Велики број послова је мање-више 'копирање поља из једне табеле или ПДФ-а у другу табелу или ПДФ', и та врста аутоматизације канцеларије, која је превише хаотична за лако написати нормалан програм за замену, био би рањив на ГПТ-3 јер може да научи све изузетке и различите конвенције и да ради као и људски би.”

На крају крајева, обрада природног језика може бити само један део АИ, али вероватно сече у срж снова вештачке интелигенције на начин на који то чини мало других дисциплина у овој области. Тхе чувени Тјурингов тест, једна од суштинских дебата које су покренуле ову област, је проблем обраде природног језика: Можете ли да изградите А.И. која се може убедљиво представити као личност? Најновији рад ОпенАИ-а свакако унапређује овај циљ. Сада остаје да се види шта ће истраживачи пронаћи за то.

„Мислим да је чињеница да ГПТ-2 текст може тако лако проћи за човека да је све тешко одбацити га као ’само препознавање шаблона’ или ’само памћење‘“, рекао је Бранвен. „Свакоме ко је био сигуран да ствари које дубоко учење ради нису ништа попут интелигенције, морало је да се поколеба вера да би видела докле се стигло.

Препоруке уредника

• Врхунски аутори захтевају плаћање од АИ фирми за коришћење њиховог рада
• Произвођач ЦхатГПТ-а ОпенАИ суочава се са истрагом ФТЦ-а због закона о заштити потрошача
• ОпенАИ гради нови тим како би спречио да суперинтелигентна вештачка интелигенција постане неваљала
• Креатор ЦхатГПТ-а жели да елиминише „халуцинације“ цхатбот-а
• ОпенАИ-јева нова апликација ЦхатГПТ је бесплатна за иПхоне и иПад