Как да откриете плагиатство на ChatGPT и защо е толкова трудно

Чатботовете са горещи неща в момента и ChatGPT е главен сред тях. Но благодарение на това колко силни и човешки са отговорите му, академици, преподаватели и редактори се справят с нарастващата вълна от плагиатство и измама, генерирани от AI. Вашите стари инструменти за откриване на плагиатство може да не са достатъчни, за да надушат истинското от фалшивото.

В тази статия говоря малко за тази кошмарна страна на AI chatbots, разглеждам няколко онлайн инструмента за откриване на плагиатство и изследвам колко ужасна е станала ситуацията.

Много опции за откриване

Най-новата версия за стартиране от ноември 2022 г ChatGPT на OpenAI основно избута майсторството на чатбота в светлината на прожекторите. Това позволи на всеки обикновен Джо (или всеки професионалист) да генерира интелигентни, разбираеми есета или статии и да решава текстови математически задачи. За неосведомения или неопитния читател съдържанието, създадено от AI, може доста лесно да премине като легитимен текст, поради което учениците го обичат - и учителите го мразят.

Голямо предизвикателство с инструментите за писане с изкуствен интелект е способността им да използват естествен език и да използват нож с две остриета граматика за изграждане на уникално и почти индивидуализирано съдържание, дори ако самото съдържание е извлечено от a база данни. Това означава, че надпреварата за победа над измамите, базирани на изкуствен интелект, започва. Ето някои опции, които открих, които са налични в момента безплатно.

GPT-2 Изходен детектор идва направо от разработчика на ChatGPT OpenAI, за да демонстрира, че има бот, способен да открива текст на chatbot. Output Detector е лесен за използване — потребителите просто трябва да въведат текст в текстово поле и инструментът незабавно ще даде своята оценка за това колко вероятно е текстът да е от човек или не.

Още два инструмента, които имат чист потребителски интерфейс, са Writer AI детектор на съдържание и Съдържание в мащаб. Можете или да добавите URL за сканиране на съдържанието (само за запис), или ръчно да добавите текст. Резултатите получават процентен резултат за това колко вероятно е съдържанието да е създадено от хора.

GPTZero е домашно приготвен бета инструмент, хостван на Streamlit и създаден от студента от Принстънския университет Едуард Зен. Той се различава от останалите по начина, по който моделът „алгиатство“ (плагиатство, подпомагано от изкуствен интелект) представя своите резултати. GPTZero разбива показателите в объркване и спукване. Burstiness измерва общата произволност за всички изречения в даден текст, докато объркването измерва произволността в изречение. Инструментът присвоява число и на двата показателя - колкото по-малко е числото, толкова по-голяма е вероятността текстът да е създаден от бот.

Просто за забавление, включих Огромна тестова стая за езикови модели (GLTR), разработен от изследователи от MIT-IBM Watson AI Lab и Harvard Natural Language Processing Group. Подобно на GPTZero, той не представя крайните си резултати като ясно разграничение „човек“ или „бот“. GLTR основно използва ботове, за да идентифицира текст, написан от ботове, тъй като е по-малко вероятно ботовете да избират непредвидими думи. Следователно резултатите са представени като цветно кодирана хистограма, класираща текст, генериран от изкуствен интелект спрямо текст, генериран от хора. Колкото по-голямо е количеството непредвидим текст, толкова по-вероятно е текстът да е от човек.

Подлагайки ги на изпитание

Всички тези опции може да ви накарат да мислите, че сме в добра позиция с откриването на AI. Но за да тествам действителната ефективност на всеки от тези инструменти, исках да го изпробвам сам. Така че пуснах няколко примерни параграфа, които написах в отговор на въпроси, които също зададох на, в този случай, ChatGPT.

Първият ми въпрос беше прост: Защо закупуването на предварително компилиран компютър се гледа с недоволство? Ето как моите собствени отговори в сравнение с отговора от ChatGPT.

Както можете да видите, повечето от тези приложения можеха да кажат, че думите ми са истински, като първите три бяха най-точни. Но ChatGPT заблуди повечето от тези детекторни приложения с отговора си. Той отбеляза 99% човешки в приложението Writer AI Content Detector, за начало, и беше маркиран само като 36% фалшив от GPT-базиран детектор. GLTR беше най-големият нарушител, твърдейки, че собствените ми думи са еднакво вероятно да бъдат написани от човек, както и думите на ChatGPT.

Реших обаче да опитам още веднъж и този път отговорите бяха значително подобрени. Помолих ChatGPT да предостави обобщение на изследванията на Швейцарския федерален технологичен институт за предотвратяване на запотяването с помощта на златни частици. В този пример детекторните приложения свършиха много по-добра работа при одобряването на собствения ми отговор и откриването на ChatGPT.

Първите три теста наистина показаха силата си в този отговор. И докато на GLTR все още му беше трудно да възприеме собственото ми писане като човешко, този път поне успя да улови ChatGPT.

Затваряне

От резултатите на всяка заявка е очевидно, че онлайн детекторите за плагиатство не са перфектни. За по-сложни отговори или текстове (като в случая с втората ми подкана) е малко по-лесно за тези приложения да открият базираното на AI писане, докато по-простите отговори са много по-трудни извеждам. Но очевидно не е това, което бих нарекъл надеждно. Понякога тези инструменти за откриване ще класифицират погрешно статии или есета като генерирани от ChatGPT, което е проблем за учители или редактори, които искат да разчитат на тях за залавяне на измамници.

Разработчиците непрекъснато прецизират точността и фалшивите положителни проценти, но също така се подготвят за пристигането на GPT-3, който рекламира значително подобрен набор от данни и по-сложни възможности от GPT-2 (за които е обучен ChatGPT от).

На този етап, за да идентифицират съдържание, генерирано от AI, редакторите и преподавателите ще трябва да комбинират разум и малко човешка интуиция с един (или повече) от тези AI детектори. А за потребители на чатботове, които имат или са изкушени да използват чатботове като Chatsonic, ChatGPT, Notion или YouChat, за да представят своята „работа“ като законна — моля, не го правете. Повторното използване на съдържание, създадено от бот (който произхожда от фиксирани източници в неговата база данни), все още е плагиатство, независимо от това как го гледате.

Препоръки на редакторите

• Google Bard вече може да говори, но може ли да заглуши ChatGPT?
• ChatGPT: последните новини, спорове и съвети, които трябва да знаете
• Функцията за сърфиране в Bing на ChatGPT е деактивирана поради грешка в достъпа до платена стена
• 81% смятат, че ChatGPT е риск за сигурността, установи проучване
• Съперникът на Apple ChatGPT може автоматично да напише код вместо вас

Надградете начина си на животDigital Trends помага на читателите да следят забързания свят на технологиите с всички най-нови новини, забавни ревюта на продукти, проницателни редакционни статии и единствени по рода си кратки погледи.