Jak odhalit plagiát ChatGPT a proč je to tak obtížné

Chatboti jsou teď žhavá věc a ChatGPT je mezi nimi hlavní. Ale díky tomu, jak mocné a lidské odpovědi jsou, se akademici, pedagogové a redaktoři potýkají s rostoucí vlnou plagiátorství a podvádění generovaných umělou inteligencí. Vaše staré nástroje na odhalování plagiátů nemusí stačit k tomu, abyste vycítili skutečné od falešného.

V tomto článku mluvím trochu o této noční můře chatbotů s umělou inteligencí, prozkoumám několik online nástrojů pro odhalování plagiátů a prozkoumám, jak hrozná se situace stala.

Spousta možností detekce

Nejnovější vydání startupu z listopadu 2022 ChatGPT od OpenAI v podstatě vrhl zdatnost chatbotů do centra pozornosti. To umožnilo každému běžnému Joeovi (nebo jakémukoli profesionálovi) vytvářet chytré, srozumitelné eseje nebo články a řešit matematické problémy založené na textu. Pro neznalého nebo nezkušeného čtenáře může obsah vytvořený umělou inteligencí snadno projít jako legální text, proto jej studenti milují – a učitelé jej nenávidí.

Velkou výzvou pro nástroje pro psaní AI je jejich schopnost používat přirozený jazyk a dvousečný meč gramatiky k vytvoření jedinečného a téměř individualizovaného obsahu, i když samotný obsah byl čerpán z a databáze. To znamená, že závod o poražení podvádění založeného na AI je v plném proudu. Zde jsou některé možnosti, které jsem našel a které jsou nyní k dispozici zdarma.

Výstupní detektor GPT-2 pochází přímo od vývojáře ChatGPT OpenAI, aby prokázal, že má robota schopného detekovat text chatbota. Output Detector se snadno používá – uživatelé stačí zadat text do textového pole a nástroj okamžitě vyhodnotí, jaká je pravděpodobnost, že text pochází od člověka či nikoli.

Další dva nástroje, které mají čisté uživatelské rozhraní, jsou Writer AI Content Detector a Obsah v měřítku. Můžete buď přidat adresu URL pro skenování obsahu (pouze zapisovatel), nebo ručně přidat text. K výsledkům je přiřazeno procentuální skóre toho, jak je pravděpodobné, že obsah vytvořil člověk.

GPTZero je domácí beta nástroj hostovaný na Streamlit a vytvořený studentem Princetonské univerzity Edwardem Zen. Liší se od ostatních v tom, jak model „algiarismu“ (plagiátorství s pomocí AI) prezentuje své výsledky. GPTZero rozbíjí metriky do zmatku a burstity. Burstiness měří celkovou náhodnost pro všechny věty v textu, zatímco perplexity měří náhodnost ve větě. Nástroj přiřadí číslo oběma metrikám – čím nižší číslo, tím větší pravděpodobnost, že text vytvořil robot.

Jen pro zajímavost jsem zařadil Obří jazyková zkušebna (GLTR), vyvinutý výzkumníky z MIT-IBM Watson AI Lab a Harvard Natural Language Processing Group. Stejně jako GPTZero neprezentuje své konečné výsledky jako jasné rozlišení mezi „člověkem“ nebo „botem“. GLTR v zásadě používá roboty k identifikaci textu napsaného roboty, protože je méně pravděpodobné, že budou vybírat nepředvídatelná slova. Proto jsou výsledky prezentovány jako barevně označený histogram, který hodnotí text vytvořený umělou inteligencí oproti textu vytvořenému člověkem. Čím větší množství nepředvídatelného textu, tím pravděpodobnější je text od člověka.

Dát je do testu

Všechny tyto možnosti vás mohou přimět si myslet, že s detekcí AI jsme na dobrém místě. Ale abych otestoval skutečnou účinnost každého z těchto nástrojů, chtěl jsem to vyzkoušet na vlastní kůži. Provedl jsem tedy několik vzorových odstavců, které jsem napsal jako odpověď na otázky, které jsem také položil, v tomto případě ChatGPT.

Moje první otázka byla jednoduchá: Proč je nákup předem sestaveného PC odsuzovaný? Zde je návod, jak mé vlastní odpovědi v porovnání s odpovědí od ChatGPT.

Jak můžete vidět, většina z těchto aplikací mohla říct, že má slova byla pravá, přičemž první tři byly nejpřesnější. Ale ChatGPT oklamal většinu těchto aplikací detektorů také svou reakcí. V aplikaci Writer AI Content Detector pro začátečníky dosáhl 99% lidského skóre a detektorem založeným na GPT byl označen pouze za 36% falešný. Největším pachatelem byl GLTR, který tvrdil, že moje vlastní slova byla stejně pravděpodobně napsána člověkem jako slova ChatGPT.

Rozhodl jsem se tomu však dát ještě jednu šanci a tentokrát se odezvy výrazně zlepšily. Požádal jsem ChatGPT, aby poskytl shrnutí výzkumu Švýcarského federálního technologického institutu v oblasti proti zamlžování pomocí zlatých částic. V tomto příkladu odvedly aplikace detektorů mnohem lepší práci při schvalování mé vlastní odpovědi a detekci ChatGPT.

Nejlepší tři testy v této reakci skutečně ukázaly svou sílu. A i když měl GLTR stále problém vidět mé vlastní psaní jako lidské, alespoň tentokrát bylo dobré zachytit ChatGPT.

Zavírání

Z výsledků každého dotazu je zřejmé, že online detektory plagiátorství nejsou dokonalé. U složitějších odpovědí nebo písemností (jako v případě mé druhé výzvy) je to o něco jednodušší aby tyto aplikace detekovaly psaní založené na AI, zatímco jednodušší reakce jsou mnohem obtížnější odvodit. Ale je jasné, že to není to, co bych nazval spolehlivým. Občas tyto detekční nástroje nesprávně klasifikují články nebo eseje jako generované ChatGPT, což je problém pro učitele nebo editory, kteří se na ně chtějí spolehnout při chytání podvodníků.

Vývojáři neustále dolaďují přesnost a míru falešně pozitivních výsledků, ale také se připravují na příchod GPT-3, který nabízí výrazně vylepšenou datovou sadu a komplexnější možnosti než GPT-2 (z nichž je trénován ChatGPT z).

V tomto bodě, aby bylo možné identifikovat obsah generovaný AI, budou muset redaktoři a pedagogové spojit uvážlivost a trochu lidské intuice s jedním (nebo více) z těchto detektorů AI. A pro uživatele chatbotů, kteří mají nebo jsou v pokušení používat chatboty jako Chatsonic, ChatGPT, Notion nebo YouChat k předávání své „práce“ jako legitimní – prosím, nedělejte to. Přepracování obsahu vytvořeného robotem (který pochází z pevných zdrojů v rámci jeho databáze) je stále plagiát, bez ohledu na to, jak se na něj díváte.

Doporučení redakce

• Google Bard nyní umí mluvit, ale dokáže přehlušit ChatGPT?
• ChatGPT: nejnovější zprávy, kontroverze a tipy, které potřebujete vědět
• Funkce procházení Bing ChatGPT je deaktivována kvůli chybě v přístupu k paywallu
• 81 % si myslí, že ChatGPT je bezpečnostní riziko, zjistil průzkum
• Konkurent společnosti Apple ChatGPT za vás může automaticky napsat kód

Upgradujte svůj životní stylDigitální trendy pomáhají čtenářům mít přehled o rychle se měnícím světě technologií se všemi nejnovějšími zprávami, zábavnými recenzemi produktů, zasvěcenými úvodníky a jedinečnými náhledy.