Cum să detectezi plagiatul ChatGPT și de ce este atât de dificil

Chatboții sunt lucruri fierbinți în acest moment și ChatGPT este principalul dintre ei. Dar datorită cât de puternice și umane sunt răspunsurile sale, academicienii, educatorii și editorii se confruntă cu valul în creștere de plagiat și înșelăciune generate de AI. Vechile dvs. instrumente de detectare a plagiatului ar putea să nu fie suficiente pentru a adulmeca realul din fals.

În acest articol, vorbesc puțin despre această latură de coșmar a chatbot-urilor AI, verific câteva instrumente online de detectare a plagiatului și explorez cât de gravă a devenit situația.

O mulțime de opțiuni de detectare

Cea mai recentă lansare din noiembrie 2022 a startup-ului ChatGPT de la OpenAI practic, a aruncat priceperea chatbot în lumina reflectoarelor. A permis oricărui Joe obișnuit (sau oricărui profesionist) să genereze eseuri sau articole inteligente și inteligibile și să rezolve probleme matematice bazate pe text. Pentru cititorul neconștient sau neexperimentat, conținutul creat de inteligență artificială poate trece cu ușurință drept un scris legitim, motiv pentru care studenții îl iubesc – iar profesorii îl urăsc.

O mare provocare cu instrumentele de scriere AI este capacitatea sabiei cu două tăișuri de a folosi limbajul natural și gramatica pentru a construi un conținut unic și aproape individualizat chiar dacă conținutul în sine a fost extras dintr-o Bază de date. Asta înseamnă că cursa pentru a învinge înșelăciunea bazată pe AI este în curs. Iată câteva opțiuni pe care le-am găsit și care sunt disponibile chiar acum gratuit.

Detector de ieșire GPT-2 vine direct de la dezvoltatorul ChatGPT OpenAI pentru a demonstra că are un bot capabil să detecteze textul chatbot. Detectorul de ieșire este ușor de utilizat — utilizatorii trebuie doar să introducă text într-un câmp de text, iar instrumentul va furniza imediat evaluarea asupra cât de probabil este ca textul să provină de la un om sau nu.

Încă două instrumente care au interfețe de utilizare curate sunt Detector de conținut Writer AI și Conținut la scară. Puteți fie să adăugați o adresă URL pentru a scana conținutul (numai scriitor) sau să adăugați manual text. Rezultatele primesc un scor procentual al probabilității ca conținutul să fie generat de oameni.

GPTZero este un instrument beta preparat acasă, găzduit pe Streamlit și creat de studentul de la Universitatea Princeton Edward Zen. Diferă de restul prin modul în care modelul „algiarism” (plagiat asistat de IA) își prezintă rezultatele. GPTZero descompune valorile în perplexitate și explozie. Burstiness măsoară aleatoritatea generală pentru toate propozițiile dintr-un text, în timp ce perplexitatea măsoară aleatoriu într-o propoziție. Instrumentul atribuie un număr ambelor valori - cu cât numărul este mai mic, cu atât este mai mare posibilitatea ca textul să fi fost creat de un bot.

Doar pentru distracție, am inclus Sala gigantică de testare a modelelor lingvistice (GLTR), dezvoltat de cercetători de la MIT-IBM Watson AI Lab și Harvard Natural Language Processing Group. La fel ca GPTZero, nu își prezintă rezultatele finale ca o distincție clară „uman” sau „bot”. GLTR utilizează practic boți pentru a identifica textul scris de roboți, deoarece este mai puțin probabil ca boții să selecteze cuvinte imprevizibile. Prin urmare, rezultatele sunt prezentate ca o histogramă cu coduri de culori, clasificând textul generat de AI versus textul generat de oameni. Cu cât este mai mare cantitatea de text imprevizibil, cu atât este mai probabil ca textul să fie de la un om.

Punându-le la încercare

Toate aceste opțiuni te-ar putea face să crezi că suntem într-un loc bun cu detectarea AI. Dar pentru a testa eficiența reală a fiecăruia dintre aceste instrumente, am vrut să o încerc singur. Așa că am rulat câteva exemple de paragrafe pe care le-am scris ca răspuns la întrebările pe care le-am pus și, în acest caz, ChatGPT.

Prima mea întrebare a fost una simplă: De ce cumpărarea unui PC prefabricat este respinsă? Iată cum răspund propriile mele în comparație cu răspunsul de la ChatGPT.

După cum puteți vedea, majoritatea acestor aplicații ar putea spune că cuvintele mele au fost autentice, primele trei fiind cele mai precise. Dar ChatGPT a păcălit majoritatea acestor aplicații de detectare și cu răspunsul său. Pentru început, a obținut un punctaj uman de 99% în aplicația Writer AI Content Detector și a fost marcat doar cu 36% fals de detectorul bazat pe GPT. GLTR a fost cel mai mare infractor, susținând că propriile mele cuvinte erau la fel de probabil să fie scrise de un om ca și cuvintele ChatGPT.

Totuși, am decis să mai dau o șansă și de data aceasta, răspunsurile au fost îmbunătățite semnificativ. Am cerut ChatGPT să furnizeze un rezumat al cercetării Institutului Federal de Tehnologie Elvețian în domeniul anti-aburire folosind particule de aur. În acest exemplu, aplicațiile detector au făcut o treabă mult mai bună în aprobarea propriului meu răspuns și detectarea ChatGPT.

Primele trei teste și-au arătat cu adevărat puterea în acest răspuns. Și, în timp ce GLTR încă a avut dificultăți în a-mi vedea scrisul ca fiind uman, cel puțin a făcut bine să prind ChatGPT de data aceasta.

Închidere

Din rezultatele fiecărei interogări este evident că detectorii de plagiat online nu sunt perfecți. Pentru răspunsuri sau scrieri mai complexe (cum ar fi în cazul celui de-al doilea prompt), este puțin mai ușor pentru ca aceste aplicații să detecteze scrierea bazată pe AI, în timp ce răspunsurile mai simple sunt mult mai dificile deduce. Dar în mod clar, nu este ceea ce aș numi de încredere. Ocazional, aceste instrumente de detectare vor clasifica greșit articolele sau eseurile ca fiind generate de ChatGPT, ceea ce reprezintă o problemă pentru profesorii sau editorii care doresc să se bazeze pe ele pentru a prinde trișori.

Dezvoltatorii reglează în mod constant precizia și ratele fals pozitive, dar se pregătesc și pentru sosirea GPT-3, care oferă un set de date îmbunătățit semnificativ și capabilități mai complexe decât GPT-2 (din care ChatGPT este instruit din).

În acest moment, pentru a identifica conținutul generat de AI, editorii și educatorii vor trebui să combine judiciozitatea și puțină intuiție umană cu unul (sau mai mulți) dintre acești detectori AI. Și pentru utilizatorii de chatbot care au sau sunt tentați să folosească chatbot-uri precum Chatsonic, ChatGPT, Notion sau YouChat pentru a-și transmite „lucrarea” drept legitimă – vă rugăm să nu o faceți. Reutilizarea conținutului creat de un bot (aceea surse din surse fixe din baza sa de date) este încă un plagiat, indiferent de modul în care îl priviți.

Recomandările editorilor

• Google Bard poate vorbi acum, dar poate îneca ChatGPT?
• ChatGPT: cele mai recente știri, controverse și sfaturi pe care trebuie să le cunoașteți
• Funcția de navigare Bing de la ChatGPT a fost dezactivată din cauza unui defect de acces la paywall
• 81% cred că ChatGPT este un risc de securitate, arată sondajul
• Rivalul ChatGPT al Apple poate scrie automat cod pentru tine

Îmbunătățește-ți stilul de viațăDigital Trends îi ajută pe cititori să țină cont de lumea rapidă a tehnologiei cu toate cele mai recente știri, recenzii distractive despre produse, editoriale perspicace și anticipări unice.