Kā atklāt ChatGPT plaģiātu un kāpēc tas ir tik grūti

Tērzēšanas roboti šobrīd ir aktuāli, un ChatGPT ir galvenais starp tiem. Taču, pateicoties tam, cik spēcīgas un cilvēciskas ir tās atbildes, akadēmiķi, pedagogi un redaktori saskaras ar pieaugošo AI radīto plaģiātu un krāpšanos. Ar vecajiem plaģiāta noteikšanas rīkiem var nepietikt, lai atšķirtu īsto no viltus.

Šajā rakstā es nedaudz runāju par šo AI tērzēšanas robotu murgaino pusi, apskatīšu dažus tiešsaistes plaģiāta noteikšanas rīkus un izpētīšu, cik briesmīga ir kļuvusi situācija.

Daudz noteikšanas iespēju

Jaunākais 2022. gada novembra starta laidiens OpenAI ChatGPT būtībā čatbota spējas tika izvirzītas uzmanības centrā. Tas ļāva jebkuram parastam Džo (vai jebkuram profesionālim) ģenerēt gudras, saprotamas esejas vai rakstus un atrisināt uz tekstu balstītas matemātikas problēmas. Nezinošam vai nepieredzējušam lasītājam AI radītais saturs var diezgan viegli tikt uzskatīts par likumīgu rakstu, tāpēc skolēniem tas patīk — un skolotājiem tas ienīst.

Lielisks izaicinājums ar AI rakstīšanas rīkiem ir to divgriezīgā zobena spēja izmantot dabisko valodu un gramatika, lai izveidotu unikālu un gandrīz individualizētu saturu pat tad, ja pats saturs ir iegūts no a datu bāze. Tas nozīmē, ka ir sākusies sacensība, lai pārspētu uz AI balstītu krāpšanos. Šeit ir dažas iespējas, kuras es atradu un kuras šobrīd ir pieejamas bez maksas.

GPT-2 izejas detektors nāk tieši no ChatGPT izstrādātāja OpenAI, lai parādītu, ka tam ir robots, kas spēj noteikt tērzēšanas robota tekstu. Izvades detektoru ir viegli lietot — lietotājiem vienkārši jāievada teksts teksta laukā, un rīks nekavējoties sniegs savu novērtējumu par to, cik iespējams, ka teksts ir no cilvēka.

Ir vēl divi rīki, kuriem ir tīra lietotāja saskarne Rakstnieka AI satura detektors un Saturs pēc mēroga. Varat pievienot URL, lai skenētu saturu (tikai rakstītājam), vai manuāli pievienot tekstu. Rezultātiem ir norādīts procentuālais rādītājs, kas nosaka, cik iespējams, ka saturs ir cilvēka radīts.

GPTZero ir mājās gatavots beta rīks, kas tiek mitināts pakalpojumā Streamlit un ko izveidojis Prinstonas universitātes students Edvards Zen. Tas atšķiras no pārējiem ar to, kā “alģiātisma” (AI atbalstīta plaģiātisma) modeļa rezultāti sniedz savus rezultātus. GPTZero sadala metriku apmulsumā un spraigumā. Burstiness mēra kopējo nejaušību visiem teksta teikumiem, savukārt apmulsums mēra nejaušību teikumā. Rīks piešķir numuru abām metrikām — jo mazāks skaitlis, jo lielāka iespēja, ka tekstu ir izveidojis robots.

Tikai prieka pēc, es iekļāvu Milzu valodu modeļu pārbaudes telpa (GLTR), ko izstrādājuši pētnieki no MIT-IBM Watson AI Lab un Harvard Natural Language Processing Group. Tāpat kā GPTZero, tā galīgos rezultātus neuzrāda kā skaidru “cilvēka” vai “botu” atšķirību. GLTR pamatā izmanto robotprogrammatūras, lai identificētu robotu rakstīto tekstu, jo ir mazāka iespēja, ka robotprogrammatūra atlasīs neparedzamus vārdus. Tāpēc rezultāti tiek parādīti kā krāsu kodēta histogramma, sarindojot AI ģenerētu tekstu salīdzinājumā ar cilvēka radīto tekstu. Jo lielāks ir neparedzama teksta daudzums, jo lielāka iespēja, ka teksts ir no cilvēka.

Liekot tos pārbaudīt

Visas šīs iespējas var likt jums domāt, ka esam labā vietā ar AI noteikšanu. Bet, lai pārbaudītu katra šī rīka faktisko efektivitāti, es gribēju to izmēģināt pats. Tāpēc es izpildīju pāris rindkopu paraugus, kurus rakstīju, atbildot uz jautājumiem, kurus arī uzdevu, šajā gadījumā ChatGPT.

Mans pirmais jautājums bija vienkāršs: kāpēc iepriekš iebūvēta datora pirkšana tiek noraidīta? Lūk, kā manas atbildes, salīdzinot ar atbildi no ChatGPT.

Kā redzat, lielākā daļa šo lietotņu varēja noteikt, ka mani vārdi bija patiesi, un pirmie trīs bija visprecīzākie. Taču arī ChatGPT ar savu reakciju apmānīja lielāko daļu šo detektoru lietotņu. Iesācējiem lietotnē Writer AI Content Detector tas ieguva 99% cilvēku, un tikai 36% tika atzīmēti kā viltoti, izmantojot GPT detektoru. GLTR bija lielākais likumpārkāpējs, apgalvojot, ka manus vārdus, visticamāk, ir uzrakstījis cilvēks, tāpat kā ChatGPT vārdus.

Tomēr es nolēmu to izdarīt vēl vienu reizi, un šoreiz atbildes tika ievērojami uzlabotas. Es palūdzu ChatGPT sniegt kopsavilkumu par Šveices Federālā Tehnoloģiju institūta pētījumiem par aizsvīšanas novēršanu, izmantojot zelta daļiņas. Šajā piemērā detektoru lietotnes veica daudz labāku darbu, apstiprinot manu atbildi un atklājot ChatGPT.

Trīs labākie testi patiešām parādīja savu spēku šajā atbildē. Un, lai gan GLTR joprojām bija grūti uztvert manu rakstīto kā cilvēku, šoreiz tas vismaz ļāva uztvert ChatGPT.

Noslēgšana

No katra vaicājuma rezultātiem ir skaidrs, ka tiešsaistes plaģiāta detektori nav ideāli. Sarežģītākām atbildēm vai rakstiem (piemēram, manas otrās uzvednes gadījumā) tas ir nedaudz vienkāršāk lai šīs lietotnes varētu noteikt uz AI balstītu rakstīšanu, savukārt vienkāršākas atbildes ir daudz grūtāk secināt. Bet skaidrs, ka tas nav tas, ko es sauktu par uzticamu. Reizēm šie detektora rīki nepareizi klasificēs rakstus vai esejas kā ChatGPT ģenerētus, un tas ir problēma skolotājiem vai redaktoriem, kuri vēlas paļauties uz tiem, lai notvertu krāpniekus.

Izstrādātāji pastāvīgi precizē precizitāti un kļūdaini pozitīvus rādītājus, taču viņi arī gatavojas GPT-3, kas piedāvā ievērojami uzlabotu datu kopu un sarežģītākas iespējas nekā GPT-2 (kurā ChatGPT ir apmācīts no).

Šobrīd, lai identificētu AI radīto saturu, redaktoriem un pedagogiem būs jāapvieno saprātīgums un nedaudz cilvēka intuīcijas ar vienu (vai vairākiem) no šiem AI detektoriem. Un tērzēšanas robotu lietotājiem, kuriem ir vai ir kārdinājums izmantot tērzēšanas robotus, piemēram, Chatsonic, ChatGPT, Notion vai YouChat, lai nodotu savu "darbu" kā likumīgu, lūdzu, nedariet to. Bota izveidotā satura (kura avoti tiek iegūti no fiksētiem avotiem tās datu bāzē) atkārtota izmantošana joprojām ir plaģiāts neatkarīgi no tā, kā to aplūkojat.

Redaktoru ieteikumi

• Google Bard tagad var runāt, bet vai tas var noslāpēt ChatGPT?
• ChatGPT: jaunākās ziņas, strīdi un padomi, kas jums jāzina
• ChatGPT Bing pārlūkošanas funkcija ir atspējota maksas sienas piekļuves trūkuma dēļ
• 81% uzskata, ka ChatGPT ir drošības risks, liecina aptauja
• Apple ChatGPT sāncensis var automātiski rakstīt kodu jūsu vietā

Uzlabojiet savu dzīvesveiduDigitālās tendences palīdz lasītājiem sekot līdzi straujajai tehnoloģiju pasaulei, izmantojot visas jaunākās ziņas, jautrus produktu apskatus, ieskatu saturošus rakstus un unikālus ieskatus.