Kuidas tuvastada ChatGPT plagiaati ja miks see nii keeruline on

Vestlusbotid on praegu kuum kraam ja ChatGPT on nende seas peamine. Kuid tänu sellele, kui võimsad ja inimlikud on selle reaktsioonid, tegelevad teadlased, koolitajad ja toimetajad kõik tehisintellekti tekitatud plagiaadi ja petmise tõusuga. Teie vanadest plagiaadi tuvastamise tööriistadest ei pruugi piisata, et võltsingust tõelist välja nuusutada.

Selles artiklis räägin veidi sellest AI vestlusrobotite painajalikust küljest, tutvun mõne veebipõhise plagiaadi tuvastamise tööriistaga ja uurin, kui kohutavaks olukord on muutunud.

Palju tuvastamisvõimalusi

Käivitamise uusim versioon novembris 2022 OpenAI ChatGPT põhimõtteliselt tõstis vestlusrobotite võime rambivalgusesse. See võimaldas igal tavalisel Joel (või igal professionaalil) luua nutikaid, arusaadavaid esseesid või artikleid ning lahendada tekstipõhiseid matemaatilisi probleeme. Teadmatule või kogenematule lugejale võib tehisintellektiga loodud sisu üsna hõlpsalt läbi minna kui legitiimne kirjutis, mistõttu õpilased seda armastavad – ja õpetajad vihkavad seda.

Tehisintellekti kirjutamistööriistade suureks väljakutseks on nende kahe teraga mõõga võime kasutada loomulikku keelt ja grammatika ainulaadse ja peaaegu individualiseeritud sisu loomiseks isegi siis, kui sisu ise on pärit a andmebaasi. See tähendab, et võidujooks tehisintellektil põhineva petmise võitmiseks on käimas. Siin on mõned võimalused, mille leidsin ja mis on praegu tasuta saadaval.

GPT-2 väljunddetektor pärineb otse ChatGPT arendajalt OpenAI, et näidata, et sellel on robot, mis suudab tuvastada vestlusroti teksti. Väljunddetektorit on lihtne kasutada – kasutajad peavad lihtsalt sisestama teksti tekstiväljale ja tööriist annab kohe hinnangu selle kohta, kui tõenäoline on, et tekst tuli inimeselt või mitte.

Veel kaks tööriista, millel on puhas kasutajaliides Writer AI sisudetektor ja Sisu mastaabis. Saate lisada sisu skannimiseks URL-i (ainult kirjutaja) või lisada teksti käsitsi. Tulemustele antakse protsentuaalne skoor selle kohta, kui tõenäoline on, et sisu on inimese loodud.

GPTZero on kodus valmistatud beetatööriist, mida hostib Streamlit ja mille on loonud Princetoni ülikooli üliõpilane Edward Zen. See erineb ülejäänutest selle poolest, kuidas "algiarismi" (AI-abiga plagiaadi) mudel oma tulemusi esitab. GPTZero jagab mõõdikud segaduseks ja lõhkevuseks. Burstiness mõõdab üldist juhuslikkust tekstis kõigi lausete puhul, samas kui segadus mõõdab juhuslikkust lauses. Tööriist määrab mõlemale mõõdikule numbri – mida väiksem number, seda suurem on võimalus, et teksti on loonud robot.

Lihtsalt lõbu pärast, ma kaasasin Hiiglaslik keelemudeli testituba (GLTR), mille on välja töötanud MIT-IBM Watson AI Lab ja Harvard Natural Language Processing Group teadlased. Nagu GPTZero, ei esita see oma lõpptulemusi selge "inimese" või "bot" eristusena. Põhimõtteliselt kasutab GLTR roboteid robotite kirjutatud teksti tuvastamiseks, kuna robotid valivad vähem tõenäoliselt ettearvamatuid sõnu. Seetõttu esitatakse tulemused värvikoodiga histogrammina, mis järjestab tehisintellekti loodud teksti võrreldes inimese loodud tekstiga. Mida suurem on ettearvamatu teksti hulk, seda tõenäolisemalt on tekst inimeselt pärit.

Nende proovile panemine

Kõik need valikud võivad panna teid arvama, et oleme tehisintellekti tuvastamisega heas kohas. Kuid kõigi nende tööriistade tegeliku tõhususe testimiseks tahtsin seda ise proovida. Niisiis koostasin paar näidislõiku, mille kirjutasin vastuseks küsimustele, mille esitasin ka, antud juhul ChatGPT-le.

Minu esimene küsimus oli lihtne: miks on eelehitatud arvuti ostmine pahaks pandud? Siin on minu enda vastused võrreldes ChatGPT vastusega.

Nagu näete, võis enamik neist rakendustest öelda, et mu sõnad olid ehtsad, kusjuures kolm esimest olid kõige täpsemad. Kuid ChatGPT pettis ka enamiku nendest detektorirakendustest oma vastusega. Alustuseks saavutas see rakenduses Writer AI Content Detector 99% inimese ja GPT-põhise detektori hinnangul oli see vaid 36% võlts. GLTR oli suurim kurjategija, väites, et minu enda sõnad on sama suure tõenäosusega inimeste poolt kirjutatud kui ChatGPT sõnad.

Otsustasin siiski veel ühe korra anda ja seekord paranesid vastused märkimisväärselt. Palusin ChatGPT-l esitada kokkuvõte Šveitsi föderaalse tehnoloogiainstituudi kullaosakeste kasutamisega seotud uduvastaste uuringute kohta. Selles näites tegid detektorirakendused minu enda vastuse kinnitamisel ja ChatGPT tuvastamisel palju paremat tööd.

Esikolmik testi näitas tõesti oma tugevust selles vastuses. Ja kuigi GLTR-il oli endiselt raske minu enda kirjutist inimesena näha, aitas see vähemalt ChatGPT-d seekord tabada.

Sulgemine

Iga päringu tulemustest on ilmne, et võrguplagiaatdetektorid pole täiuslikud. Keerulisemate vastuste või kirjatükkide jaoks (näiteks minu teise viipa puhul) on see veidi lihtsam et need rakendused tuvastaksid tehisintellektil põhinevat kirjutamist, samas kui lihtsamaid vastuseid on palju keerulisem järeldada. Kuid on selge, et see pole see, mida ma nimetaksin töökindlaks. Mõnikord liigitavad need detektoritööriistad artiklid või esseed valesti ChatGPT-ga loodudteks, mis on probleem õpetajatele või toimetajatele, kes soovivad petturite tabamisel neile tugineda.

Arendajad viimistlevad pidevalt täpsust ja valepositiivsete tulemuste määra, kuid valmistuvad ka GPT-3, mis pakub oluliselt täiustatud andmekogumit ja keerukamaid võimalusi kui GPT-2 (millest ChatGPT on koolitatud alates).

Siinkohal peavad toimetajad ja koolitajad tehisintellekti loodud sisu tuvastamiseks kombineerima mõistlikkuse ja natuke inimlikku intuitsiooni ühe (või mitme) AI-detektoriga. Ja vestlusrobotite kasutajatel, kellel on või on kiusatus kasutada vestlusroboteid, nagu Chatsonic, ChatGPT, Notion või YouChat, et oma "töö" seaduslikuna edasi anda, ärge seda tehke. Boti loodud sisu (mis pärineb selle andmebaasi fikseeritud allikatest) taaskasutamine on endiselt plagiaat, hoolimata sellest, kuidas seda vaadata.

Toimetajate soovitused

• Google Bard saab nüüd rääkida, kuid kas see võib ChatGPT-d välja uputada?
• ChatGPT: viimased uudised, vaidlused ja näpunäited, mida peate teadma
• ChatGPT Bingi sirvimisfunktsioon on tasulisele juurdepääsuvea tõttu keelatud
• 81% arvab, et ChatGPT on turvarisk, selgub uuringust
• Apple'i ChatGPT rivaal võib teie eest automaatselt koodi kirjutada

Uuendage oma elustiiliDigitaalsed suundumused aitavad lugejatel hoida silma peal kiirel tehnikamaailmal kõigi viimaste uudiste, lõbusate tooteülevaadete, sisukate juhtkirjade ja ainulaadsete lühiülevaadetega.