Kaip aptikti ChatGPT plagiatą ir kodėl tai taip sunku

Pokalbių robotai šiuo metu yra populiariausias dalykas ir ChatGPT yra pagrindinis tarp jų. Tačiau dėl to, kokie galingi ir žmogiški jo atsakymai, akademikai, pedagogai ir redaktoriai susiduria su didėjančia AI sukurto plagiato ir sukčiavimo banga. Jūsų senų plagiato aptikimo įrankių gali nepakakti, kad atskirtumėte tikrąjį nuo padirbto.

Šiame straipsnyje šiek tiek papasakosiu apie šią košmarišką AI pokalbių robotų pusę, peržvelgiu keletą internetinių plagiato aptikimo įrankių ir tyrinėju, kokia baisi situacija tapo.

Daug aptikimo parinkčių

Naujausia 2022 m. lapkričio mėn. paleisties versija OpenAI ChatGPT iš esmės atkreipė dėmesį į pokalbių roboto meistriškumą. Tai leido bet kuriam eiliniam Džo (ar bet kuriam profesionalui) kurti protingus, suprantamus esė ar straipsnius ir spręsti tekstu pagrįstas matematikos problemas. Nežinančiam ar nepatyrusiam skaitytojui dirbtinio intelekto sukurtas turinys gali gana lengvai pereiti kaip teisėtas kūrinys, todėl mokiniams jis patinka, o mokytojai jo nekenčia.

Didelis iššūkis naudojant AI rašymo įrankius yra jų dviašmenis kardas, gebėjimas naudoti natūralią kalbą ir gramatiką, kad sukurtumėte unikalų ir beveik individualizuotą turinį, net jei pats turinys buvo sudarytas iš a duomenų bazėje. Tai reiškia, kad vyksta lenktynės siekiant įveikti dirbtinio intelekto sukčiavimą. Štai keletas parinkčių, kurias radau ir kurios šiuo metu yra nemokamos.

GPT-2 išvesties detektorius ateina tiesiai iš ChatGPT kūrėjo OpenAI, kad parodytų, jog jame yra robotas, galintis aptikti pokalbių roboto tekstą. Išvesties detektoriumi paprasta naudotis – naudotojams tereikia įvesti tekstą į teksto lauką ir įrankis iš karto pateiks įvertinimą, kiek tikėtina, kad tekstas atėjo iš žmogaus, ar ne.

Dar du įrankiai, turintys švarias vartotojo sąsajas Rašytojo AI turinio detektorius ir Turinys mastu. Galite pridėti URL, kad nuskaitytumėte turinį (tik rašytojas), arba rankiniu būdu pridėti tekstą. Rezultatuose pateikiamas procentinis balas, nurodantis, kokia tikimybė, kad turinys yra sukurtas žmogaus.

GPTZero yra namuose gaminamas beta įrankis, priglobtas „Streamlit“ ir sukurtas Prinstono universiteto studento Edwardo Zeno. Jis skiriasi nuo kitų tuo, kaip „algiarizmo“ (AI padedamo plagiato) modelio rezultatai pateikiami. GPTZero suskirsto metriką į sumišimą ir sprogimą. Burstiškumas matuoja bendrą visų teksto sakinių atsitiktinumą, o sumišimas – atsitiktinumą sakinyje. Įrankis priskiria skaičių abiem metrikoms – kuo mažesnis skaičius, tuo didesnė tikimybė, kad tekstą sukūrė robotas.

Tiesiog dėl malonumo įtraukiau Milžiniškas kalbų modelių testavimo kambarys (GLTR), kurią sukūrė MIT-IBM Watson AI Lab ir Harvardo natūralios kalbos apdorojimo grupės mokslininkai. Kaip ir GPTZero, jis nepateikia galutinių rezultatų kaip aiškaus „žmogaus“ ar „boto“ skirtumo. GLTR iš esmės naudoja robotus, kad identifikuotų robotų parašytą tekstą, nes robotai rečiau pasirenka nenuspėjamus žodžius. Todėl rezultatai pateikiami kaip spalvomis užkoduota histograma, rūšiuojant AI sukurtą tekstą, palyginti su žmogaus sukurtu tekstu. Kuo didesnis nenuspėjamo teksto kiekis, tuo didesnė tikimybė, kad tekstas yra iš žmogaus.

Išbandydamas juos

Visos šios parinktys gali priversti jus manyti, kad su AI aptikimu esame geroje vietoje. Tačiau norėdamas patikrinti tikrąjį kiekvienos iš šių priemonių veiksmingumą, norėjau tai išbandyti pats. Taigi paleidau keletą pavyzdinių pastraipų, kurias parašiau atsakydamas į klausimus, kuriuos taip pat pateikiau, šiuo atveju „ChatGPT“.

Mano pirmasis klausimas buvo paprastas: kodėl nerimaujama perkant iš anksto sukurtą kompiuterį? Štai kaip mano atsakymai lyginami su „ChatGPT“ atsakymu.

Kaip matote, dauguma šių programų galėjo pasakyti, kad mano žodžiai buvo tikri, o pirmieji trys buvo tiksliausi. Tačiau „ChatGPT“ taip pat apgavo daugumą šių detektorių programų. Pradedantiesiems programėlėje „Writer AI Content Detector“ jis surinko 99 % žmogaus, o GPT pagrindu sukurtas detektorius buvo pažymėtas tik 36 % netikro. GLTR buvo didžiausias nusikaltėlis, teigdamas, kad mano žodžius taip pat gali parašyti žmogus, kaip ir ChatGPT žodžius.

Vis dėlto nusprendžiau dar kartą, ir šį kartą atsakymai buvo žymiai patobulinti. Paprašiau „ChatGPT“ pateikti Šveicarijos federalinio technologijos instituto tyrimų, susijusių su apsaugos nuo rasojimo naudojant aukso daleles, santrauką. Šiame pavyzdyje detektoriaus programos atliko daug geresnį darbą patvirtindamos mano atsakymą ir aptikdamos „ChatGPT“.

Trys geriausi bandymai tikrai parodė savo stiprybę šiame atsakyme. Ir nors GLTR vis dar sunkiai suvokė mano rašymą kaip žmogišką, šį kartą bent jau pavyko užfiksuoti ChatGPT.

Uždarymas

Iš kiekvienos užklausos rezultatų akivaizdu, kad internetiniai plagiato detektoriai nėra tobuli. Jei norite gauti sudėtingesnius atsakymus ar raštus (pvz., mano antrojo raginimo atveju), tai yra šiek tiek lengviau šioms programoms aptikti AI pagrįstą rašymą, o paprastesnius atsakymus yra daug sunkiau išvesti. Bet aišku, tai nėra tai, ką aš vadinčiau patikimu. Kartais šie detektoriaus įrankiai neteisingai klasifikuos straipsnius ar esė kaip sugeneruotus „ChatGPT“, o tai yra problema mokytojams ar redaktoriams, norintiems jais pasikliauti sugaudami sukčius.

Kūrėjai nuolat koreguoja tikslumą ir klaidingai teigiamus rodiklius, tačiau taip pat ruošiasi GPT-3, kuris pasižymi žymiai patobulintu duomenų rinkiniu ir sudėtingesnėmis galimybėmis nei GPT-2 (kurios yra apmokytas ChatGPT iš).

Šiuo metu, norėdami nustatyti AI sukurtą turinį, redaktoriai ir pedagogai turės derinti protingumą ir šiek tiek žmogiškosios intuicijos su vienu (ar daugiau) iš šių AI detektorių. O pokalbių robotų naudotojai, kurie turi arba yra linkę naudoti tokius pokalbių robotus kaip „Chatsonic“, „ChatGPT“, „Notion“ ar „YouChat“, kad perduotų savo „darbą“ kaip teisėtą – to nedarykite. Turinio, sukurto roboto (kuris gaunamas iš fiksuotų šaltinių jo duomenų bazėje), perkėlimas vis tiek yra plagiatas, nesvarbu, kaip į jį žiūrite.

Redaktorių rekomendacijos

• „Google Bard“ dabar gali kalbėti, bet ar gali užgožti „ChatGPT“?
• ChatGPT: naujausios naujienos, ginčai ir patarimai, kuriuos turite žinoti
• „ChatGPT“ „Bing“ naršymo funkcija išjungta dėl prieigos prie mokamos sienos trūkumo
• 81% mano, kad „ChatGPT“ kelia pavojų saugumui, rodo apklausa
• „Apple“ „ChatGPT“ konkurentas gali automatiškai parašyti kodą už jus

Atnaujinkite savo gyvenimo būdąSkaitmeninės tendencijos padeda skaitytojams stebėti sparčiai besivystantį technologijų pasaulį – pateikiamos visos naujausios naujienos, smagios produktų apžvalgos, įžvalgūs vedamieji leidiniai ir unikalūs žvilgsniai.