Kako odkriti plagiat ChatGPT in zakaj je tako težko

Klepetalni roboti so trenutno priljubljena stvar in ChatGPT je glavni med njimi. Toda zahvaljujoč temu, kako močni in človeški so njegovi odzivi, se akademiki, učitelji in uredniki vsi spopadajo z naraščajočo plimo plagiatorstva in goljufanja, ki jih ustvarja umetna inteligenca. Vaša stara orodja za odkrivanje plagiatorstva morda ne bodo zadostovala za razlikovanje pravega od ponaredka.

V tem članku nekaj govorim o tej nočni mori klepetalnih robotov z umetno inteligenco, preverim nekaj spletnih orodij za odkrivanje plagiatorstva in raziščem, kako huda je situacija postala.

Veliko možnosti zaznavanja

Najnovejša izdaja zagona iz novembra 2022 OpenAI's ChatGPT v bistvu potisnil spretnost chatbota v središče pozornosti. Vsakemu običajnemu Joeju (ali kateremu koli profesionalcu) je omogočil, da ustvari pametne, razumljive eseje ali članke in reši besedilne matematične probleme. Nevednemu ali neizkušenemu bralcu lahko vsebina, ustvarjena z umetno inteligenco, precej zlahka velja za zakonito besedilo, zato jo imajo učenci radi - učitelji pa jo sovražijo.

Velik izziv pri orodjih za pisanje z umetno inteligenco je njihova dvorezna sposobnost uporabe naravnega jezika in slovnico za ustvarjanje edinstvene in skoraj individualizirane vsebine, tudi če je bila sama vsebina črpana iz a zbirka podatkov. To pomeni, da se tekma za premagovanje goljufanja na osnovi umetne inteligence začne. Tukaj je nekaj možnosti, ki sem jih našel in so trenutno na voljo brezplačno.

GPT-2 izhodni detektor prihaja naravnost od razvijalca ChatGPT OpenAI, da dokaže, da ima bot, ki lahko zazna besedilo chatbota. Output Detector je enostaven za uporabo – uporabniki morajo le vnesti besedilo v besedilno polje in orodje bo takoj zagotovilo svojo oceno, kako verjetno je, da je besedilo prišlo od človeka ali ne.

Še dve orodji s čistimi uporabniškimi vmesniki sta Detektor vsebine AI Writer in Vsebina v velikem obsegu. Lahko dodate URL za optično branje vsebine (samo pisatelj) ali ročno dodate besedilo. Rezultati dobijo odstotek ocene, kako verjetno je, da je vsebino ustvaril človek.

GPTZero je doma pripravljeno beta orodje, ki gostuje na Streamlitu in ga je ustvaril študent univerze Princeton Edward Zen. Od ostalih se razlikuje po tem, kako model »algiatizma« (plagiat s pomočjo umetne inteligence) predstavlja svoje rezultate. GPTZero razbije meritve v zmedo in razpoke. Burstiness meri splošno naključnost za vse stavke v besedilu, medtem ko zmedenost meri naključnost v stavku. Orodje obema meritvama dodeli številko – nižja kot je številka, večja je možnost, da je besedilo ustvaril bot.

Samo za zabavo sem vključil Ogromna soba za testiranje jezikovnega modela (GLTR), ki so ga razvili raziskovalci iz MIT-IBM Watson AI Lab in Harvard Natural Language Processing Group. Tako kot GPTZero svojih končnih rezultatov ne predstavlja kot jasno razlikovanje med "človeškimi" ali "botskimi". GLTR v bistvu uporablja bote za prepoznavanje besedila, ki so ga napisali boti, saj je manj verjetno, da bodo boti izbrali nepredvidljive besede. Zato so rezultati predstavljeni kot barvno označeni histogram, ki razvršča besedilo, ki ga ustvari umetna inteligenca, v primerjavi z besedilom, ki ga ustvari človek. Večja kot je količina nepredvidljivega besedila, večja je verjetnost, da je besedilo od človeka.

Preizkušanje

Zaradi vseh teh možnosti boste morda mislili, da smo z zaznavanjem umetne inteligence na dobrem mestu. Toda da bi preizkusil dejansko učinkovitost vsakega od teh orodij, sem ga želel preizkusiti sam. Tako sem izvedel nekaj vzorčnih odstavkov, ki sem jih napisal kot odgovor na vprašanja, ki sem jih zastavil tudi, v tem primeru ChatGPT.

Moje prvo vprašanje je bilo preprosto: zakaj je nakup vnaprej izdelanega računalnika zavrnjen? Evo, kakšni so moji odgovori v primerjavi z odzivom ChatGPT.

Kot lahko vidite, je večina teh aplikacij ugotovila, da so bile moje besede pristne, pri čemer so prve tri najbolj točne. Toda ChatGPT je s svojim odzivom preslepil večino teh detektorskih aplikacij. Za začetek je bil v aplikaciji Writer AI Content Detector ocenjen kot 99 % človeški, detektor, ki temelji na GPT, pa ga je označil kot samo 36 % lažnega. GLTR je bil največji kršitelj, saj je trdil, da je enako verjetno, da bi moje besede napisal človek kot besede ChatGPT.

Kljub temu sem se odločil poskusiti še enkrat in tokrat so bili odzivi bistveno boljši. ChatGPT sem prosil za povzetek raziskav Švicarskega zveznega tehnološkega inštituta o preprečevanju rosenja z uporabo zlatih delcev. V tem primeru so detektorske aplikacije opravile veliko boljše delo pri odobritvi mojega odgovora in zaznavanju ChatGPT.

Najboljši trije testi so resnično pokazali svojo moč v tem odzivu. In čeprav je GLTR še vedno težko videl moje lastno pisanje kot človeka, je tokrat vsaj dobro ujel ChatGPT.

Zapiranje

Iz rezultatov vsake poizvedbe je očitno, da spletni detektorji plagiatorstva niso popolni. Za bolj zapletene odgovore ali besedila (kot je v primeru mojega drugega poziva) je nekoliko lažje da te aplikacije zaznajo pisanje, ki temelji na AI, medtem ko je preprostejše odzive veliko težje sklepati. A jasno je, da temu ne bi rekel, da je zanesljiv. Občasno ta detektorska orodja napačno razvrstijo članke ali eseje kot ustvarjene s ChatGPT, kar je težava za učitelje ali urednike, ki se želijo zanašati na njih pri lovljenju goljufov.

Razvijalci nenehno izpopolnjujejo natančnost in stopnje lažno pozitivnih rezultatov, pripravljajo pa se tudi na prihod GPT-3, ki hvali znatno izboljšan nabor podatkov in bolj zapletene zmogljivosti kot GPT-2 (za katerega je usposobljen ChatGPT od).

Na tej točki bodo uredniki in vzgojitelji morali združiti preudarnost in malo človeške intuicije z enim (ali več) od teh detektorjev umetne inteligence, da bi prepoznali vsebino, ki jo ustvari AI. Za uporabnike klepetalnih botov, ki imajo ali jih mika uporaba klepetalnih botov, kot so Chatsonic, ChatGPT, Notion ali YouChat, da svoje »delo« označijo za zakonito, prosimo, ne tega storite. Sprememba vsebine, ki jo ustvari bot (ki izvira iz stalnih virov v svoji bazi podatkov), je še vedno plagiat, ne glede na to, kako gledate na to.

Priporočila urednikov

• Google Bard lahko zdaj govori, a ali lahko preglasi ChatGPT?
• ChatGPT: najnovejše novice, polemike in nasveti, ki jih morate vedeti
• Funkcija brskanja Bing ChatGPT je onemogočena zaradi napake pri dostopu do plačljivega zidu
• 81 % meni, da ChatGPT predstavlja varnostno tveganje, ugotavlja raziskava
• Appleov tekmec ChatGPT lahko samodejno napiše kodo za vas

Nadgradite svoj življenjski slogDigitalni trendi bralcem pomagajo slediti hitremu svetu tehnologije z vsemi najnovejšimi novicami, zabavnimi ocenami izdelkov, pronicljivimi uvodniki in enkratnimi vpogledi v vsebine.