Chatbotovi su trenutno popularna stvar, i ChatGPT je glavni među njima. No zahvaljujući snazi i ljudskosti njegovih odgovora, akademici, edukatori i urednici suočavaju se s rastućom plimom plagijata i varanja koje stvara umjetna inteligencija. Vaši stari alati za otkrivanje plagijata možda neće biti dovoljni da nanjuše pravi od lažnog.
Sadržaj
- Puno mogućnosti detekcije
- Stavljajući ih na test
- Zatvaranje
U ovom članku govorim malo o ovoj košmarnoj strani AI chatbota, provjeravam nekoliko online alata za otkrivanje plagijata i istražujem koliko je situacija postala strašna.
Puno mogućnosti detekcije
Najnovije izdanje startupa za studeni 2022 OpenAI-jev ChatGPT zapravo je gurnuo sposobnost chatbota u središte pozornosti. Omogućavao je svakom običnom Joeu (ili bilo kojem profesionalcu) da stvara pametne, razumljive eseje ili članke i rješava tekstualne matematičke probleme. Za nesvjesnog ili neiskusnog čitatelja, sadržaj koji je stvorila umjetna inteligencija može prilično lako proći kao legitimno djelo, zbog čega ga učenici vole - a nastavnici ga mrze.
Povezano
- Proizvođač ChatGPT-a OpenAI suočava se s istragom FTC-a zbog zakona o zaštiti potrošača
- Promet web stranice ChatGPT pao je po prvi put
- Najbolji AI chatbotovi koje možete isprobati: ChatGPT, Bard i drugi
Veliki izazov s AI alatima za pisanje je njihova sposobnost dvosjeklog mača da koriste prirodni jezik i gramatiku za izgradnju jedinstvenog i gotovo individualiziranog sadržaja čak i ako je sam sadržaj izvučen iz a baza podataka. To znači da je počela utrka za pobjedu protiv varanja temeljenog na umjetnoj inteligenciji. Evo nekih opcija koje sam pronašao i koje su trenutno dostupne besplatno.
Preporučeni videozapisi
GPT-2 izlazni detektor dolazi izravno od OpenAI programera ChatGPT-a kako bi pokazao da ima bota sposobnog detektirati tekst chatbota. Output Detector jednostavan je za korištenje — korisnici samo trebaju unijeti tekst u tekstualno polje i alat će odmah dati svoju procjenu koliko je vjerojatno da je tekst došao od čovjeka ili ne.
Još dva alata koja imaju čista sučelja su Writer AI detektor sadržaja i Sadržaj u mjerilu. Možete dodati URL za skeniranje sadržaja (samo pisac) ili ručno dodati tekst. Rezultati dobivaju postotak koliko je vjerojatno da je sadržaj stvorio čovjek.
GPTZero je domaći beta alat koji se nalazi na Streamlitu, a kreirao ga je Edward Zen, student Sveučilišta Princeton. Razlikuje se od ostalih po tome kako model "algijata" (plagijat potpomognut umjetnom inteligencijom) predstavlja svoje rezultate. GPTZero razbija metriku u nedoumicu i rasprskavanje. Burstiness mjeri ukupnu slučajnost za sve rečenice u tekstu, dok zbunjenost mjeri slučajnost u rečenici. Alat objema metrikama dodjeljuje broj — što je niži broj, to je veća mogućnost da je tekst stvorio bot.
Samo radi zabave, uključio sam Ogromna soba za testiranje modela jezika (GLTR), koji su razvili istraživači iz MIT-IBM Watson AI Lab i Harvard Natural Language Processing Group. Kao i GPTZero, svoje konačne rezultate ne predstavlja kao jasnu razliku između "ljudi" ili "bota". GLTR u osnovi koristi botove za identifikaciju teksta koji su napisali botovi, jer je manja vjerojatnost da će botovi odabrati nepredvidive riječi. Stoga su rezultati predstavljeni kao histogram označen bojama, rangirajući tekst generiran umjetnom inteligencijom u odnosu na tekst koji je generirao čovjek. Što je veća količina nepredvidivog teksta, to je vjerojatnije da je tekst od ljudi.
Stavljajući ih na test
Zbog svih ovih opcija mogli biste pomisliti da smo na dobrom mjestu s AI otkrivanjem. Ali kako bih testirao stvarnu učinkovitost svakog od ovih alata, želio sam ga isprobati sam. Tako sam pokrenuo nekoliko oglednih odlomaka koje sam napisao kao odgovor na pitanja koja sam također postavio, u ovom slučaju, ChatGPT-u.
Moje prvo pitanje bilo je jednostavno: Zašto se s mrštenjem gleda na kupnju unaprijed izgrađenog računala? Evo kako su moji odgovori u usporedbi s odgovorom ChatGPT-a.
| Moje pravo pisanje | ChatGPT | |
| GPT-2 izlazni detektor | 1,18% lažno | 36,57% lažno |
| Pisac AI | 100% ljudski | 99% ljudi |
| Sadržaj u mjerilu | 99% ljudi | 73% ljudi |
| GPTZero | 80 zbunjenost | 50 zbunjenost |
| GLTR | 12 od 66 riječi vjerojatno ljudi | 15 ili 79 riječi vjerojatno od čovjeka |
Kao što vidite, većina ovih aplikacija mogla je reći da su moje riječi bile iskrene, a prve tri su bile najtočnije. Ali ChatGPT je svojim odgovorom prevario i većinu ovih detektorskih aplikacija. Ocijenio je 99% ljudski na aplikaciji Writer AI Content Detector, za početak, a detektor temeljen na GPT-u označio ga je samo 36% lažnim. GLTR je bio najveći prijestupnik, tvrdeći da je jednako vjerojatno da će moje riječi napisati čovjek kao i riječi ChatGPT-a.
Odlučio sam ipak pokušati još jednom i ovaj su put odgovori bili značajno poboljšani. Zatražio sam od ChatGPT-a da pruži sažetak istraživanja Švicarskog saveznog instituta za tehnologiju protiv zamagljivanja pomoću čestica zlata. U ovom primjeru, detektorske aplikacije obavile su puno bolji posao u odobravanju mog vlastitog odgovora i otkrivanju ChatGPT-a.
| Moje pravo pisanje | ChatGPT | |
| GPT-2 izlazni detektor | 9,28% lažno | 99,97% lažno |
| Pisac AI | 95% ljudi | 2% ljudi |
| Sadržaj u mjerilu | 92% ljudi | 0% (očito AI) |
| GPTZero | 41 zbunjenost | 23 zbunjenost |
| GLTR | 15 od 79 riječi vjerojatno ljudi | 4 od 98 riječi vjerojatno ljudi |
Tri najbolja testa stvarno su pokazala svoju snagu u ovom odgovoru. I dok je GLTR-u još uvijek bilo teško vidjeti moje vlastito pisanje kao ljudsko biće, barem je dobro uhvatio ChatGPT ovaj put.
Zatvaranje
Očito je iz rezultata svakog upita da mrežni detektori plagijata nisu savršeni. Za složenije odgovore ili tekstove (kao u slučaju mog drugog upita), malo je lakše za te aplikacije da otkriju pisanje temeljeno na umjetnoj inteligenciji, dok je jednostavnije odgovore mnogo teže zaključiti. Ali jasno je da to nije ono što bih nazvao pouzdanim. Povremeno će ovi detektorski alati krivo klasificirati članke ili eseje kao generirane putem ChatGPT-a, što predstavlja problem za nastavnike ili urednike koji se žele osloniti na njih za hvatanje varalica.
Programeri neprestano fino podešavaju točnost i lažno pozitivne stope, ali se također pripremaju za dolazak GPT-3, koji ističe značajno poboljšani skup podataka i složenije mogućnosti od GPT-2 (za koji je ChatGPT obučen iz).
U ovom trenutku, kako bi identificirali sadržaj koji generira umjetna inteligencija, urednici i edukatori morat će kombinirati razboritost i malo ljudske intuicije s jednim (ili više) od ovih AI detektora. A za korisnike chatbota koji imaju ili su u iskušenju koristiti chatbotove kao što su Chatsonic, ChatGPT, Notion ili YouChat kako bi svoj "posao" proglasili legitimnim - nemojte. Prenamjena sadržaja koji je stvorio bot (koji dolazi iz fiksnih izvora unutar svoje baze podataka) i dalje je plagijat kako god na to gledali.
Preporuke urednika
- Google Bard sada može govoriti, ali može li ugušiti ChatGPT?
- ChatGPT: najnovije vijesti, kontroverze i savjeti koje trebate znati
- ChatGPT-ova Bing značajka pregledavanja onemogućena je zbog greške u pristupu sustavu plaćanja
- 81% misli da je ChatGPT sigurnosni rizik, pokazalo je istraživanje
- Appleov rival ChatGPT može automatski napisati kod za vas
Nadogradite svoj životni stilDigitalni trendovi pomažu čitateljima da prate brzi svijet tehnologije sa svim najnovijim vijestima, zabavnim recenzijama proizvoda, pronicljivim uvodnicima i jedinstvenim brzim pregledima.
