Hvordan oppdage ChatGPT plagiat, og hvorfor det er så vanskelig

Chatbots er hot stuff akkurat nå, og ChatGPT er den øverste blant dem. Men takket være hvor kraftige og menneskelignende responsene dens er, håndterer akademikere, lærere og redaktører den økende strømmen av AI-generert plagiat og juks. Dine gamle plagiatdeteksjonsverktøy er kanskje ikke nok til å snuse ut det virkelige fra det falske.

I denne artikkelen snakker jeg litt om denne marerittaktige siden av AI-chatbots, sjekk ut noen få online plagiatdeteksjonsverktøy og utforsker hvor alvorlig situasjonen har blitt.

Mange deteksjonsalternativer

Den siste november 2022-utgivelsen av oppstart OpenAIs ChatGPT i utgangspunktet kastet chatbot dyktighet inn i rampelyset. Det tillot enhver vanlig Joe (eller hvilken som helst profesjonell) å generere smarte, forståelige essays eller artikler, og løse tekstbaserte matematiske problemer. For den uvitende eller uerfarne leseren kan det AI-skapte innholdet ganske enkelt passere som en legitim artikkel, og det er grunnen til at elevene elsker det - og lærere hater det.

En stor utfordring med AI-skriveverktøy er deres tveegget sverds evne til å bruke naturlig språk og grammatikk for å bygge unikt og nesten individualisert innhold selv om selve innholdet var hentet fra en database. Det betyr at kappløpet om å slå AI-basert juks er i gang. Her er noen alternativer jeg fant som er tilgjengelig akkurat nå gratis.

GPT-2 utgangsdetektor kommer rett fra ChatGPT-utvikleren OpenAI for å demonstrere at den har en bot som er i stand til å oppdage chatbot-tekst. Output Detector er enkel å bruke - brukerne trenger bare å skrive inn tekst i et tekstfelt og verktøyet vil umiddelbart gi sin vurdering av hvor sannsynlig det er at teksten kommer fra et menneske eller ikke.

Ytterligere to verktøy som har rene brukergrensesnitt er Writer AI-innholdsdetektor og Innhold i stor skala. Du kan enten legge til en URL for å skanne innholdet (kun forfatter) eller legge til tekst manuelt. Resultatene gis en prosentpoengsum på hvor sannsynlig det er at innholdet er menneskeskapt.

GPTZero er et hjemmebrygget betaverktøy som er vert på Streamlit og laget av Princeton University-student Edward Zen. Den er forskjellig fra resten i hvordan "algiat" (AI-assistert plagiat)-modellen presenterer resultatene. GPTZero bryter beregningene inn i forvirring og sprengning. Burstiness måler generell tilfeldighet for alle setninger i en tekst, mens forvirring måler tilfeldighet i en setning. Verktøyet tildeler et tall til begge metrikkene - jo lavere tall, desto større mulighet for at teksten ble opprettet av en robot.

Bare for moro skyld, inkluderte jeg Gigantisk språkmodell testrom (GLTR), utviklet av forskere fra MIT-IBM Watson AI Lab og Harvard Natural Language Processing Group. I likhet med GPTZero presenterer den ikke de endelige resultatene som en klar "menneskelig" eller "bot"-forskjell. GLTR bruker i utgangspunktet roboter for å identifisere tekst skrevet av roboter, siden roboter har mindre sannsynlighet for å velge uforutsigbare ord. Derfor presenteres resultatene som et fargekodet histogram, rangering av AI-generert tekst versus menneskegenerert tekst. Jo større mengde uforutsigbar tekst, jo mer sannsynlig er teksten fra et menneske.

Setter dem på prøve

Alle disse alternativene kan få deg til å tro at vi er på et godt sted med AI-deteksjon. Men for å teste den faktiske effektiviteten til hvert av disse verktøyene, ønsket jeg å prøve det ut selv. Så jeg kjørte et par eksempelavsnitt som jeg skrev som svar på spørsmål som jeg også stilte til, i dette tilfellet, ChatGPT.

Det første spørsmålet mitt var enkelt: Hvorfor er kjøp av en forhåndsbygd PC uglesett? Her er hvordan mine egne svar sammenlignet med svaret fra ChatGPT.

Som du kan se, kunne de fleste av disse appene fortelle at ordene mine var ekte, med de tre første som de mest nøyaktige. Men ChatGPT lurte de fleste av disse detektorappene med responsen også. Den scoret et menneske på 99 % på Writer AI Content Detector-appen, for det første, og ble merket med bare 36 % falsk av GPT-basert detektor. GLTR var den største lovbryteren, og hevdet at mine egne ord var like sannsynlig skrevet av et menneske som ChatGPTs ord.

Jeg bestemte meg for å gi det en sjanse til, og denne gangen ble svarene betydelig forbedret. Jeg ba ChatGPT om å gi et sammendrag av det sveitsiske føderale teknologiinstituttets forskning på anti-dugging ved bruk av gullpartikler. I dette eksemplet gjorde detektorappene en mye bedre jobb med å godkjenne mitt eget svar og oppdage ChatGPT.

De tre beste testene viste virkelig sin styrke i denne responsen. Og selv om GLTR fortsatt hadde vanskelig for å se mitt eget forfatterskap som menneskelig, klarte det i det minste å fange ChatGPT denne gangen.

Lukking

Det er tydelig fra resultatene av hvert søk at plagiatdetektorer på nettet ikke er perfekte. For mer komplekse svar eller tekster (for eksempel i tilfellet med min andre spørsmål), er det litt enklere for disse appene å oppdage AI-basert skriving, mens de enklere svarene er mye vanskeligere å utlede. Men det er klart, det er ikke det jeg vil kalle pålitelig. Noen ganger vil disse detektorverktøyene feilklassifisere artikler eller essays som ChatGPT-genererte, noe som er et problem for lærere eller redaktører som ønsker å stole på dem for å fange juksemakere.

Utviklere finjusterer kontinuerlig nøyaktighet og falske positive priser, men de forbereder seg også på ankomsten av GPT-3, som fremhever et betydelig forbedret datasett og mer komplekse funksjoner enn GPT-2 (hvorav ChatGPT er trent fra).

På dette tidspunktet, for å identifisere innhold generert av AI-er, må redaktører og lærere kombinere klokskap og litt menneskelig intuisjon med en (eller flere) av disse AI-detektorene. Og for chatbot-brukere som har eller er fristet til å bruke chatbots som Chatsonic, ChatGPT, Notion eller YouChat for å gi "arbeidet" deres lovlig - vennligst ikke gjør det. Gjenbruk av innhold laget av en bot (som henter fra faste kilder i databasen) er fortsatt plagiat uansett hvordan du ser på det.

Redaktørenes anbefalinger

• Google Bard kan nå snakke, men kan det overdøve ChatGPT?
• ChatGPT: de siste nyhetene, kontroversene og tipsene du trenger å vite
• ChatGPTs Bing-surfingsfunksjon er deaktivert på grunn av tilgangsfeil i betalingsmuren
• 81 % mener ChatGPT er en sikkerhetsrisiko, viser undersøkelsen
• Apples ChatGPT-rival kan automatisk skrive kode for deg

Oppgrader livsstilen dinDigitale trender hjelper leserne å følge med på den fartsfylte teknologiverdenen med alle de siste nyhetene, morsomme produktanmeldelser, innsiktsfulle redaksjoner og unike sniktitter.