Hur man upptäcker ChatGPT plagiat, och varför det är så svårt

Chatbots är heta grejer just nu, och ChatGPT är den främsta bland dem. Men tack vare hur kraftfulla och mänskliga svaren är, hanterar akademiker, lärare och redaktörer den stigande vågen av AI-genererat plagiat och fusk. Dina gamla verktyg för att upptäcka plagiat kanske inte räcker för att sniffa ut det verkliga från det falska.

I den här artikeln pratar jag lite om denna mardrömslika sida av AI-chatbots, kolla in några verktyg för att upptäcka plagiat online och utforskar hur svår situationen har blivit.

Många detekteringsalternativ

Den senaste november 2022-versionen av start OpenAI: s ChatGPT satte i princip chatbot-förmåga in i rampljuset. Det gjorde det möjligt för vilken vanlig Joe (eller vilken professionell som helst) att skapa smarta, begripliga essäer eller artiklar och lösa textbaserade matematiska problem. För den omedvetna eller oerfarna läsaren kan det AI-skapade innehållet ganska lätt passera som ett legitimt skrift, vilket är anledningen till att eleverna älskar det - och lärare hatar det.

En stor utmaning med AI-skrivverktyg är deras tveeggade svärdsförmåga att använda naturligt språk och grammatik för att bygga unikt och nästan individualiserat innehåll även om själva innehållet är hämtat från en databas. Det betyder att loppet för att slå AI-baserat fusk är igång. Här är några alternativ jag hittade som är tillgängliga just nu gratis.

GPT-2 utgångsdetektor kommer direkt från ChatGPT-utvecklaren OpenAI för att visa att den har en bot som kan upptäcka chatbottext. Output Detector är lätt att använda - användarna behöver bara skriva in text i ett textfält och verktyget kommer omedelbart att ge sin bedömning av hur troligt det är att texten kommer från en människa eller inte.

Ytterligare två verktyg som har rena användargränssnitt är Writer AI Content Detector och Innehåll i skala. Du kan antingen lägga till en URL för att skanna innehållet (endast författare) eller lägga till text manuellt. Resultaten ges ett procenttal av hur sannolikt det är att innehållet är mänskligt genererat.

GPTZero är ett hembryggt betaverktyg på Streamlit och skapat av Princeton University-studenten Edward Zen. Den skiljer sig från resten i hur modellen "algiat" (AI-assisterad plagiat) presenterar sina resultat. GPTZero bryter måtten i förvirring och bristfällighet. Burstiness mäter övergripande slumpmässighet för alla meningar i en text, medan perplexity mäter slumpmässighet i en mening. Verktyget tilldelar ett nummer till båda måtten – ju lägre nummer, desto större chans att texten skapades av en bot.

Bara för skojs skull inkluderade jag Jättespråksmodellprovrum (GLTR), utvecklad av forskare från MIT-IBM Watson AI Lab och Harvard Natural Language Processing Group. Precis som GPTZero presenterar den inte sina slutliga resultat som en tydlig "mänsklig" eller "bot" distinktion. GLTR använder i princip bots för att identifiera text skriven av bots, eftersom bots är mindre benägna att välja oförutsägbara ord. Därför presenteras resultaten som ett färgkodat histogram, som rangordnar AI-genererad text kontra mänskligt genererad text. Ju större mängd oförutsägbar text är, desto mer sannolikt är texten från en människa.

Att sätta dem på prov

Alla dessa alternativ kan få dig att tro att vi är på en bra plats med AI-detektion. Men för att testa den faktiska effektiviteten av vart och ett av dessa verktyg ville jag testa det själv. Så jag körde ett par exempelstycken som jag skrev som svar på frågor som jag också ställde till, i det här fallet, ChatGPT.

Min första fråga var enkel: Varför är det dåligt att köpa en förbyggd PC? Så här svarar mina egna svar jämfört med svaret från ChatGPT.

Som du kan se kunde de flesta av dessa appar säga att mina ord var äkta, med de tre första som de mest exakta. Men ChatGPT lurade de flesta av dessa detektorappar med sitt svar också. Till att börja med fick den 99 % människa i Writer AI Content Detector-appen och markerades som bara 36 % falsk av GPT-baserad detektor. GLTR var den största förövaren och hävdade att mina egna ord var lika sannolikt att skrivas av en människa som ChatGPT: s ord.

Jag bestämde mig för att ge det en chans till, och den här gången förbättrades svaren avsevärt. Jag bad ChatGPT att ge en sammanfattning av det schweiziska federala tekniska institutets forskning om anti-imbildning med hjälp av guldpartiklar. I det här exemplet gjorde detektorapparna ett mycket bättre jobb med att godkänna mitt eget svar och detektera ChatGPT.

De tre bästa testerna visade verkligen sin styrka i detta svar. Och även om GLTR fortfarande hade svårt att se mitt eget skrivande som mänskligt, lyckades det åtminstone fånga ChatGPT den här gången.

Stängning

Det är uppenbart från resultaten av varje fråga att plagiatdetektorer online inte är perfekta. För mer komplexa svar eller texter (som i fallet med min andra uppmaning), är det lite lättare för dessa appar att upptäcka AI-baserad skrift, medan de enklare svaren är mycket svårare att härleda. Men helt klart är det inte vad jag skulle kalla pålitligt. Ibland kommer dessa detektorverktyg att felklassificera artiklar eller uppsatser som ChatGPT-genererade, vilket är ett problem för lärare eller redaktörer som vill lita på dem för att fånga fuskare.

Utvecklare finjusterar ständigt noggrannheten och falska positiva priser, men de rustar sig också för ankomsten av GPT-3, som presenterar en avsevärt förbättrad datauppsättning och mer komplexa funktioner än GPT-2 (varav ChatGPT är utbildad från).

Vid denna tidpunkt, för att identifiera innehåll som genereras av AI: er, kommer redaktörer och utbildare att behöva kombinera omdöme och lite mänsklig intuition med en (eller flera) av dessa AI-detektorer. Och för chatbotanvändare som har eller är frestade att använda chatbots som Chatsonic, ChatGPT, Notion eller YouChat för att förmedla sitt "arbete" som legitimt - snälla gör det inte. Att återanvända innehåll skapat av en bot (som kommer från fasta källor i dess databas) är fortfarande plagiat oavsett hur man ser på det.

Redaktörens rekommendationer

• Google Bard kan nu tala, men kan det överrösta ChatGPT?
• ChatGPT: de senaste nyheterna, kontroverserna och tipsen du behöver veta
• ChatGPT: s Bing-surffunktion inaktiverad på grund av betalväggsåtkomstfel
• 81 % tycker att ChatGPT är en säkerhetsrisk, visar undersökningen
• Apples ChatGPT-konkurrent kan automatiskt skriva kod åt dig

Uppgradera din livsstilDigitala trender hjälper läsarna att hålla koll på den snabba teknikvärlden med alla de senaste nyheterna, roliga produktrecensioner, insiktsfulla redaktioner och unika smygtittar.