Chatbots zijn momenteel hot stuff, en ChatGPT is de belangrijkste onder hen. Maar dankzij hoe krachtig en menselijk de reacties zijn, hebben academici, onderwijzers en redacteuren allemaal te maken met de opkomst van door AI gegenereerd plagiaat en bedrog. Uw oude plagiaatdetectietools zijn misschien niet voldoende om echt van nep te onderscheiden.
Inhoud
- Veel detectiemogelijkheden
- Door ze op de proef te stellen
- Sluitend
In dit artikel praat ik wat over deze nachtmerrieachtige kant van AI-chatbots, bekijk ik enkele online plagiaatdetectietools en onderzoek ik hoe nijpend de situatie is geworden.
Veel detectiemogelijkheden
De nieuwste release van november 2022 van opstarten ChatGPT van OpenAI in feite de bekwaamheid van chatbots in de schijnwerpers gezet. Het stelde elke gewone Joe (of elke professional) in staat om slimme, begrijpelijke essays of artikelen te genereren en op tekst gebaseerde wiskundige problemen op te lossen. Voor de onwetende of onervaren lezer kan de door AI gemaakte inhoud vrij gemakkelijk doorgaan als een legitiem stuk schrijven, daarom houden studenten ervan - en leraren haten het.
Verwant
- ChatGPT-maker OpenAI wordt geconfronteerd met FTC-onderzoek over wetten voor consumentenbescherming
- Het verkeer op de ChatGPT-website is voor het eerst gedaald
- De beste AI-chatbots om uit te proberen: ChatGPT, Bard en meer
Een grote uitdaging met AI-schrijftools is hun tweesnijdend zwaardvermogen om natuurlijke taal te gebruiken en grammatica om unieke en bijna geïndividualiseerde inhoud te bouwen, zelfs als de inhoud zelf is ontleend aan een databank. Dat betekent dat de race om AI-gebaseerd bedrog te verslaan is begonnen. Hier zijn enkele opties die ik heb gevonden en die nu gratis beschikbaar zijn.
Aanbevolen video's
GPT-2 Uitvoerdetector komt rechtstreeks van ChatGPT-ontwikkelaar OpenAI om aan te tonen dat het een bot heeft die chatbot-tekst kan detecteren. Output Detector is eenvoudig te gebruiken — gebruikers hoeven alleen maar tekst in een tekstveld in te voeren en de tool zal onmiddellijk beoordelen hoe waarschijnlijk het is dat de tekst van een mens afkomstig is of niet.
Er zijn nog twee tools met schone gebruikersinterfaces Schrijver AI-inhoudsdetector En Inhoud op schaal. U kunt een URL toevoegen om de inhoud te scannen (alleen schrijver) of handmatig tekst toevoegen. De resultaten krijgen een procentuele score van hoe waarschijnlijk het is dat de inhoud door mensen is gegenereerd.
GPTZero is een zelfgebrouwen bètatool gehost op Streamlit en gemaakt door Princeton University-student Edward Zen. Het verschilt van de rest in de manier waarop het 'algiaat'-model (AI-ondersteund plagiaat) de resultaten presenteert. GPTZero verdeelt de statistieken in verbijstering en uitbarsting. Burstiness meet de algehele willekeur voor alle zinnen in een tekst, terwijl perplexity de willekeur in een zin meet. De tool wijst een nummer toe aan beide statistieken: hoe lager het nummer, hoe groter de kans dat de tekst door een bot is gemaakt.
Gewoon voor de lol, heb ik opgenomen Gigantische testruimte voor taalmodellen (GLTR), ontwikkeld door onderzoekers van het MIT-IBM Watson AI Lab en Harvard Natural Language Processing Group. Net als GPTZero presenteert het zijn uiteindelijke resultaten niet als een duidelijk onderscheid tussen "mens" of "bot". GLTR gebruikt in feite bots om tekst te identificeren die door bots is geschreven, aangezien bots minder snel onvoorspelbare woorden selecteren. Daarom worden de resultaten gepresenteerd als een kleurgecodeerd histogram, waarin door AI gegenereerde tekst wordt gerangschikt versus door mensen gegenereerde tekst. Hoe groter de hoeveelheid onvoorspelbare tekst, hoe groter de kans dat de tekst van een mens afkomstig is.
Door ze op de proef te stellen
Al deze opties zouden je kunnen doen denken dat we op een goede plek zitten met AI-detectie. Maar om de daadwerkelijke effectiviteit van elk van deze tools te testen, wilde ik het zelf uitproberen. Dus heb ik een paar voorbeeldalinea's uitgevoerd die ik heb geschreven als antwoord op vragen die ik ook stelde aan, in dit geval, ChatGPT.
Mijn eerste vraag was simpel: waarom wordt het kopen van een kant-en-klare pc afgekeurd? Hier is hoe mijn eigen antwoorden vergeleken met de reactie van ChatGPT.
| Mijn echte schrijven | ChatGPT | |
| GPT-2 Uitvoerdetector | 1,18% nep | 36,57% nep |
| Schrijver AI | 100% menselijk | 99% menselijk |
| Inhoud op schaal | 99% menselijk | 73% mens |
| GPTZero | 80 verbijstering | 50 verbijstering |
| GLTR | 12 van de 66 woorden waarschijnlijk door de mens | 15 of 79 woorden waarschijnlijk door de mens |
Zoals je kunt zien, konden de meeste van deze apps zien dat mijn woorden echt waren, waarbij de eerste drie het meest nauwkeurig waren. Maar ChatGPT hield de meeste van deze detector-apps ook voor de gek met zijn reactie. Het scoorde een 99% mens op de Writer AI Content Detector-app, om te beginnen, en werd gemarkeerd als slechts 36% nep door GPT-gebaseerde detector. GLTR was de grootste overtreder en beweerde dat mijn eigen woorden even waarschijnlijk door een mens waren geschreven als de woorden van ChatGPT.
Ik besloot het echter nog een kans te geven, en deze keer waren de reacties aanzienlijk verbeterd. Ik vroeg ChatGPT om een samenvatting te geven van het onderzoek van het Zwitserse Federale Instituut voor Technologie naar anticondens met behulp van gouddeeltjes. In dit voorbeeld deden de detector-apps het veel beter om mijn eigen reactie goed te keuren en ChatGPT te detecteren.
| Mijn echte schrijven | ChatGPT | |
| GPT-2 Uitvoerdetector | 9,28% nep | 99,97% nep |
| Schrijver AI | 95% menselijk | 2% mens |
| Inhoud op schaal | 92% mens | 0% (Uiteraard AI) |
| GPTZero | 41 verbijstering | 23 verbijstering |
| GLTR | 15 van de 79 woorden waarschijnlijk door de mens | 4 van 98 woorden waarschijnlijk door de mens |
De top drie tests toonden echt hun kracht in deze reactie. En hoewel GLTR het nog steeds moeilijk vond om mijn eigen schrijven als menselijk te beschouwen, heeft het deze keer in ieder geval goed geholpen om ChatGPT te vangen.
Sluitend
Uit de resultaten van elke zoekopdracht blijkt duidelijk dat online plagiaatdetectoren niet perfect zijn. Voor meer complexe antwoorden of stukken schrijven (zoals in het geval van mijn tweede prompt), is het iets eenvoudiger voor deze apps om het op AI gebaseerde schrijven te detecteren, terwijl de eenvoudigere reacties veel moeilijker zijn afleiden. Maar het is duidelijk niet wat ik betrouwbaar zou noemen. Af en toe classificeren deze detectietools artikelen of essays verkeerd als door ChatGPT gegenereerd, wat een probleem is voor docenten of redacteuren die erop willen vertrouwen om valsspelers te vangen.
Ontwikkelaars zijn voortdurend bezig met het verfijnen van de nauwkeurigheid en fout-positieve percentages, maar ze zetten zich ook schrap voor de komst van GPT-3, dat een aanzienlijk verbeterde dataset en complexere mogelijkheden aanprijst dan GPT-2 (waarvan ChatGPT is getraind van).
Op dit moment zullen redacteuren en docenten oordeelkundigheid en een beetje menselijke intuïtie moeten combineren met een (of meer) van deze AI-detectoren om inhoud te identificeren die door AI's is gegenereerd. En voor chatbotgebruikers die chatbots zoals Chatsonic, ChatGPT, Notion of YouChat hebben of in de verleiding komen om hun "werk" als legitiem door te geven - doe dat alsjeblieft niet. Het opnieuw gebruiken van inhoud die is gemaakt door een bot (die afkomstig is uit vaste bronnen in zijn database) is nog steeds plagiaat, hoe je het ook bekijkt.
Aanbevelingen van de redactie
- Google Bard kan nu spreken, maar kan het ChatGPT overstemmen?
- ChatGPT: het laatste nieuws, controverses en tips die u moet weten
- De Bing-browsefunctie van ChatGPT is uitgeschakeld vanwege een toegangsfout in de betaalmuur
- 81% denkt dat ChatGPT een beveiligingsrisico vormt, zo blijkt uit onderzoek
- Apple's ChatGPT-rivaal schrijft mogelijk automatisch code voor u
Upgrade je levensstijlDigital Trends helpt lezers de snelle wereld van technologie in de gaten te houden met het laatste nieuws, leuke productrecensies, verhelderende hoofdartikelen en unieke sneak peeks.
