Chatboti sú momentálne horúcou záležitosťou a ChatGPT je medzi nimi hlavný. Ale vďaka tomu, aké silné a ľudské sú jeho reakcie, sa akademici, pedagógovia a redaktori vyrovnávajú so stúpajúcim prílivom plagiátorstva a podvádzania generovaného AI. Vaše staré nástroje na odhaľovanie plagiátov nemusia stačiť na to, aby ste odlíšili skutočné od falošného.
Obsah
- Veľa možností detekcie
- Dávať ich na skúšku
- Zatváranie
V tomto článku hovorím trochu o tejto nočnej mory chatbotov AI, vyskúšam niekoľko online nástrojov na odhaľovanie plagiátov a preskúmam, do akej hroznej sa situácia stala.
Veľa možností detekcie
Najnovšie vydanie spustenia z novembra 2022 ChatGPT od OpenAI v podstate vytlačil zdatnosť chatbotov do centra pozornosti. To umožnilo každému bežnému Joeovi (alebo akémukoľvek profesionálovi) vytvárať inteligentné, zrozumiteľné eseje alebo články a riešiť matematické problémy založené na texte. Pre nevedomého alebo neskúseného čitateľa môže obsah vytvorený AI celkom ľahko prejsť ako legitímny text, a preto ho študenti milujú – a učitelia ho nenávidia.
Súvisiace
- Výrobca ChatGPT OpenAI čelí vyšetrovaniu FTC v súvislosti so zákonmi na ochranu spotrebiteľa
- Návštevnosť webu ChatGPT prvýkrát klesla
- Najlepšie chatboty AI na vyskúšanie: ChatGPT, Bard a ďalšie
Veľkou výzvou s nástrojmi na písanie AI je ich schopnosť používať prirodzený jazyk a dvojsečný meč gramatiky na vytvorenie jedinečného a takmer individualizovaného obsahu, aj keď samotný obsah bol čerpaný z a databázy. To znamená, že preteky o porazenie podvádzania založeného na AI sú v plnom prúde. Tu je niekoľko možností, ktoré som našiel a ktoré sú momentálne k dispozícii zadarmo.
Odporúčané videá
Výstupný detektor GPT-2 pochádza priamo od vývojára ChatGPT OpenAI, aby preukázal, že má robota schopného rozpoznať text chatbota. Output Detector sa ľahko používa – používatelia musia zadať text do textového poľa a nástroj okamžite vyhodnotí, aká je pravdepodobnosť, že text pochádza od človeka alebo nie.
Ďalšie dva nástroje, ktoré majú čisté používateľské rozhranie, sú Writer AI Content Detector a Obsah v mierke. Môžete buď pridať adresu URL na skenovanie obsahu (len zapisovateľ), alebo manuálne pridať text. Výsledky sú dané percentuálnym skóre, ktoré ukazuje, aká je pravdepodobnosť, že obsah vytvoril človek.
GPTZero je domáci beta nástroj hostený na Streamlite a vytvorený študentom Princetonskej univerzity Edwardom Zenom. Líši sa od ostatných v tom, ako model „algiarizmu“ (plagiátorstvo s asistenciou AI) prezentuje svoje výsledky. GPTZero rozdeľuje metriky na zmätenosť a praskotu. Burstiness meria celkovú náhodnosť pre všetky vety v texte, zatiaľ čo zmätok meria náhodnosť vo vete. Nástroj priradí číslo obom metrikám – čím nižšie číslo, tým väčšia pravdepodobnosť, že text vytvoril robot.
Len pre zaujímavosť som zaradil Obrovská testovacia miestnosť pre jazykový model (GLTR), ktorý vyvinuli výskumníci z laboratória MIT-IBM Watson AI Lab a Harvard Natural Language Processing Group. Rovnako ako GPTZero neprezentuje svoje konečné výsledky ako jasné rozlíšenie medzi „človekom“ alebo „botom“. GLTR v podstate používa roboty na identifikáciu textu napísaného robotmi, pretože je menej pravdepodobné, že roboty vyberú nepredvídateľné slová. Preto sú výsledky prezentované ako farebne odlíšený histogram, ktorý hodnotí text vygenerovaný AI v porovnaní s textom vytvoreným človekom. Čím väčšie množstvo nepredvídateľného textu, tým je pravdepodobnejšie, že text pochádza od človeka.
Dávať ich na skúšku
Všetky tieto možnosti vás môžu prinútiť myslieť si, že s detekciou AI sme na dobrom mieste. Ale aby som otestoval skutočnú účinnosť každého z týchto nástrojov, chcel som to vyskúšať na vlastnej koži. Spustil som teda niekoľko vzorových odsekov, ktoré som napísal ako odpoveď na otázky, ktoré som položil aj ja, v tomto prípade ChatGPT.
Moja prvá otázka bola jednoduchá: Prečo je nákup vopred zostaveného počítača sklamaný? Tu sú moje vlastné odpovede v porovnaní s odpoveďou od ChatGPT.
| Moje skutočné písanie | ChatGPT | |
| Výstupný detektor GPT-2 | 1,18 % falošné | 36,57 % falošné |
| Spisovateľ AI | 100% človek | 99% človek |
| Obsah v mierke | 99% človek | 73% ľudí |
| GPTZero | 80 zmätok | 50 zmätok |
| GLTR | 12 zo 66 slov pravdepodobne od človeka | 15 alebo 79 slov pravdepodobne od človeka |
Ako vidíte, väčšina z týchto aplikácií vedela povedať, že moje slová boli pravé, pričom prvé tri boli najpresnejšie. Ale ChatGPT oklamal väčšinu týchto aplikácií detektora svojou reakciou. V aplikácii Writer AI Content Detector dosiahol pre začiatok 99 % ľudí a detektorom založeným na GPT bol označený len za 36 % falošný. Najväčším previnilcom bol GLTR, ktorý tvrdil, že moje vlastné slová napíše človek rovnako pravdepodobne ako slová ChatGPT.
Rozhodol som sa tomu však dať ešte jednu šancu a tentoraz sa odozvy výrazne zlepšili. Požiadal som ChatGPT, aby poskytol súhrn výskumu Švajčiarskeho federálneho technologického inštitútu v oblasti proti zahmlievaniu pomocou zlatých častíc. V tomto príklade aplikácie detektorov odviedli oveľa lepšiu prácu pri schvaľovaní mojej vlastnej odpovede a detekcii ChatGPT.
| Moje skutočné písanie | ChatGPT | |
| Výstupný detektor GPT-2 | 9,28 % falošné | 99,97% falošné |
| Spisovateľ AI | 95% ľudí | 2 % človeka |
| Obsah v mierke | 92% ľudí | 0 % (samozrejme AI) |
| GPTZero | 41 zmätok | 23 zmätok |
| GLTR | 15 zo 79 slov pravdepodobne od človeka | 4 z 98 slov pravdepodobne od človeka |
Tri najlepšie testy skutočne ukázali svoju silu v tejto odozve. A aj keď GLTR stále ťažko vnímal moje vlastné písanie ako ľudské, tentoraz sa mu podarilo zachytiť ChatGPT.
Zatváranie
Z výsledkov každého dotazu je zrejmé, že online detektory plagiátov nie sú dokonalé. V prípade zložitejších odpovedí alebo kúskov písania (ako napríklad v prípade mojej druhej výzvy) je to o niečo jednoduchšie aby tieto aplikácie rozpoznali písanie založené na AI, zatiaľ čo jednoduchšie reakcie sú oveľa ťažšie vyvodiť. Ale je jasné, že to nie je to, čo by som nazval spoľahlivým. Príležitostne tieto detekčné nástroje nesprávne klasifikujú články alebo eseje ako generované ChatGPT, čo je problém pre učiteľov alebo redaktorov, ktorí sa na ne chcú spoľahnúť pri chytaní podvodníkov.
Vývojári neustále dolaďujú presnosť a počet falošne pozitívnych výsledkov, ale tiež sa pripravujú na príchod GPT-3, ktorý ponúka výrazne vylepšený súbor údajov a komplexnejšie možnosti ako GPT-2 (z ktorých je trénovaný ChatGPT od).
V tomto bode, aby bolo možné identifikovať obsah generovaný AI, redaktori a pedagógovia budú musieť spojiť rozumnosť a trochu ľudskej intuície s jedným (alebo viacerými) z týchto detektorov AI. A pre používateľov chatbotov, ktorí majú alebo sú v pokušení používať chatboty, ako sú Chatsonic, ChatGPT, Notion alebo YouChat, aby odovzdali svoju „prácu“ ako legitímnu – prosím, nie. Prepracovanie obsahu vytvoreného robotom (ktorý pochádza z pevných zdrojov v rámci jeho databázy) je stále plagiátom bez ohľadu na to, ako sa naň pozeráte.
Odporúčania redaktorov
- Google Bard teraz môže hovoriť, ale dokáže prehlušiť ChatGPT?
- ChatGPT: najnovšie správy, kontroverzie a tipy, ktoré potrebujete vedieť
- Funkcia prehliadania Bing služby ChatGPT je deaktivovaná kvôli chybe v prístupe k paywallu
- 81 % si myslí, že ChatGPT je bezpečnostné riziko, zistil prieskum
- Konkurent spoločnosti Apple ChatGPT môže automaticky napísať kód za vás
Zlepšite svoj životný štýlDigitálne trendy pomáhajú čitateľom mať prehľad o rýchlo sa rozvíjajúcom svete technológií so všetkými najnovšími správami, zábavnými recenziami produktov, užitočnými úvodníkmi a jedinečnými ukážkami.
