Hogyan lehet felismerni a ChatGPT-plágiumot, és miért olyan nehéz

A chatbotok mostanában nagyon népszerűek, és ChatGPT közöttük a fő. De annak köszönhetően, hogy milyen erőteljes és emberszerűek a válaszai, az akadémikusok, az oktatók és a szerkesztők mind megküzdenek a mesterséges intelligencia által generált plágium és csalás növekvő áradatával. Előfordulhat, hogy a régi plágiumészlelő eszközei nem elegendőek ahhoz, hogy kiszagolják az igazit a hamisítványból.

Ebben a cikkben beszélek egy kicsit az AI chatbotok rémálomszerű oldaláról, megnézek néhány online plágiumészlelő eszközt, és megvizsgálom, milyen szörnyűvé vált a helyzet.

Rengeteg észlelési lehetőség

A startup legújabb, 2022. novemberi kiadása Az OpenAI ChatGPT-je alapvetően a chatbot bátorságát tűzte a rivaldafénybe. Lehetővé tette bármely szokásos Joe-nak (vagy bármely szakembernek), hogy intelligens, érthető esszéket vagy cikkeket generáljon, és szöveges matematikai problémákat oldjon meg. A tudatlan vagy tapasztalatlan olvasó számára a mesterséges intelligencia által létrehozott tartalom könnyen átadható legális írásnak, ezért a diákok szeretik – a tanárok pedig utálják.

A mesterséges intelligencia íróeszközeivel nagy kihívást jelent a kétélű kard képessége a természetes nyelv használatára és nyelvtan egyedi és szinte személyre szabott tartalom felépítéséhez még akkor is, ha maga a tartalom a adatbázis. Ez azt jelenti, hogy folyik a verseny az AI-alapú csalás legyőzéséért. Íme néhány olyan lehetőség, amelyeket találtam, amelyek jelenleg ingyenesek.

GPT-2 kimeneti érzékelő egyenesen a ChatGPT fejlesztő OpenAI-tól származik, hogy bemutassa, hogy van egy botja, amely képes észlelni a chatbot szövegét. Az Output Detector használata egyszerű – a felhasználóknak csak szöveget kell beírniuk egy szövegmezőbe, és az eszköz azonnal felméri, mennyire valószínű, hogy a szöveg embertől származik.

Két további eszköz, amelyek tiszta felhasználói felülettel rendelkeznek Writer AI tartalomdetektor és Tartalom méretben. Hozzáadhat egy URL-t a tartalom átvizsgálásához (csak író), vagy manuálisan is hozzáadhat szöveget. Az eredmények százalékos pontszámot kapnak arra vonatkozóan, hogy mennyire valószínű, hogy a tartalom ember által generált.

GPTZero egy házi készítésű béta eszköz, amelyet a Streamlit szolgáltat, és a Princetoni Egyetem hallgatója, Edward Zen készítette. Abban különbözik a többitől, hogy az „algiarizmus” (AI-assisted plagiarism) modell hogyan mutatja be eredményeit. A GPTZero a mérőszámokat zavartságra és durvaságra bontja. A burstness a szöveg összes mondatának általános véletlenszerűségét méri, míg a zavarodottság a mondat véletlenszerűségét méri. Az eszköz mindkét metrikához számot rendel – minél kisebb a szám, annál nagyobb a valószínűsége, hogy a szöveget egy bot hozta létre.

Csak szórakozásból, beletettem Óriás nyelvi modell tesztterem (GLTR), amelyet az MIT-IBM Watson AI Lab és a Harvard Natural Language Processing Group kutatói fejlesztettek ki. A GPTZerohoz hasonlóan a végeredményt sem egyértelmű „emberi” vagy „bot” megkülönböztetésként mutatja be. A GLTR alapvetően botokat használ a botok által írt szöveg azonosítására, mivel a robotok kevésbé valószínű, hogy kiszámíthatatlan szavakat választanak ki. Ezért az eredmények színkódolt hisztogramként jelennek meg, amely az AI által generált szöveget rangsorolja az ember által generált szöveghez képest. Minél több a kiszámíthatatlan szöveg, annál valószínűbb, hogy a szöveg embertől származik.

Próbára téve őket

Mindezek a lehetőségek azt gondolhatják, hogy jó helyen járunk az AI-észlelés terén. De hogy teszteljem ezen eszközök tényleges hatékonyságát, ki akartam próbálni magam. Ezért lefuttattam néhány minta bekezdést, amelyeket azokra a kérdésekre válaszolva írtam, amelyeket szintén feltettem, jelen esetben a ChatGPT-nek.

Az első kérdésem egyszerű volt: Miért rossz az előre épített PC vásárlása? A saját válaszaim hogyan hasonlíthatók össze a ChatGPT válaszával.

Amint látja, a legtöbb ilyen alkalmazás meg tudta állapítani, hogy a szavaim valódiak voltak, és az első három a legpontosabb. De a ChatGPT a legtöbb ilyen detektoralkalmazást is megtévesztette a válaszával. Kezdetnek a Writer AI Content Detector alkalmazásban 99%-ban embert ért el, és a GPT-alapú detektor mindössze 36%-os hamisnak minősítette. A GLTR volt a legnagyobb bűnelkövető, azt állította, hogy a saját szavaimat ugyanolyan valószínű, hogy ember írta, mint a ChatGPT szavait.

Úgy döntöttem azonban, hogy adok neki még egy esélyt, és ezúttal a válaszok jelentősen javultak. Megkértem a ChatGPT-t, hogy adjon összefoglalót a Svájci Szövetségi Technológiai Intézetnek az aranyrészecskék felhasználásával végzett párásodás elleni kutatásáról. Ebben a példában az érzékelőalkalmazások sokkal jobb munkát végeztek a saját válaszom jóváhagyásával és a ChatGPT észlelésével.

Az első három teszt igazán megmutatta erejét ebben a válaszban. És bár a GLTR-nek még mindig nehezen tudta emberinek látni a saját írásomat, ezúttal legalább jót tett, hogy elkapja a ChatGPT-t.

Záró

Az egyes lekérdezések eredményeiből nyilvánvaló, hogy az online plágiumdetektorok nem tökéletesek. Bonyolultabb válaszok vagy írások esetében (például a második felszólításnál) ez egy kicsit egyszerűbb ezeknek az alkalmazásoknak az AI-alapú írás észlelésére, míg az egyszerűbb válaszokat sokkal nehezebb következtetni. De egyértelműen nem ezt nevezném megbízhatónak. Időnként ezek az érzékelőeszközök rosszul minősítik a cikkeket vagy esszéket a ChatGPT által generáltnak, ami problémát jelent azoknak a tanároknak vagy szerkesztőknek, akik rájuk támaszkodnak a csalók elkapásában.

A fejlesztők folyamatosan finomhangolják a pontosságot és a hamis pozitív arányokat, de készülnek a GPT-3, amely jelentősen továbbfejlesztett adatkészletet és összetettebb képességeket kínál, mint a GPT-2 (amelyből a ChatGPT van kiképezve tól től).

Ezen a ponton a mesterséges intelligencia által generált tartalom azonosítása érdekében a szerkesztőknek és az oktatóknak a megfontoltságot és egy kis emberi intuíciót kell kombinálniuk egy (vagy több) ilyen mesterséges intelligencia-detektorral. Azoknak a chatbot-felhasználóknak pedig, akiknek van vagy hajlamosak arra, hogy olyan chatbotokat használjanak, mint a Chatsonic, a ChatGPT, a Notion vagy a YouChat, hogy „munkájukat” legálisnak adják át – kérjük, ne tegyék. Egy bot által létrehozott tartalom újrahasznosítása (amely az adatbázisában rögzített forrásból származik) továbbra is plágium, akárhogyan is nézzük.

Szerkesztői ajánlások

• A Google Bard már beszélni tud, de ki tudja-e fojtani a ChatGPT-t?
• ChatGPT: a legfrissebb hírek, viták és tippek, amelyeket tudnia kell
• A ChatGPT Bing böngészési funkciója le van tiltva a fizetőfal hozzáférési hibája miatt
• A felmérés szerint 81%-uk úgy gondolja, hogy a ChatGPT biztonsági kockázatot jelent
• Az Apple ChatGPT riválisa automatikusan kódot írhat helyetted

Frissítse életmódjátA Digital Trends segítségével az olvasók nyomon követhetik a technológia rohanó világát a legfrissebb hírekkel, szórakoztató termékismertetőkkel, éleslátó szerkesztőségekkel és egyedülálló betekintésekkel.