Jak wykryć plagiat ChatGPT i dlaczego jest to takie trudne

Chatboty są teraz gorącym tematem i ChatGPT jest wśród nich głównym. Ale dzięki temu, jak potężne i ludzkie są jego reakcje, naukowcy, pedagodzy i redaktorzy mają do czynienia z rosnącą falą plagiatu i oszustw generowanych przez sztuczną inteligencję. Twoje stare narzędzia do wykrywania plagiatu mogą nie wystarczyć do odróżnienia prawdziwego od fałszywego.

W tym artykule opowiem trochę o tej koszmarnej stronie chatbotów AI, sprawdzę kilka internetowych narzędzi do wykrywania plagiatu i zbadam, jak tragiczna stała się sytuacja.

Wiele opcji wykrywania

Najnowsza wersja startupu z listopada 2022 r ChatGPT OpenAI w zasadzie pchnął sprawność chatbota w centrum uwagi. Umożliwiło to każdemu zwykłemu Joe (lub każdemu profesjonaliście) generowanie inteligentnych, zrozumiałych esejów lub artykułów oraz rozwiązywanie problemów matematycznych opartych na tekście. Dla nieświadomego lub niedoświadczonego czytelnika treść stworzona przez sztuczną inteligencję może z łatwością uchodzić za autentyczny tekst, dlatego uczniowie ją uwielbiają, a nauczyciele jej nienawidzą.

Wielkim wyzwaniem związanym z narzędziami do pisania AI jest ich obosieczna umiejętność używania języka naturalnego i gramatykę do tworzenia unikalnych i niemal zindywidualizowanych treści, nawet jeśli sama treść została zaczerpnięta z Baza danych. Oznacza to, że wyścig o pokonanie oszustw opartych na sztucznej inteligencji trwa. Oto kilka znalezionych przeze mnie opcji, które są teraz dostępne za darmo.

Detektor wyjścia GPT-2 pochodzi bezpośrednio od dewelopera ChatGPT OpenAI, aby zademonstrować, że ma bota zdolnego do wykrywania tekstu chatbota. Wykrywacz danych wyjściowych jest łatwy w użyciu — wystarczy wpisać tekst w polu tekstowym, a narzędzie natychmiast oceni, jakie jest prawdopodobieństwo, że tekst pochodzi od człowieka.

Są jeszcze dwa narzędzia, które mają czyste interfejsy użytkownika Wykrywacz treści AI pisarza I Zawartość w skali. Możesz dodać adres URL, aby przeskanować zawartość (tylko pisarz) lub ręcznie dodać tekst. Wyniki otrzymują procentową ocenę prawdopodobieństwa, że ​​treść została stworzona przez człowieka.

GPTZero to domowe narzędzie w wersji beta hostowane w Streamlit i stworzone przez studenta Uniwersytetu Princeton, Edwarda Zena. Różni się od pozostałych tym, jak model „algiarism” (plagiat wspomagany przez sztuczną inteligencję) prezentuje swoje wyniki. GPTZero rozbija metryki na zakłopotanie i rozerwanie. Burstiness mierzy ogólną losowość wszystkich zdań w tekście, podczas gdy zakłopotanie mierzy losowość w zdaniu. Narzędzie przypisuje liczbę do obu metryk — im niższa liczba, tym większe prawdopodobieństwo, że tekst został stworzony przez bota.

Tylko dla zabawy, włączyłem Gigantyczny pokój do testowania modeli językowych (GLTR), opracowany przez naukowców z MIT-IBM Watson AI Lab i Harvard Natural Language Processing Group. Podobnie jak GPTZero, nie przedstawia swoich ostatecznych wyników jako wyraźnego rozróżnienia na „człowieka” lub „bota”. GLTR zasadniczo używa botów do identyfikowania tekstu napisanego przez boty, ponieważ boty rzadziej wybierają nieprzewidywalne słowa. W związku z tym wyniki są prezentowane jako histogram oznaczony kolorami, porównujący tekst wygenerowany przez sztuczną inteligencję z tekstem wygenerowanym przez człowieka. Im większa ilość nieprzewidywalnego tekstu, tym większe prawdopodobieństwo, że pochodzi on od człowieka.

Wystawienie ich na próbę

Wszystkie te opcje mogą sprawić, że pomyślisz, że jesteśmy w dobrym miejscu, jeśli chodzi o wykrywanie AI. Ale aby sprawdzić rzeczywistą skuteczność każdego z tych narzędzi, chciałem wypróbować je na sobie. Więc uruchomiłem kilka przykładowych akapitów, które napisałem w odpowiedzi na pytania, które również zadałem, w tym przypadku ChatGPT.

Moje pierwsze pytanie było proste: dlaczego kupowanie gotowego komputera nie jest mile widziane? Oto porównanie moich własnych odpowiedzi z odpowiedziami z ChatGPT.

Jak widać, większość z tych aplikacji mogła powiedzieć, że moje słowa były autentyczne, przy czym pierwsze trzy były najdokładniejsze. Ale ChatGPT oszukał również większość tych aplikacji wykrywających swoją reakcją. Na początek zdobył 99% ludzi w aplikacji Writer AI Content Detector i został oznaczony jako fałszywy w zaledwie 36% przez detektor oparty na GPT. GLTR był największym winowajcą, twierdząc, że moje własne słowa z takim samym prawdopodobieństwem zostały napisane przez człowieka, jak słowa ChatGPT.

Postanowiłem jednak dać mu jeszcze jedną szansę i tym razem reakcje znacznie się poprawiły. Poprosiłem ChatGPT o przedstawienie podsumowania badań Szwajcarskiego Federalnego Instytutu Technologii nad zapobieganiem parowaniu przy użyciu cząsteczek złota. W tym przykładzie aplikacje detektora znacznie lepiej poradziły sobie z zatwierdzeniem mojej własnej odpowiedzi i wykryciem ChatGPT.

Trzy najlepsze testy naprawdę pokazały swoją siłę w tej odpowiedzi. I chociaż GLTR wciąż miał trudności z postrzeganiem mojego własnego pisania jako człowieka, przynajmniej tym razem udało mu się złapać ChatGPT.

Zamknięcie

Z wyników każdego zapytania wynika, że ​​wykrywacze plagiatu online nie są doskonałe. W przypadku bardziej złożonych odpowiedzi lub fragmentów tekstu (jak w przypadku mojego drugiego monitu) jest nieco łatwiej aby te aplikacje wykrywały pismo oparte na sztucznej inteligencji, podczas gdy prostsze odpowiedzi są znacznie trudniejsze wywieść. Ale najwyraźniej nie jest to coś, co nazwałbym niezawodnym. Czasami te narzędzia wykrywające błędnie klasyfikują artykuły lub eseje jako wygenerowane przez ChatGPT, co stanowi problem dla nauczycieli lub redaktorów, którzy chcą polegać na nich w łapaniu oszustów.

Deweloperzy nieustannie dostrajają dokładność i współczynniki fałszywych trafień, ale przygotowują się również na nadejście GPT-3, który reklamuje znacznie ulepszony zestaw danych i bardziej złożone możliwości niż GPT-2 (z którego wyszkolono ChatGPT z).

W tym momencie, aby zidentyfikować treści generowane przez sztuczną inteligencję, redaktorzy i nauczyciele będą musieli połączyć rozsądek i odrobinę ludzkiej intuicji z jednym (lub kilkoma) z tych detektorów sztucznej inteligencji. A dla użytkowników chatbotów, którzy mają lub mają ochotę używać chatbotów, takich jak Chatsonic, ChatGPT, Notion lub YouChat, aby uchodzić za legalną „pracę” — nie róbcie tego. Zmiana przeznaczenia treści stworzonych przez bota (pochodzących ze stałych źródeł w jego bazie danych) nadal jest plagiatem, bez względu na to, jak na to patrzysz.

Zalecenia redaktorów

• Google Bard może teraz mówić, ale czy może zagłuszyć ChatGPT?
• ChatGPT: najnowsze wiadomości, kontrowersje i wskazówki, które musisz znać
• Funkcja przeglądania Bing w ChatGPT została wyłączona z powodu błędu w dostępie do paywalla
• 81% uważa, że ​​ChatGPT stanowi zagrożenie dla bezpieczeństwa, wynika z ankiety
• Rywal Apple ChatGPT może automatycznie napisać dla ciebie kod

Ulepsz swój styl życiaTrendy cyfrowe pomagają czytelnikom śledzić szybko zmieniający się świat technologii dzięki najnowszym wiadomościom, zabawnym recenzjom produktów, wnikliwym artykułom redakcyjnym i jedynym w swoim rodzaju zapowiedziom.