ChatGPT 표절을 탐지하는 방법과 탐지가 어려운 이유

요즘 핫한 챗봇, 채팅GPT 그 중 최고입니다. 그러나 응답이 얼마나 강력하고 인간적인지 덕분에 학자, 교육자 및 편집자는 모두 AI 생성 표절 및 부정 행위의 증가하는 조류에 대처하고 있습니다. 오래된 표절 탐지 도구로는 가짜에서 진짜를 알아내기에 충분하지 않을 수 있습니다.

내용물

  • 다양한 감지 옵션
  • 시험해 보기
  • 폐쇄

이 기사에서는 AI 챗봇의 악몽 같은 측면에 대해 조금 이야기하고, 몇 가지 온라인 표절 탐지 도구를 확인하고, 상황이 얼마나 심각한지 알아보겠습니다.

ChatGPT 및 OpenAI 로고.

다양한 감지 옵션

최신 2022년 11월 시작 릴리스 OpenAI의 ChatGPT 기본적으로 챗봇의 능력을 각광받게 했습니다. 그것은 일반 Joe(또는 모든 전문가)가 똑똑하고 이해하기 쉬운 에세이 또는 기사를 생성하고 텍스트 기반 수학 문제를 해결할 수 있도록 했습니다. 인식하지 못하거나 경험이 없는 독자에게 AI가 만든 콘텐츠는 합법적인 글로 쉽게 통과할 수 있습니다. 이것이 학생들이 좋아하고 교사가 싫어하는 이유입니다.

관련된

  • ChatGPT 제조사 OpenAI, 소비자 보호법에 대한 FTC 조사 직면
  • ChatGPT 웹사이트 트래픽이 처음으로 감소했습니다.
  • 시도해 볼 최고의 AI 챗봇: ChatGPT, Bard 등

AI 쓰기 도구의 큰 도전은 자연어를 사용하는 양날의 검 능력과 콘텐츠 자체가 데이터 베이스. 이는 AI 기반 부정 행위를 이기기 위한 경쟁이 시작되었음을 의미합니다. 다음은 지금 무료로 사용할 수 있는 몇 가지 옵션입니다.

추천 동영상

GPT-2 출력 감지기 ChatGPT 개발자 OpenAI에서 직접 제공하여 챗봇 텍스트를 감지할 수 있는 봇이 있음을 보여줍니다. Output Detector는 사용하기 쉽습니다. 사용자는 텍스트 필드에 텍스트를 입력하기만 하면 해당 텍스트가 인간에게서 온 것인지 아닌지에 대한 평가를 즉시 제공합니다.

깨끗한 UI를 가진 두 가지 추가 도구는 다음과 같습니다. Writer AI 콘텐츠 탐지기 그리고 대규모 콘텐츠. 콘텐츠를 스캔하기 위해 URL을 추가하거나(작성자 전용) 수동으로 텍스트를 추가할 수 있습니다. 결과에는 콘텐츠가 인간이 생성한 것일 가능성에 대한 백분율 점수가 부여됩니다.

지피티제로 Streamlit에서 호스팅되고 Princeton University 학생 Edward Zen이 만든 집에서 만든 베타 도구입니다. "algiarism"(AI 지원 표절) 모델이 결과를 제시하는 방식이 나머지 모델과 다릅니다. GPTZero는 메트릭을 난처함과 분출로 나눕니다. Burstiness는 텍스트의 모든 문장에 대한 전반적인 무작위성을 측정하는 반면 Perplexity는 문장의 무작위성을 측정합니다. 이 도구는 두 메트릭에 숫자를 할당합니다. 숫자가 낮을수록 텍스트가 봇에 의해 생성되었을 가능성이 큽니다.

GPTZero의 스크린샷.

그냥 재미로 포함시켰습니다 거대한 언어 모델 테스트 룸 (GLTR), MIT-IBM Watson AI Lab 및 Harvard Natural Language Processing Group의 연구원들이 개발했습니다. GPTZero와 마찬가지로 명확한 "인간" 또는 "봇" 구분으로 최종 결과를 제시하지 않습니다. GLTR은 기본적으로 봇을 사용하여 봇이 작성한 텍스트를 식별합니다. 봇은 예측할 수 없는 단어를 선택할 가능성이 적기 때문입니다. 따라서 결과는 색상으로 구분된 히스토그램으로 표시되어 AI 생성 텍스트와 인간 생성 텍스트의 순위를 매깁니다. 예측할 수 없는 텍스트의 양이 많을수록 사람이 쓴 텍스트일 가능성이 높습니다.

시험해 보기

GPT-2 감지기의 출력.

이러한 모든 옵션은 우리가 AI 탐지에 대해 좋은 위치에 있다고 생각하게 만들 수 있습니다. 하지만 이러한 각 도구의 실제 효과를 테스트하기 위해 직접 사용해 보고 싶었습니다. 그래서 저는 ChatGPT와 같은 질문에 대한 응답으로 작성한 몇 개의 샘플 문단을 실행했습니다.

내 첫 번째 질문은 간단했습니다. 사전 제작된 PC를 구입하는 것이 눈살을 찌푸리게 하는 이유는 무엇입니까? 다음은 ChatGPT의 응답과 비교한 내 답변입니다.

내 진짜 글 채팅GPT
GPT-2 출력 감지기 1.18% 가짜 36.57% 가짜
작가 AI 100% 인간 99% 인간
대규모 콘텐츠 99% 인간 73% 인간
지피티제로 80 당혹감 50 당혹감
GLTR 66개 단어 중 12개 단어 15개 또는 79개 단어

보시다시피, 이러한 앱의 대부분은 내 말이 진짜임을 알 수 있으며 처음 세 개가 가장 정확합니다. 그러나 ChatGPT는 응답으로 이러한 감지기 앱의 대부분을 속였습니다. 우선 Writer AI Content Detector 앱에서 99% 인간 점수를 받았고 GPT 기반 탐지기에서 36%만 가짜로 표시되었습니다. GLTR은 내 자신의 말이 ChatGPT의 말과 마찬가지로 인간에 의해 쓰여질 가능성이 있다고 주장하면서 가장 큰 범죄자였습니다.

Write AI Detector로 출력합니다.

그래도 한 번 더 시도하기로 결정했고 이번에는 반응이 크게 개선되었습니다. 저는 ChatGPT에 스위스 연방 공과대학(Swiss Federal Institute of Technology)의 금 입자를 사용한 김서림 방지 연구 요약을 요청했습니다. 이 예에서 감지기 앱은 내 응답을 승인하고 ChatGPT를 감지하는 데 훨씬 더 나은 작업을 수행했습니다.

내 진짜 글 채팅GPT
GPT-2 출력 감지기 9.28% 가짜 99.97% 가짜
작가 AI 95% 인간 2% 인간
대규모 콘텐츠 92% 인간 0% (당연히 AI)
지피티제로 41 당혹감 23 당혹감
GLTR 79개 단어 중 15개 단어 98개 단어 중 4개

상위 3개 테스트는 이 응답에서 실제로 강점을 보여주었습니다. 그리고 GLTR은 여전히 ​​내 글을 인간으로 보는 데 어려움을 겪었지만 적어도 이번에는 ChatGPT를 잘 잡았습니다.

폐쇄

온라인 표절 탐지기가 완벽하지 않다는 것은 각 쿼리의 결과에서 명백합니다. 더 복잡한 답변이나 글의 경우(예: 두 번째 프롬프트의 경우) 조금 더 쉽습니다. 이러한 앱은 AI 기반 쓰기를 감지하는 반면 간단한 응답은 훨씬 더 어렵습니다. 추론하다 그러나 분명히 그것은 내가 신뢰할 수 있다고 부르는 것이 아닙니다. 때때로 이러한 감지기 도구는 기사나 에세이를 ChatGPT에서 생성된 것으로 잘못 분류하는데, 이는 사기꾼을 잡기 위해 이러한 도구에 의존하려는 교사나 편집자에게 문제가 됩니다.

개발자는 지속적으로 정확도와 거짓 긍정 비율을 미세 조정하고 있지만 GPT-2(ChatGPT가 교육받은 GPT-2보다 훨씬 향상된 데이터 세트와 더 복잡한 기능을 자랑하는 GPT-3) 에서).

이 시점에서 AI가 생성한 콘텐츠를 식별하기 위해 편집자와 교육자는 이러한 AI 감지기 중 하나(또는 그 이상)를 사용하여 신중함과 약간의 인간 직관을 결합해야 합니다. 그리고 Chatsonic, ChatGPT, Notion 또는 YouChat과 같은 챗봇을 가지고 있거나 사용하려는 유혹을 받는 챗봇 사용자는 자신의 "작업"을 합법적으로 전달하지 마십시오. 봇(데이터베이스 내의 고정 소스에서 소스를 가져오는)이 만든 콘텐츠를 용도 변경하는 것은 어떻게 보든 여전히 표절입니다.

편집자 추천

  • Google Bard는 이제 말할 수 있지만 ChatGPT를 익사시킬 수 있습니까?
  • ChatGPT: 최신 뉴스, 논란, 알아야 할 팁
  • 페이월 액세스 결함으로 ChatGPT의 Bing 브라우징 기능 비활성화
  • 81%는 ChatGPT가 보안 위험이라고 생각하는 설문 조사 결과
  • Apple의 ChatGPT 라이벌이 자동으로 코드를 작성할 수 있습니다.

당신의 라이프스타일을 업그레이드하세요Digital Trends는 모든 최신 뉴스, 재미있는 제품 리뷰, 통찰력 있는 사설 및 독특한 미리보기를 통해 독자가 빠르게 변화하는 기술 세계를 파악할 수 있도록 도와줍니다.