Bagaimana cara mendeteksi plagiarisme ChatGPT, dan mengapa begitu sulit

Chatbots adalah barang panas saat ini, dan ChatGPT adalah yang utama di antara mereka. Namun berkat betapa kuat dan manusiawi tanggapannya, akademisi, pendidik, dan editor semuanya berurusan dengan gelombang pasang plagiarisme dan kecurangan yang dihasilkan AI. Alat pendeteksi plagiarisme lama Anda mungkin tidak cukup untuk mengendus yang asli dari yang palsu.

Dalam artikel ini, saya berbicara sedikit tentang sisi mimpi buruk AI chatbots ini, memeriksa beberapa alat pendeteksi plagiarisme online, dan menjelajahi betapa mengerikan situasinya.

Banyak pilihan deteksi

Rilis startup terbaru November 2022 ChatGPT OpenAI pada dasarnya mendorong kehebatan chatbot menjadi pusat perhatian. Itu memungkinkan Joe biasa (atau profesional mana pun) untuk menghasilkan esai atau artikel yang cerdas dan dapat dipahami, dan memecahkan masalah matematika berbasis teks. Bagi pembaca yang tidak sadar atau tidak berpengalaman, konten yang dibuat oleh AI dapat dengan mudah dianggap sebagai tulisan yang sah, itulah sebabnya siswa menyukainya — dan guru membencinya.

Tantangan besar dengan alat tulis AI adalah kemampuan pedang bermata dua mereka untuk menggunakan bahasa alami dan tata bahasa untuk membangun konten yang unik dan hampir individual bahkan jika konten itu sendiri diambil dari a basis data. Itu berarti perlombaan untuk mengalahkan kecurangan berbasis AI sedang berlangsung. Berikut adalah beberapa opsi yang saya temukan yang tersedia sekarang secara gratis.

Detektor Keluaran GPT-2 datang langsung dari pengembang ChatGPT OpenAI untuk menunjukkan bahwa ia memiliki bot yang mampu mendeteksi teks chatbot. Detektor Keluaran mudah digunakan — pengguna hanya perlu memasukkan teks ke dalam bidang teks dan alat akan segera memberikan penilaiannya tentang seberapa besar kemungkinan teks tersebut berasal dari manusia atau bukan.

Dua alat lagi yang memiliki UI bersih adalah Detektor Konten AI Penulis Dan Konten dalam Skala Besar. Anda dapat menambahkan URL untuk memindai konten (khusus penulis) atau menambahkan teks secara manual. Hasilnya diberi skor persentase seberapa besar kemungkinan konten tersebut dibuat oleh manusia.

GPTZero adalah alat beta buatan sendiri yang dihosting di Streamlit dan dibuat oleh mahasiswa Universitas Princeton, Edward Zen. Ini berbeda dari yang lain dalam cara model "algiarisme" (plagiarisme berbantuan AI) menyajikan hasilnya. GPTZero memecah metrik menjadi kebingungan dan ledakan. Burstiness mengukur keacakan keseluruhan untuk semua kalimat dalam sebuah teks, sementara kebingungan mengukur keacakan dalam sebuah kalimat. Alat tersebut menetapkan nomor untuk kedua metrik — semakin rendah angkanya, semakin besar kemungkinan teks dibuat oleh bot.

Hanya untuk bersenang-senang, saya termasuk Ruang Tes Model Bahasa Raksasa (GLTR), dikembangkan oleh para peneliti dari MIT-IBM Watson AI Lab dan Harvard Natural Language Processing Group. Seperti GPTZero, hasil akhirnya tidak ditampilkan sebagai perbedaan "manusia" atau "bot" yang jelas. GLTR pada dasarnya menggunakan bot untuk mengidentifikasi teks yang ditulis oleh bot, karena bot cenderung memilih kata yang tidak dapat diprediksi. Oleh karena itu, hasilnya disajikan sebagai histogram berkode warna, memeringkat teks yang dihasilkan AI versus teks yang dihasilkan manusia. Semakin besar jumlah teks yang tidak dapat diprediksi, semakin besar kemungkinan teks tersebut berasal dari manusia.

Menguji mereka

Semua opsi ini mungkin membuat Anda berpikir kami berada di tempat yang bagus dengan deteksi AI. Tetapi untuk menguji keefektifan masing-masing alat ini, saya ingin mencobanya sendiri. Jadi saya menjalankan beberapa contoh paragraf yang saya tulis sebagai jawaban atas pertanyaan yang juga saya ajukan, dalam hal ini, ChatGPT.

Pertanyaan pertama saya sederhana: Mengapa membeli PC prebuilt tidak disukai? Begini perbandingan jawaban saya sendiri dengan tanggapan dari ChatGPT.

Seperti yang Anda lihat, sebagian besar aplikasi ini dapat mengetahui bahwa kata-kata saya asli, dengan tiga yang pertama adalah yang paling akurat. Tapi ChatGPT membodohi sebagian besar aplikasi pendeteksi ini dengan responsnya juga. Itu mencetak 99% manusia pada aplikasi Writer AI Content Detector, sebagai permulaan, dan ditandai hanya 36% palsu oleh detektor berbasis GPT. GLTR adalah pelanggar terbesar, mengklaim bahwa kata-kata saya sendiri kemungkinan besar ditulis oleh manusia seperti kata-kata ChatGPT.

Saya memutuskan untuk mencobanya sekali lagi, dan kali ini, tanggapannya meningkat secara signifikan. Saya meminta ChatGPT untuk memberikan ringkasan penelitian Swiss Federal Institute of Technology tentang anti-fogging menggunakan partikel emas. Dalam contoh ini, aplikasi pendeteksi melakukan pekerjaan yang jauh lebih baik dalam menyetujui respons saya sendiri dan mendeteksi ChatGPT.

Tiga tes teratas benar-benar menunjukkan kekuatan mereka dalam respons ini. Dan sementara GLTR masih kesulitan melihat tulisan saya sendiri sebagai manusia, setidaknya itu berhasil menangkap ChatGPT kali ini.

Penutupan

Jelas dari hasil setiap kueri bahwa pendeteksi plagiarisme online tidak sempurna. Untuk jawaban atau tulisan yang lebih kompleks (seperti dalam kasus prompt kedua saya), ini sedikit lebih mudah untuk aplikasi ini untuk mendeteksi tulisan berbasis AI, sedangkan respons yang lebih sederhana jauh lebih sulit menyimpulkan. Tapi jelas, itu bukan yang saya sebut bisa diandalkan. Kadang-kadang, alat pendeteksi ini akan salah mengklasifikasikan artikel atau esai sebagai hasil ChatGPT, yang menjadi masalah bagi guru atau editor yang ingin mengandalkan mereka untuk menangkap penipu.

Pengembang terus menyempurnakan akurasi dan tingkat positif palsu, tetapi mereka juga bersiap untuk kedatangan GPT-3, yang memuji kumpulan data yang ditingkatkan secara signifikan dan kemampuan yang lebih kompleks daripada GPT-2 (di mana ChatGPT dilatih dari).

Pada titik ini, untuk mengidentifikasi konten yang dihasilkan oleh AI, editor dan pendidik perlu menggabungkan kehati-hatian dan sedikit intuisi manusia dengan satu (atau lebih) pendeteksi AI ini. Dan untuk pengguna chatbot yang telah atau tergoda untuk menggunakan chatbot seperti Chatsonic, ChatGPT, Notion, atau YouChat untuk menganggap "pekerjaan" mereka sah — mohon jangan. Mengalihkan konten yang dibuat oleh bot (yang bersumber dari sumber tetap dalam basis datanya) masih merupakan plagiarisme, tidak peduli bagaimana Anda melihatnya.

Rekomendasi Editor

• Google Bard sekarang dapat berbicara, tetapi bisakah itu menenggelamkan ChatGPT?
• ChatGPT: berita terbaru, kontroversi, dan tips yang perlu Anda ketahui
• Fitur penjelajahan Bing ChatGPT dinonaktifkan karena kelemahan akses paywall
• 81% berpendapat bahwa ChatGPT adalah risiko keamanan, demikian temuan survei
• Saingan ChatGPT Apple dapat secara otomatis menulis kode untuk Anda

Tingkatkan gaya hidup AndaTren Digital membantu pembaca mengawasi dunia teknologi yang bergerak cepat dengan semua berita terbaru, ulasan produk yang menyenangkan, editorial yang berwawasan, dan cuplikan unik.