วิธีตรวจหาการลอกเลียนแบบ ChatGPT และทำไมจึงยากนัก

Chatbots เป็นสิ่งที่ร้อนแรงในขณะนี้และ ChatGPT เป็นหัวหน้าในหมู่พวกเขา แต่ต้องขอบคุณการตอบสนองที่ทรงพลังและเหมือนมนุษย์ นักวิชาการ นักการศึกษา และบรรณาธิการต่างก็รับมือกับกระแสที่เพิ่มขึ้นของการลอกเลียนแบบและการโกงที่สร้างโดย AI เครื่องมือตรวจจับการลอกเลียนแบบแบบเก่าของคุณอาจไม่เพียงพอที่จะแยกแยะของจริงจากของปลอม

ในบทความนี้ ผมจะพูดถึงด้านที่น่าหวาดเสียวของแชทบอท AI ลองใช้เครื่องมือตรวจจับการลอกเลียนแบบออนไลน์สองสามตัว และสำรวจว่าสถานการณ์เลวร้ายเพียงใด

ตัวเลือกการตรวจจับมากมาย

การเปิดตัวล่าสุดของการเริ่มต้นในเดือนพฤศจิกายน 2022 ChatGPT ของ OpenAI โดยพื้นฐานแล้วพลังของแชทบอทถูกผลักดันเข้าสู่ไฟแก็ซ ช่วยให้ Joe (หรือมืออาชีพ) ทั่วไปสามารถสร้างเรียงความหรือบทความที่ชาญฉลาดและเข้าใจได้ และแก้ปัญหาทางคณิตศาสตร์ที่เป็นข้อความ สำหรับผู้อ่านที่ไม่รู้หรือไม่มีประสบการณ์ เนื้อหาที่สร้างโดย AI สามารถส่งต่อเป็นงานเขียนที่ถูกต้องตามกฎหมายได้อย่างง่ายดาย ซึ่งเป็นเหตุผลว่าทำไมนักเรียนถึงชอบมัน และครูก็เกลียดมัน

ความท้าทายที่ยิ่งใหญ่สำหรับเครื่องมือเขียน AI คือความสามารถแบบดาบสองคมในการใช้ภาษาธรรมชาติและ ไวยากรณ์เพื่อสร้างเนื้อหาที่ไม่ซ้ำใครและเกือบจะเป็นรายบุคคลแม้ว่าเนื้อหานั้นจะถูกดึงมาจาก ฐานข้อมูล นั่นหมายความว่าการแข่งขันเพื่อเอาชนะการโกงที่ใช้ AI กำลังดำเนินอยู่ ต่อไปนี้คือตัวเลือกบางอย่างที่ฉันพบว่ามีให้ใช้งานฟรีในขณะนี้

เครื่องตรวจจับเอาต์พุต GPT-2 ส่งตรงจาก OpenAI ผู้พัฒนา ChatGPT เพื่อแสดงให้เห็นว่ามีบอทที่สามารถตรวจจับข้อความแชทบอทได้ Output Detector ใช้งานง่าย — ผู้ใช้เพียงแค่ป้อนข้อความลงในช่องข้อความ จากนั้นเครื่องมือจะทำการประเมินทันทีว่าเป็นไปได้มากน้อยเพียงใดที่ข้อความนั้นมาจากมนุษย์หรือไม่

เครื่องมืออีกสองอย่างที่มี UI ที่สะอาดคือ เครื่องตรวจจับเนื้อหา Writer AI และ เนื้อหาในระดับ. คุณสามารถเพิ่ม URL เพื่อสแกนเนื้อหา (ตัวเขียนเท่านั้น) หรือเพิ่มข้อความด้วยตนเอง ผลลัพธ์จะได้รับคะแนนร้อยละของความเป็นไปได้ที่เนื้อหานั้นสร้างขึ้นโดยมนุษย์

จีพีทีซีโร่ เป็นเครื่องมือรุ่นเบต้าที่สร้างขึ้นเองบน Streamlit และสร้างโดย Edward Zen นักศึกษามหาวิทยาลัย Princeton มันแตกต่างจากที่อื่นตรงที่โมเดล “algiarism” (AI-assisted plagiarism) นำเสนอผลลัพธ์ของมัน GPTZero แบ่งตัวชี้วัดออกเป็นความฉงนสนเท่ห์และความแตกแยก ความฟุ้งซ่านวัดความสุ่มโดยรวมสำหรับประโยคทั้งหมดในข้อความ ในขณะที่ความฉงนสนเท่ห์วัดความสุ่มในประโยค เครื่องมือจะกำหนดตัวเลขให้กับเมตริกทั้งสอง — ยิ่งตัวเลขต่ำ มีโอกาสมากขึ้นที่บอทจะสร้างข้อความ

เพื่อความสนุกสนานฉันรวม ห้องทดสอบโมเดลภาษายักษ์ (GLTR) พัฒนาโดยนักวิจัยจาก MIT-IBM Watson AI Lab และ Harvard Natural Language Processing Group เช่นเดียวกับ GPTZero มันไม่ได้แสดงผลลัพธ์สุดท้ายว่าเป็น "มนุษย์" หรือ "บอท" ที่ชัดเจน โดยทั่วไปแล้ว GLTR ใช้บอทเพื่อระบุข้อความที่เขียนโดยบอท เนื่องจากบอทมีโอกาสน้อยที่จะเลือกคำที่คาดเดาไม่ได้ ดังนั้น ผลลัพธ์จึงแสดงเป็นฮิสโทแกรมรหัสสี จัดอันดับข้อความที่สร้างโดย AI กับข้อความที่มนุษย์สร้างขึ้น ยิ่งจำนวนข้อความที่คาดเดาไม่ได้มากเท่าใด ข้อความนั้นก็น่าจะมาจากมนุษย์มากขึ้นเท่านั้น

นำไปทดสอบ

ตัวเลือกทั้งหมดนี้อาจทำให้คุณคิดว่าเราอยู่ในจุดที่ดีในการตรวจจับ AI แต่เพื่อทดสอบประสิทธิภาพที่แท้จริงของเครื่องมือเหล่านี้ ฉันอยากลองด้วยตัวเอง ดังนั้นฉันจึงเรียกใช้ย่อหน้าตัวอย่างสองสามย่อหน้าที่ฉันเขียนเพื่อตอบคำถามที่ฉันโพสต์ด้วย ในกรณีนี้คือ ChatGPT

คำถามแรกของฉันเป็นคำถามง่ายๆ: เหตุใดการซื้อพีซีที่สร้างไว้ล่วงหน้าจึงขมวดคิ้ว นี่คือคำตอบของฉันเองเมื่อเปรียบเทียบกับคำตอบจาก ChatGPT

อย่างที่คุณเห็น แอพเหล่านี้ส่วนใหญ่สามารถบอกได้ว่าคำพูดของฉันเป็นของแท้ โดยสามตัวแรกนั้นแม่นยำที่สุด แต่ ChatGPT ก็หลอกแอปตัวตรวจจับเหล่านี้ส่วนใหญ่ด้วยการตอบสนองเช่นกัน โดยให้คะแนนมนุษย์ 99% ในแอป Writer AI Content Detector สำหรับผู้เริ่มต้น และถูกระบุว่าเป็นของปลอมเพียง 36% โดยเครื่องมือตรวจจับที่ใช้ GPT GLTR เป็นผู้กระทำความผิดรายใหญ่ที่สุด โดยอ้างว่าคำพูดของฉันเองก็มีแนวโน้มที่จะเขียนโดยมนุษย์พอๆ กับคำพูดของ ChatGPT

ฉันตัดสินใจลองอีกครั้ง แต่คราวนี้ การตอบสนองดีขึ้นอย่างเห็นได้ชัด ฉันขอให้ ChatGPT จัดทำสรุปการวิจัยของสถาบันเทคโนโลยีแห่งชาติสวิสเกี่ยวกับการป้องกันการเกิดฝ้าโดยใช้อนุภาคทองคำ ในตัวอย่างนี้ แอปตัวตรวจจับทำงานได้ดีกว่ามากในการอนุมัติการตอบกลับของฉันเองและตรวจจับ ChatGPT

การทดสอบสามอันดับแรกแสดงให้เห็นถึงความแข็งแกร่งในการตอบโต้นี้ และในขณะที่ GLTR ยังคงมีช่วงเวลาที่ยากลำบากในการมองว่างานเขียนของฉันเป็นมนุษย์ แต่อย่างน้อยการตรวจจับ ChatGPT ในครั้งนี้ก็ทำได้ดี

กำลังปิด

เห็นได้ชัดจากผลลัพธ์ของคำถามแต่ละข้อว่าเครื่องมือตรวจจับการลอกเลียนแบบออนไลน์นั้นไม่ได้สมบูรณ์แบบ สำหรับคำตอบหรืองานเขียนที่ซับซ้อนกว่านั้น (เช่น ในกรณีของพรอมต์ที่สองของฉัน) จะง่ายกว่านี้เล็กน้อย เพื่อให้แอปเหล่านี้ตรวจจับการเขียนโดยใช้ AI ในขณะที่การตอบกลับที่เรียบง่ายนั้นทำได้ยากกว่ามาก อนุมาน แต่เห็นได้ชัดว่าไม่ใช่สิ่งที่ฉันเรียกว่าเชื่อถือได้ ในบางครั้ง เครื่องมือตรวจจับเหล่านี้จะจัดประเภทบทความหรือเรียงความผิดว่าสร้างโดย ChatGPT ซึ่งเป็นปัญหาสำหรับครูหรือบรรณาธิการที่ต้องการใช้บทความหรือเรียงความในการจับคนโกง

นักพัฒนาปรับความแม่นยำและอัตราการบวกที่ผิดพลาดอย่างต่อเนื่อง แต่พวกเขาก็ยังเตรียมพร้อมสำหรับการมาถึงของ GPT-3 ซึ่งนำเสนอชุดข้อมูลที่ได้รับการปรับปรุงอย่างมีนัยสำคัญและความสามารถที่ซับซ้อนกว่า GPT-2 (ซึ่ง ChatGPT ได้รับการฝึกอบรม จาก).

ณ จุดนี้ ในการระบุเนื้อหาที่สร้างโดย AI บรรณาธิการและนักการศึกษาจะต้องผสมผสานความรอบคอบและสัญชาตญาณของมนุษย์เล็กน้อยเข้ากับตัวตรวจจับ AI เหล่านี้หนึ่งตัว (หรือมากกว่า) และสำหรับผู้ใช้แชทบอทที่มีหรือถูกล่อลวงให้ใช้แชทบอท เช่น Chatsonic, ChatGPT, Notion หรือ YouChat เพื่อส่งผ่าน "งาน" ของพวกเขาอย่างถูกกฎหมาย โปรดอย่าทำ การดัดแปลงเนื้อหาที่สร้างโดยบอท (ที่มาจากแหล่งคงที่ภายในฐานข้อมูล) ยังคงเป็นการลอกเลียนแบบไม่ว่าคุณจะมองอย่างไร

คำแนะนำของบรรณาธิการ

• Google Bard พูดได้แล้ว แต่จะกลบ ChatGPT ได้ไหม
• ChatGPT: ข่าวสาร ข้อโต้แย้ง และเคล็ดลับล่าสุดที่คุณต้องรู้
• คุณลักษณะการเรียกดู Bing ของ ChatGPT ถูกปิดใช้งานเนื่องจากข้อบกพร่องในการเข้าถึงเพย์วอลล์
• 81% คิดว่า ChatGPT มีความเสี่ยงด้านความปลอดภัย ผลสำรวจพบ
• คู่แข่ง ChatGPT ของ Apple อาจเขียนโค้ดให้คุณโดยอัตโนมัติ

ยกระดับไลฟ์สไตล์ของคุณDigital Trends ช่วยให้ผู้อ่านติดตามโลกเทคโนโลยีที่เปลี่ยนแปลงอย่างรวดเร็วด้วยข่าวสารล่าสุด บทวิจารณ์ผลิตภัณฑ์สนุกๆ บทบรรณาธิการเชิงลึก และการแอบดูที่ไม่ซ้ำใคร