GPT-3: โครงข่ายประสาทเทียมที่สร้างข้อความใหม่ของ OpenAI อยู่ที่นี่แล้ว

เมื่ออัลกอริธึมการสร้างข้อความ GPT-2 ถูกสร้างขึ้นในปี 2019 ก็ถูกระบุว่าเป็นหนึ่งใน "อันตราย“เอไอ อัลกอริธึมในประวัติศาสตร์ ในความเป็นจริงบางคนแย้งว่ามันอันตรายมากจนไม่ควรเปิดเผยต่อสาธารณะ (สปอย: มันเป็น) เกรงว่ามันจะนำไปสู่ ​​"คัมภีร์ของศาสนาคริสต์หุ่นยนต์” แน่นอนว่ามันไม่เคยเกิดขึ้น ในที่สุด GPT-2 ก็ถูกปล่อยออกมาสู่สาธารณะ และหลังจากที่มันไม่ได้ทำลายโลก ผู้สร้างก็ย้ายไปยังสิ่งต่อไป แต่คุณจะติดตามอัลกอริธึมที่อันตรายที่สุดเท่าที่เคยสร้างมาได้อย่างไร

คำตอบนั้นง่ายมาก อย่างน้อยก็บนกระดาษ: เช่นเดียวกับภาคต่อของภาพยนตร์ที่ประสบความสำเร็จ คุณสร้างบางสิ่งที่ใหญ่กว่า แย่กว่า และมีราคาแพงกว่า มีซีโนมอร์ฟเพียงอันเดียวในอันแรก เอเลี่ยน? รวมรังทั้งหมดไว้ในภาคต่อ เอเลี่ยน. มีเพียงเครื่องจักรที่แทบจะทำลายไม่ได้เพียงเครื่องเดียวที่ถูกส่งกลับมาจากอนาคต เทอร์มิเนเตอร์? ให้ผู้ชมสองคนได้ต่อสู้กัน Terminator 2: วันพิพากษา.

เช่นเดียวกับ A.I. - ในกรณีนี้, GPT-3ซึ่งเป็นโครงข่ายประสาทเทียมประมวลผลภาษาธรรมชาติที่เพิ่งเปิดตัวเมื่อเร็วๆ นี้ ซึ่งสร้างโดย OpenAI ซึ่งเป็นห้องปฏิบัติการวิจัยปัญญาประดิษฐ์ที่ครั้งหนึ่งเคยเป็น (

แต่ไม่ใช่อีกต่อไป) ซึ่งสนับสนุนโดย SpaceX และ Elon Musk ซีอีโอของ Tesla

GPT-3 เป็นเครือข่ายประสาทเทียมที่สร้างข้อความล่าสุด ชื่อ GPT ย่อมาจาก Generative Pretrained Transformer ซึ่งอ้างอิงถึงปี 2017 นวัตกรรมของ Google ที่เรียกว่า Transformer ซึ่งสามารถทราบความน่าจะเป็นที่คำใดคำหนึ่งจะปรากฏพร้อมกับคำที่อยู่รอบๆ เติมด้วยประโยคไม่กี่ประโยค เช่น จุดเริ่มต้นของข่าว โมเดลภาษาที่ฝึกล่วงหน้า GPT สามารถสร้างความต่อเนื่องที่แม่นยำได้อย่างน่าเชื่อ แม้กระทั่งรวมถึงการกำหนดสูตรของสิ่งที่ประดิษฐ์ขึ้นด้วย คำพูด

นี่คือเหตุผลที่บางคนกังวลว่ามันอาจจะพิสูจน์ตัวเองได้ว่าเป็นอันตรายโดยช่วยสร้างข้อความเท็จเช่น ดีพเฟค, สามารถ ช่วยเผยแพร่ข่าวปลอมในโลกออนไลน์. ตอนนี้ด้วย GPT-3 มันใหญ่ขึ้นและชาญฉลาดกว่าที่เคย

เรื่องของเทป

GPT-3 เป็นการเปรียบเทียบ "เรื่องราวของเทป" ในรูปแบบการชกมวยซึ่งจะทำให้ชัดเจนว่าเป็นนักสู้รุ่นเฮฟวี่เวทตัวจริงของคู่แข่ง GPT ปี 2018 ดั้งเดิมของ OpenAI มีพารามิเตอร์ 110 ล้านพารามิเตอร์ ซึ่งหมายถึงน้ำหนักของการเชื่อมต่อที่ทำให้โครงข่ายประสาทเทียมสามารถเรียนรู้ได้ GPT-2 ในปี 2019 ซึ่งก่อให้เกิดความโกลาหลก่อนหน้านี้เกี่ยวกับแอปพลิเคชันที่อาจเป็นอันตราย มีพารามิเตอร์ถึง 1.5 พันล้านรายการ เดือนที่แล้วMicrosoft ได้เปิดตัวโมเดลภาษาก่อนการฝึกอบรมที่คล้ายกันที่ใหญ่ที่สุดในโลก โดยมีพารามิเตอร์ถึง 17 พันล้านพารามิเตอร์ เมื่อเปรียบเทียบกันแล้ว GPT-3 อันยิ่งใหญ่ในปี 2020 ก็มีความน่าประหลาดใจ 175 พันล้าน พารามิเตอร์ มีรายงานว่ามีค่าใช้จ่ายประมาณ 12 ล้านดอลลาร์ในการฝึกอบรม

“พลังของแบบจำลองเหล่านี้ก็คือเพื่อที่จะทำนายคำถัดไปได้สำเร็จ พวกเขาจะต้องเรียนรู้โลกที่ทรงพลังจริงๆ โมเดลที่สามารถนำไปใช้กับสิ่งที่น่าสนใจได้ทุกประเภท” นิค วอลตัน ประธานเจ้าหน้าที่ฝ่ายเทคโนโลยีของ Latitude สตูดิโอ ด้านหลัง AI. ดันเจี้ยนซึ่งเป็นเกมผจญภัยข้อความที่สร้างโดย A.I. ซึ่งขับเคลื่อนโดย GPT-2 กล่าวกับ Digital Trends “คุณยังสามารถปรับแต่งโมเดลพื้นฐานเพื่อกำหนดรูปแบบเจเนอเรชั่นในทิศทางที่เฉพาะเจาะจง ในขณะที่ยังคงรักษาความรู้ที่โมเดลได้เรียนรู้ในการฝึกอบรมล่วงหน้า”

เกวน บรานเวนผู้วิจารณ์และนักวิจัยที่เขียนเกี่ยวกับจิตวิทยา สถิติ และเทคโนโลยี บอกกับ Digital Trends ว่า โมเดลภาษาที่ได้รับการฝึกอบรมล่วงหน้าที่ GPT เป็นตัวแทนได้กลายเป็น “ส่วนสำคัญของการเรียนรู้ของเครื่องที่เพิ่มมากขึ้นเรื่อยๆ บนข้อความ ในทำนองเดียวกับที่ [ข้อเสนอแนะมาตรฐานสำหรับ] งานที่เกี่ยวข้องกับรูปภาพจำนวนมากกลายเป็น 'ใช้ [เครือข่ายประสาทเทียม] งานที่เกี่ยวข้องกับภาษาจำนวนมากได้กลายเป็น 'ใช้ [ภาษาที่ได้รับการปรับแต่งอย่างละเอียด' แบบอย่าง.'"

OpenAI — ซึ่งปฏิเสธที่จะแสดงความคิดเห็นสำหรับบทความนี้ — ไม่ใช่บริษัทเดียวที่ทำงานที่น่าประทับใจกับการประมวลผลภาษาธรรมชาติ ดังที่ได้กล่าวไปแล้ว Microsoft ได้ก้าวขึ้นมาสู่จานด้วยผลงานอันน่าทึ่งของตัวเอง เฟสบุ๊คขณะเดียวกันก็มีการลงทุนด้านเทคโนโลยีอย่างมากและได้สร้างความก้าวหน้าเช่นนี้ BlenderBotซึ่งเป็นแชทบอตโอเพนซอร์ซแบบโอเพ่นโดเมนที่ใหญ่ที่สุดเท่าที่เคยมีมา มันมีประสิทธิภาพเหนือกว่าผู้อื่นในแง่ของการมีส่วนร่วม และยังให้ความรู้สึกเป็นมนุษย์มากขึ้น ตามที่ผู้ประเมินที่เป็นมนุษย์ระบุ ดังที่ใครก็ตามที่เคยใช้คอมพิวเตอร์ในช่วงไม่กี่ปีที่ผ่านมาจะรู้ดีว่าเครื่องจักรเข้าใจเราได้ดีขึ้นกว่าที่เคย และการประมวลผลภาษาธรรมชาติก็เป็นเหตุผลว่าทำไม

เรื่องขนาด

แต่ GPT-3 ของ OpenAI ยังคงยืนหยัดเพียงลำพังในระดับที่ทำลายสถิติสูงสุด “GPT-3 กำลังสร้างความฮือฮาเป็นหลักเนื่องจากขนาดของมัน” Joe Davison วิศวกรวิจัยของ กอดหน้าซึ่งเป็นสตาร์ทอัพที่ทำงานเกี่ยวกับความก้าวหน้าของการประมวลผลภาษาธรรมชาติโดยการพัฒนาเครื่องมือโอเพ่นซอร์สและดำเนินการวิจัยพื้นฐาน กล่าวกับ Digital Trends

คำถามสำคัญก็คือว่าทั้งหมดนี้จะใช้ทำอะไร GPT-2 พบวิธีการใช้งานมากมาย โดยนำไปใช้กับระบบสร้างข้อความต่างๆ

Davison แสดงคำเตือนว่า GPT-3 อาจถูกจำกัดด้วยขนาดของมัน “ทีมงานของ OpenAI ได้ผลักดันขอบเขตของโมเดลเหล่านี้ให้มีขนาดใหญ่ขึ้นอย่างไม่ต้องสงสัย และแสดงให้เห็นว่าการขยายโมเดลเหล่านี้ช่วยลดการพึ่งพาข้อมูลเฉพาะงานของเราลง” เขากล่าว “อย่างไรก็ตาม ทรัพยากรการคำนวณที่จำเป็นต่อการใช้งาน GPT-3 จริง ๆ ในโลกแห่งความเป็นจริงทำให้เป็นไปไม่ได้อย่างยิ่ง ดังนั้นแม้ว่างานนี้จะน่าสนใจและเจาะลึกอย่างแน่นอน แต่ฉันจะไม่เรียกมันว่าเป็นก้าวสำคัญสำหรับสาขานี้”

แม้ว่าคนอื่นจะไม่เห็นด้วยก็ตาม “ชุมชน [internal-link post_id="NN"]ปัญญาประดิษฐ์[/internal-link] ตั้งข้อสังเกตมานานแล้วว่าการผสมผสานโมเดลที่ใหญ่ขึ้นเรื่อยๆ เข้ากับข้อมูลมากขึ้นเรื่อยๆ ให้การปรับปรุงประสิทธิภาพของโมเดลเหล่านี้แทบจะคาดเดาได้ เหมือนกับกฎของมัวร์ในการปรับขนาดพลังการคำนวณ” Yannic Kilcher เจ้าหน้าที่ A.I. นักวิจัย WHO ดำเนินการช่อง YouTubeบอกกับ Digital Trends “แต่เช่นเดียวกับกฎของมัวร์ หลายคนคาดเดาว่าเรามาถึงจุดสิ้นสุดของความสามารถในการปรับปรุงโมเดลภาษาโดยเพียงแค่ปรับขนาดมัน และเพื่อให้ได้ประสิทธิภาพที่สูงขึ้น เราจะต้องสร้างสิ่งประดิษฐ์ที่สำคัญในแง่ของสถาปัตยกรรมหรือการฝึกอบรมใหม่ๆ วิธีการ GPT-3 แสดงให้เห็นว่าสิ่งนี้ไม่เป็นความจริง และความสามารถในการผลักดันประสิทธิภาพผ่านขนาดที่ดูเหมือนไม่ขาดตอน และยังไม่มีจุดจบที่มองเห็นได้จริงๆ”

ผ่านการทดสอบทัวริง?

Branwen แนะนำว่าเครื่องมืออย่าง GPT-3 อาจเป็นพลังทำลายล้างครั้งใหญ่ “วิธีคิดอย่างหนึ่งก็คือ งานอะไรที่เกี่ยวข้องกับการรับข้อความ การแปลงข้อความ และการปล่อยข้อความอีกชิ้นหนึ่ง” บรานเวนกล่าวว่า “งานใดๆ ที่อธิบายไว้เช่นนั้น เช่น การเขียนโค้ดทางการแพทย์ การเรียกเก็บเงิน พนักงานต้อนรับ บริการลูกค้า [และอื่นๆ] จะเป็นเป้าหมายที่ดีสำหรับการปรับแต่ง GPT-3 อย่างละเอียด และแทนที่บุคคลนั้น งานจำนวนมากมักเป็นการ "คัดลอกฟิลด์จากสเปรดชีตหรือ PDF หนึ่งไปยังสเปรดชีตหรือ PDF อื่น" ไม่มากก็น้อย และระบบอัตโนมัติในสำนักงานประเภทนั้น ซึ่งวุ่นวายเกินไป เขียนโปรแกรมธรรมดามาแทนที่ได้ง่าย ๆ จะเสี่ยงต่อ GPT-3 เพราะสามารถเรียนรู้ข้อยกเว้นและแบบแผนต่าง ๆ ทั้งหมดและทำงานได้เช่นเดียวกับมนุษย์ จะ."

ท้ายที่สุดแล้ว การประมวลผลภาษาธรรมชาติอาจเป็นเพียงส่วนหนึ่งของ A.I. แต่อาจตัดไปถึงแก่นแท้ของความฝันด้านปัญญาประดิษฐ์ได้ในลักษณะที่สาขาวิชาอื่นๆ เพียงไม่กี่แห่งในสาขานี้ทำได้ ที่ การทดสอบทัวริงอันโด่งดังหนึ่งในข้อถกเถียงสำคัญที่เป็นจุดเริ่มต้นในเรื่องนี้ คือปัญหาการประมวลผลภาษาธรรมชาติ: คุณสามารถสร้าง A.I. ที่สามารถหลอกตัวเองได้อย่างน่าเชื่อ? งานล่าสุดของ OpenAI ช่วยให้บรรลุเป้าหมายนี้อย่างแน่นอน ตอนนี้สิ่งที่เหลืออยู่ก็คือดูว่านักวิจัยจะค้นพบแอพพลิเคชั่นอะไรบ้าง

“ฉันคิดว่ามันเป็นความจริงที่ว่าข้อความ GPT-2 สามารถส่งผ่านไปยังมนุษย์ได้อย่างง่ายดายจนยากที่จะโบกมือเป็น 'เพียงการจดจำรูปแบบ' หรือ 'เพียงการท่องจำ'” Branwen กล่าว “ใครก็ตามที่มั่นใจว่าสิ่งที่ Deep Learning ทำนั้นไม่มีอะไรเหมือนกับความฉลาด จะต้องสั่นคลอนศรัทธาเพื่อดูว่ามันมาไกลแค่ไหนแล้ว”

คำแนะนำของบรรณาธิการ

• นักเขียนชั้นนำเรียกร้องเงินจากบริษัท AI เพื่อใช้งานของพวกเขา
• OpenAI ผู้ผลิต ChatGPT เผชิญกับการสอบสวน FTC เกี่ยวกับกฎหมายคุ้มครองผู้บริโภค
• OpenAI สร้างทีมใหม่เพื่อหยุดยั้ง AI อัจฉริยะที่โกง
• ผู้สร้าง ChatGPT ต้องการกำจัด "ภาพหลอน" ของ Chatbot
• แอป ChatGPT ใหม่ของ OpenAI ให้บริการฟรีสำหรับ iPhone และ iPad