GPT-3 นำ A.I. เข้ามาอย่างเงียบ ๆ ได้อย่างไร การปฎิวัติ

มันดีสำหรับอะไร? ทุกอย่างอย่างแน่นอน

ล่าสุดฟรานซิส เจอร์วิส ผู้ก่อตั้งสตาร์ทอัพชื่อ เพิ่มใช้ GPT-3 เพื่อช่วยผู้ที่ประสบปัญหาเรื่องค่าเช่าในการเขียนจดหมายเพื่อเจรจาส่วนลดค่าเช่า “ฉันจะอธิบายกรณีการใช้งานที่นี่ว่า 'การถ่ายโอนสไตล์'” Jervis บอกกับ Digital Trends “[ต้องใช้] หัวข้อย่อย ซึ่งไม่จำเป็นต้องเป็นภาษาอังกฤษที่สมบูรณ์แบบด้วยซ้ำ และ [ส่งออก] ประโยคสองถึงสามประโยคในภาษาทางการ”

เครื่องมือของ Jervis ขับเคลื่อนโดยโมเดลภาษาที่ทรงพลังเป็นพิเศษนี้ ช่วยให้ผู้เช่าสามารถอธิบายสถานการณ์ของตนและเหตุผลที่พวกเขาต้องการส่วนลดข้อตกลงได้ “เพียงป้อนคำสองสามคำเกี่ยวกับสาเหตุที่คุณสูญเสียรายได้ และภายในไม่กี่วินาที คุณจะได้รับคำแนะนำในการโน้มน้าวใจและเป็นทางการเพื่อเพิ่มลงในจดหมายของคุณ” บริษัทกล่าว

นี่เป็นเพียงส่วนเล็กของภูเขาน้ำแข็ง เมื่อไร อาทิตยา โจชิซึ่งเป็นนักวิทยาศาสตร์แมชชีนเลิร์นนิงและอดีตวิศวกรของ Amazon Web Services ได้รู้จักกับ GPT-3 เป็นครั้งแรก เขาทึ่งมากกับสิ่งที่เห็นจึงสร้างเว็บไซต์ www.gpt3examples.comเพื่อติดตามสิ่งที่ดีที่สุด

“ไม่นานหลังจากที่ OpenAI ประกาศ API ของพวกเขา นักพัฒนาก็เริ่มทวีตการสาธิตแอปพลิเคชันที่น่าประทับใจซึ่งสร้างโดยใช้ GPT-3” เขาบอกกับ Digital Trends “พวกเขาเก่งมากจริงๆ ฉันสร้าง [เว็บไซต์ของฉัน] เพื่อให้ชุมชนค้นหาตัวอย่างเหล่านี้ได้ง่ายและค้นพบวิธีที่สร้างสรรค์ในการใช้ GPT-3 เพื่อแก้ไขปัญหาในโดเมนของตนเอง”

บุคลิกสังเคราะห์เชิงโต้ตอบเต็มรูปแบบด้วย GPT-3 และ https://t.co/ZPdnEqR0Hn 🎇

พวกเขารู้ว่าพวกเขาเป็นใคร ทำงานที่ไหน เจ้านายของพวกเขาคือใคร และอื่นๆ อีกมากมาย นี่ไม่ใช่บอทของพ่อคุณ... pic.twitter.com/kt4AtgYHZL

— ไทเลอร์ ลาสโตวิช (@tylerlastovich) 18 สิงหาคม 2020

Joshi ชี้ไปที่การสาธิตหลายรายการที่สร้างผลกระทบต่อเขาจริงๆ หนึ่ง ก เครื่องกำเนิดเค้าโครงแสดงผลเค้าโครงการทำงานโดยการสร้างโค้ด JavaScript จากคำอธิบายข้อความธรรมดา ต้องการปุ่มที่เขียนว่า “สมัครสมาชิก” ในรูปแตงโมไหม? ลองนึกถึงข้อความแบนเนอร์ที่มีชุดปุ่มสีรุ้งไหม? เพียงอธิบายเป็นข้อความพื้นฐาน จากนั้นเครื่องมือสร้างเลย์เอาต์ของ Sharif Shameem จะเขียนโค้ดให้คุณ อีกอย่าง ก เครื่องมือค้นหาที่ใช้ GPT-3 สร้างโดย Paras Chopra สามารถเปลี่ยนคำถามที่เป็นลายลักษณ์อักษรให้เป็นคำตอบและลิงก์ URL สำหรับให้ข้อมูลเพิ่มเติม อีกประการหนึ่งคือสิ่งที่ตรงกันข้ามกับ Francis Jervis 'โดย Michael Tefula แปลเอกสารทางกฎหมาย เป็นภาษาอังกฤษธรรมดา อีกเรื่องหนึ่ง โดย Raphaël Millière เขียนเรียงความเชิงปรัชญา. และอีกคนหนึ่งโดย Gwern Branwen สามารถทำได้ สร้างนิยายเชิงสร้างสรรค์.

“ฉันไม่ได้คาดหวังว่าแบบจำลองภาษาเดียวจะทำงานได้ดีกับงานที่หลากหลายเช่นนี้ ตั้งแต่การแปลภาษาและการสร้าง จนถึงการสรุปข้อความและการแยกเอนทิตี” Joshi กล่าว "ใน หนึ่งในการทดลองของฉันเองฉันใช้ GPT-3 เพื่อทำนายปฏิกิริยาการเผาไหม้ทางเคมี และมันก็ทำได้ดีอย่างน่าประหลาดใจ”

เพิ่มเติมว่ามาจากไหน

การใช้การเปลี่ยนแปลงของ GPT-3 ไม่ได้จบเพียงแค่นั้นเช่นกัน นักวิทยาศาสตร์คอมพิวเตอร์ ไทเลอร์ ลาสโตวิช ได้ใช้ GPT-3 เพื่อ สร้างคนจอมปลอมรวมถึงเรื่องราวเบื้องหลังที่สามารถโต้ตอบด้วยข้อความได้ ในขณะเดียวกัน Andrew Mayne ได้แสดงให้เห็นว่า GPT-3 สามารถทำได้ ใช้ในการเปลี่ยนชื่อภาพยนตร์เป็นอิโมจิ. นิค วอลตันประธานเจ้าหน้าที่ฝ่ายเทคโนโลยีของ Latitude สตูดิโอเบื้องหลังเกมผจญภัยด้วยข้อความที่สร้างโดย GPT ดันเจี้ยนเอไอ เพิ่งทำแบบเดียวกันเพื่อดูว่ามันจะหมุนได้หรือไม่ คำอธิบายข้อความที่ยาวขึ้นเป็นอีโมจิ. และ Copy.ai ซึ่งเป็นสตาร์ทอัพที่สร้างเครื่องมือการเขียนคำโฆษณาด้วย GPT-3 กำลังใช้โมเดลนี้คุ้มค่าทุกเดือน รายได้ประจำอยู่ที่ 67,000 ดอลลาร์ ณ เดือนมีนาคม — และรอบการระดมทุนล่าสุดมูลค่า 2.9 ล้านดอลลาร์

“แน่นอนว่ามีความประหลาดใจและความกลัวอย่างมากในแง่ของความคิดสร้างสรรค์ที่ผู้คนใช้ GPT-3” สันธินี อัครวาล, เอไอ นักวิจัยนโยบายของ OpenAI บอกกับ Digital Trends “กรณีการใช้งานจำนวนมากนั้นมีความคิดสร้างสรรค์มาก และในขอบเขตที่แม้แต่ฉันยังคาดไม่ถึง ก็ยังมีความรู้มากมาย ที่น่าสนใจที่จะเห็น แต่อย่างที่กล่าวไปแล้ว GPT-3 และทิศทางการวิจัยทั้งหมดที่ OpenAI ดำเนินการนั้น มีความหวังว่าสิ่งนี้จะทำให้เรามี A.I แบบจำลองที่มีจุดประสงค์ทั่วไปมากขึ้น จุดรวมของ A.I. เอนกประสงค์ โมเดลคือ [ว่ามันจะเป็น] โมเดลหนึ่งที่อยากทำ A.I ที่แตกต่างกันทั้งหมดนี้ งาน”

หลายโครงการเน้นย้ำถึงหนึ่งในการเพิ่มมูลค่าที่ยิ่งใหญ่ของ GPT-3 นั่นคือ การขาดการฝึกอบรมที่จำเป็นต้องมี การเรียนรู้ของเครื่องได้รับการเปลี่ยนแปลงในรูปแบบต่างๆ ในช่วงสองสามทศวรรษที่ผ่านมา แต่แมชชีนเลิร์นนิงจำเป็นต้องมีตัวอย่างการฝึกอบรมจำนวนมากเพื่อให้สามารถแสดงคำตอบที่ถูกต้องได้ ในทางกลับกัน GPT-3 มี "ความสามารถในการยิงเพียงเล็กน้อย" ซึ่งช่วยให้สามารถสอนให้ทำบางสิ่งโดยใช้ตัวอย่างเพียงไม่กี่ตัวอย่างเท่านั้น

วัวที่เป็นไปได้***t

GPT-3 นั้นน่าประทับใจมาก แต่มันก็มีความท้าทายเช่นกัน สิ่งเหล่านี้บางส่วนเกี่ยวข้องกับต้นทุน: สำหรับบริการที่มีปริมาณมาก เช่น แชทบอท ซึ่งอาจได้รับประโยชน์จากความมหัศจรรย์ของ GPT-3 เครื่องมือนี้อาจมีราคาแพงเกินกว่าจะใช้ (ข้อความเดียวอาจมีราคา 6 เซ็นต์ ซึ่งแม้จะไม่ทำลายธนาคาร แต่ก็รวมกันได้อย่างแน่นอน)

อื่นๆ เกี่ยวข้องกับความพร้อมใช้งานที่แพร่หลาย ซึ่งหมายความว่าเป็นเรื่องยากที่จะสร้างสตาร์ทอัพโดยเฉพาะ เนื่องจากการแข่งขันที่รุนแรงอาจทำให้อัตรากำไรลดลง

อีกอย่างคือการขาดความทรงจำ หน้าต่างบริบทใช้งานครั้งละไม่เกิน 2,000 คำเล็กน้อย เช่นเดียวกับตัวละครของ Guy Pierce ในภาพยนตร์ ของที่ระลึกหน่วยความจำของมันจะถูกรีเซ็ต “สิ่งนี้จำกัดความยาวของข้อความที่สามารถสร้างได้อย่างมาก ประมาณย่อหน้าสั้นๆ ต่อคำขอ” Lastovich กล่าว “ในทางปฏิบัติแล้ว หมายความว่าไม่สามารถสร้างเอกสารยาวๆ ได้ในขณะที่ยังคงจดจำสิ่งที่เกิดขึ้นตั้งแต่ต้นได้”

อย่างไรก็ตาม บางทีความท้าทายที่โดดเด่นที่สุดก็เกี่ยวข้องกับจุดแข็งที่ใหญ่ที่สุดของมันเช่นกัน: ความสามารถในการรวมกลุ่ม Confabulation เป็นคำที่แพทย์ใช้บ่อยเพื่ออธิบายวิธีที่ผู้ที่มีปัญหาด้านความจำสามารถทำได้ ประดิษฐ์ข้อมูลที่ดูเหมือนน่าเชื่อตั้งแต่แรก แต่ไม่จำเป็นต้องยืนหยัดต่อการพิจารณาอย่างใกล้ชิด การตรวจสอบ. ความสามารถในการรวมกลุ่มของ GPT-3 ขึ้นอยู่กับบริบท จุดแข็งและจุดอ่อน สำหรับโปรเจ็กต์เชิงสร้างสรรค์ อาจเป็นเรื่องดี โดยปล่อยให้สามารถปรับเปลี่ยนธีมได้โดยไม่ต้องกังวลกับสิ่งธรรมดาๆ อย่างความจริง สำหรับโครงการอื่นๆ อาจยุ่งยากกว่านั้น

Francis Jervis จาก Augrented อ้างถึงความสามารถของ GPT-3 ในการ "สร้างเรื่องไร้สาระที่น่าเชื่อถือ" นิค วอลตัน แห่ง ดันเจี้ยนเอไอ กล่าวว่า: “GPT-3 เก่งมากในการเขียนข้อความสร้างสรรค์ที่ดูเหมือนมนุษย์เขียนได้… หนึ่งในนั้น จุดอ่อนคือมักจะเขียนได้เหมือนมั่นใจมาก ถึงแม้จะไม่รู้ว่าคำตอบของอะไรก็ตาม คำถามคือ”

กลับมาที่ห้องจีน

ในเรื่องนี้ GPT-3 พาเรากลับไปยังพื้นที่คุ้นเคยของห้องภาษาจีนของ John Searle ในปี 1980 Searle นักปรัชญาได้ตีพิมพ์ หนึ่งใน A.I. ที่รู้จักกันดีที่สุด การทดลองทางความคิดโดยเน้นหัวข้อ “ความเข้าใจ” ห้องจีนขอให้เราจินตนาการถึงคนที่ถูกขังอยู่ในห้องที่มีข้อความมากมายในภาษาที่พวกเขาไม่เข้าใจ สิ่งที่พวกเขาจำได้คือสัญลักษณ์ที่เป็นนามธรรม ห้องนี้ยังมีชุดกฎที่แสดงว่าสัญลักษณ์ชุดหนึ่งสอดคล้องกับชุดอื่นอย่างไร เมื่อมีคำถามที่ต้องตอบจำนวนหนึ่ง ผู้ใช้ห้องจะต้องจับคู่สัญลักษณ์คำถามกับสัญลักษณ์คำตอบ หลังจากทำภารกิจนี้ซ้ำหลายครั้ง พวกเขาก็เชี่ยวชาญในการปฏิบัติ แม้ว่าพวกเขาจะไม่รู้ว่าสัญลักษณ์ชุดใดชุดหนึ่งหมายถึงอะไร แต่เพียงชุดนั้นสอดคล้องกับอีกชุดหนึ่งเท่านั้น

GPT-3 เป็นโลกที่ห่างไกลจาก A.I ทางภาษา ที่มีอยู่ในเวลาที่ Searle กำลังเขียน อย่างไรก็ตาม คำถามเรื่องความเข้าใจก็ยังยุ่งยากเช่นเคย

“นี่เป็นขอบเขตของการตั้งคำถามที่มีการโต้เถียงกันมาก ฉันแน่ใจว่าคุณรู้ดี เพราะมีหลายอย่างที่แตกต่างกันออกไป ความคิดเห็นเกี่ยวกับว่าโดยทั่วไปแล้วโมเดลภาษา…จะมีความเข้าใจ [จริง] หรือไม่” Sandhini จาก OpenAI กล่าว อาการ์วัล. “หากคุณถามฉันเกี่ยวกับ GPT-3 ในตอนนี้ บางครั้งมันก็ทำงานได้ดีมาก แต่ก็ไม่ค่อยดีนักในเวลาอื่นๆ มีการสุ่มนี้ในลักษณะที่ว่าผลลัพธ์อาจดูมีความหมายสำหรับคุณอย่างไร บางครั้งคุณอาจรู้สึกทึ่งกับผลลัพธ์ที่ได้ และบางครั้งผลลัพธ์ก็ไร้สาระ เนื่องจากตอนนี้ในความคิดของฉัน … GPT-3 ดูเหมือนจะไม่มีความเข้าใจ”

สิ่งที่เพิ่มเติมในการทดลองในห้องจีนในวันนี้ก็คือ GPT-3 ไม่ได้ถูกตั้งโปรแกรมไว้ในทุกขั้นตอนโดยทีมนักวิจัยกลุ่มเล็กๆ มันเป็นโมเดลขนาดใหญ่ที่ได้รับการฝึกฝนบนชุดข้อมูลขนาดมหึมาซึ่งประกอบด้วยอินเทอร์เน็ต ซึ่งหมายความว่าสามารถรับการอนุมานและอคติที่อาจเข้ารหัสเป็นข้อความที่พบทางออนไลน์ได้ คุณเคยได้ยินสำนวนที่ว่าคุณเป็นค่าเฉลี่ยของคนห้าคนที่อยู่รายล้อมด้วยหรือไม่? GPT-3 ได้รับการฝึกอบรมเกี่ยวกับข้อมูลข้อความจำนวนเกือบนับไม่ถ้วนจากหลายแหล่ง รวมถึงหนังสือ วิกิพีเดีย และบทความอื่นๆ จากนี้ เรียนรู้ที่จะคาดเดาคำถัดไปในลำดับใดก็ได้โดยการค้นหาข้อมูลการฝึกอบรมเพื่อดูชุดคำที่ใช้ก่อนหน้านี้ สิ่งนี้อาจส่งผลที่ตามมาโดยไม่ตั้งใจ

การให้อาหารนกแก้วสุ่ม

ความท้าทายกับโมเดลภาษาขนาดใหญ่นี้ถูกเน้นครั้งแรกใน กระดาษที่ก้าวล้ำ ว่าด้วยเรื่องของสิ่งที่เรียกว่านกแก้วสุ่ม นกแก้วสุ่ม — คำที่ผู้เขียนบัญญัติขึ้นมา ซึ่งรวมอยู่ในหมู่พวกเขาด้วย อดีตผู้นำร่วมของ A.I ทางจริยธรรมของ Google ทีม Timnit Gebru — หมายถึงโมเดลภาษาขนาดใหญ่ที่ “บังเอิญ [เย็บ] ลำดับของรูปแบบทางภาษาที่สังเกตเห็นในข้อมูลการฝึกอบรมอันกว้างใหญ่ ตามข้อมูลที่น่าจะเป็นเกี่ยวกับวิธีการรวมเข้าด้วยกัน แต่ไม่มีการอ้างอิงใด ๆ ไปสู่ความหมาย”

“หลังจากได้รับการฝึกอบรมบนอินเทอร์เน็ตเป็นส่วนใหญ่ สิ่งสำคัญคือต้องรับรู้ว่าจะมีอคติอยู่บ้าง” อัลเบิร์ต กอซซี่ผู้ใช้ GPT-3 อีกคนบอกกับ Digital Trends “ฉันรู้ว่าทีม OpenAI กำลังทำงานอย่างหนักเพื่อบรรเทาปัญหานี้ด้วยวิธีต่างๆ สองสามวิธี แต่ฉันคาดหวังว่านี่จะเป็นปัญหาสำหรับ [บางส่วน] ที่จะมาถึง”

มาตรการตอบโต้ของ OpenAI เพื่อป้องกันอคตินั้นรวมถึงตัวกรองความเป็นพิษ ซึ่งจะกรองภาษาหรือหัวข้อบางอย่างออกไป OpenAI ยังดำเนินการหาวิธีบูรณาการข้อเสนอแนะของมนุษย์ เพื่อให้สามารถระบุได้ว่าพื้นที่ใดที่จะไม่หลงทาง นอกจากนี้ ทีมงานยังควบคุมการเข้าถึงเครื่องมือเพื่อไม่ให้มีการเข้าถึงเครื่องมือในทางลบบางประการ

“สาเหตุหนึ่งที่คุณอาจไม่เห็นว่ามีผู้ใช้ที่เป็นอันตรายเหล่านี้มากเกินไป เนื่องจากเรามีกระบวนการตรวจสอบภายในที่เข้มข้น” Agarwal กล่าว “วิธีการทำงานของเราคือทุกครั้งที่คุณต้องการใช้ GPT-3 ในผลิตภัณฑ์ที่จะนำไปใช้จริง ต้องผ่านกระบวนการที่ทีม เช่น ทีมมนุษย์ ตรวจสอบวิธีที่คุณต้องการใช้งานจริงๆ มัน. … จากนั้น เมื่อทำให้แน่ใจว่าไม่ใช่สิ่งที่เป็นอันตราย คุณจะได้รับอนุญาตให้เข้าถึง”

อย่างไรก็ตาม บางส่วนก็เป็นสิ่งที่ท้าทาย อย่างน้อยก็เพราะอคติไม่ใช่กรณีที่ชัดเจนของการใช้คำบางคำเสมอไป Jervis ตั้งข้อสังเกตว่าในบางครั้ง ข้อความเช่า GPT-3 ของเขาอาจ "มีแนวโน้มที่จะมีทัศนคติต่อเพศ [หรือ] ชั้นเรียนแบบโปรเฟสเซอร์ สมมติฐาน” หากปล่อยทิ้งไว้โดยไม่มีใครดูแล อาจถือว่าอัตลักษณ์ทางเพศของอาสาสมัครอยู่ในจดหมายเช่า โดยขึ้นอยู่กับครอบครัวของพวกเขา บทบาทหรืองาน นี่อาจไม่ใช่ตัวอย่างที่เลวร้ายที่สุดของ A.I. มีอคติ แต่จะเน้นย้ำถึงสิ่งที่เกิดขึ้นเมื่อมีการนำเข้าข้อมูลจำนวนมาก และจากนั้นน่าจะประกอบขึ้นใหม่ในรูปแบบภาษา

“อคติและศักยภาพในการได้รับผลตอบแทนที่ชัดเจนนั้นมีอยู่จริง และต้องใช้ความพยายามจากนักพัฒนาเพื่อหลีกเลี่ยง” Tyler Lastovich กล่าว “OpenAI ระบุผลลัพธ์ที่อาจเป็นพิษ แต่ท้ายที่สุดแล้ว มันก็เพิ่มความรับผิดที่ลูกค้าต้องคิดให้รอบคอบก่อนที่จะนำแบบจำลองไปใช้งานจริง กรณีขอบที่ยากเป็นพิเศษในการพัฒนาคือแนวโน้มของแบบจำลองที่จะโกหก เนื่องจากไม่มีแนวคิดเกี่ยวกับข้อมูลจริงหรือเท็จ”

โมเดลภาษาและอนาคตของ A.I.

เก้าเดือนหลังจากเปิดตัว GPT-3 ก็ใช้งานได้ดีในฐานะผู้เปลี่ยนเกม สิ่งที่ครั้งหนึ่งเคยมีศักยภาพล้วนๆ ได้แสดงให้เห็นว่ามีศักยภาพเกิดขึ้นจริงแล้ว จำนวนกรณีการใช้งานที่น่าสนใจสำหรับ GPT-3 เน้นให้เห็นถึงวิธีที่ A.I. มีความหลากหลายมากกว่าคำอธิบายนั้นมาก

ไม่ใช่ว่าจะเป็นเด็กใหม่ในบล็อกทุกวันนี้ เมื่อต้นปีที่ผ่านมา GPT-3 ถูกแซงหน้าในฐานะโมเดลภาษาที่ใหญ่ที่สุด Google Brain เปิดตัวโมเดลภาษาใหม่ ด้วยพารามิเตอร์ประมาณ 1.6 ล้านล้านพารามิเตอร์ซึ่งมีขนาดใหญ่กว่าข้อเสนอของ OpenAI ถึงเก้าเท่า และนี่ก็ไม่น่าจะเป็นจุดสิ้นสุดของโมเดลภาษาด้วย สิ่งเหล่านี้เป็นเครื่องมือที่ทรงพลังอย่างยิ่ง โดยมีศักยภาพในการเปลี่ยนแปลงสังคม ให้ดีขึ้นและแย่ลงได้

ความท้าทายเกิดขึ้นอย่างแน่นอนกับเทคโนโลยีเหล่านี้ และเป็นสิ่งที่บริษัทอย่าง OpenAI นักวิจัยอิสระ และอื่นๆ จะต้องจัดการต่อไป แต่โดยรวมแล้ว เป็นการยากที่จะโต้แย้งว่าโมเดลภาษาไม่ได้กลายเป็นขอบเขตที่น่าสนใจและสำคัญที่สุดด้านหนึ่งของการวิจัยปัญญาประดิษฐ์

ใครจะคิดว่าโปรแกรมสร้างข้อความมีความสำคัญอย่างยิ่ง? ยินดีต้อนรับสู่อนาคตของปัญญาประดิษฐ์

คำแนะนำของบรรณาธิการ

• อะนาล็อกเอไอ? ฟังดูบ้าบอ แต่อาจจะเป็นอนาคตก็ได้
• อ่าน 'พระคัมภีร์สังเคราะห์' ที่สวยงามน่าขนลุกของ A.I. ที่คิดว่าเป็นพระเจ้า
• สถาปัตยกรรมอัลกอริทึม: เราควรปล่อยให้ A.I. ออกแบบอาคารให้เราเหรอ?
• Women with Byte: แผนการของวิเวียน หมิงในการแก้ปัญหา 'ปัญหายุ่งวุ่นวายของมนุษย์' ด้วย A.I.
• เหตุใดการสอนหุ่นยนต์ให้เล่นซ่อนหาอาจเป็นกุญแจสำคัญของ A.I ยุคถัดไป