ไม่ ChatGPT จะไม่ทำให้ GPU ขาดแคลนอีกต่อไป

ChatGPT กำลังระเบิด และแกนหลักของโมเดล AI นั้นอาศัยการ์ดกราฟิก Nvidia นักวิเคราะห์คนหนึ่งกล่าวว่า มีการใช้ Nvidia GPU ประมาณ 10,000 ตัวในการฝึก ChatGPT และเนื่องจากบริการยังคงขยายตัวอย่างต่อเนื่อง ความต้องการ GPU ก็เพิ่มมากขึ้นเช่นกัน ใครก็ตามที่ใช้ชีวิตผ่านการเพิ่มขึ้นของสกุลเงินดิจิทัลในปี 2021 ก็สามารถได้กลิ่น ปัญหาการขาดแคลน GPU บนขอบฟ้า

ฉันเคยเห็นนักข่าวสองสามคนสร้างการเชื่อมต่อที่แน่นอน แต่มันเข้าใจผิด วันแห่งการขาดแคลน GPU ประเภท crypto อยู่ข้างหลังเราแล้ว แม้ว่าเราจะได้เห็นความต้องการที่เพิ่มขึ้นอย่างรวดเร็วก็ตาม กราฟิกการ์ด เนื่องจาก AI ยังคงเติบโตอย่างต่อเนื่อง ความต้องการดังกล่าวจึงไม่ได้มุ่งไปที่ กราฟิกการ์ดที่ดีที่สุด ติดตั้งใน แท่นขุดเจาะเกม.

เหตุใด Nvidia GPU จึงถูกสร้างขึ้นสำหรับ AI

ก่อนอื่น เราจะพูดถึงสาเหตุที่ทำให้ Nvidia กราฟิกการ์ด ยอดเยี่ยมมากสำหรับ AI ในช่วงหลายปีที่ผ่านมา Nvidia เดิมพัน AI และได้รับผลตอบแทนจากราคาหุ้นของบริษัทที่พุ่งสูงขึ้นหลังจากการเพิ่มขึ้นของ ChatGPT มีเหตุผลสองประการที่คุณเห็น Nvidia เป็นหัวใจสำคัญของการฝึกอบรม AI: เทนเซอร์คอร์และ CUDA

CUDA คือ Application Programming Interface (API) ของ Nvidia ที่ใช้ในทุกสิ่งตั้งแต่ GPU สำหรับศูนย์ข้อมูลที่มีราคาแพงที่สุดไปจนถึง GPU สำหรับเล่นเกมที่ถูกที่สุด การเร่งความเร็ว CUDA ได้รับการรองรับในไลบรารีแมชชีนเลิร์นนิง เช่น TensorFlow การฝึกเร่งความเร็วอย่างมหาศาล และ การอนุมาน CUDA คือแรงผลักดันเบื้องหลัง AMD ยังตามหลัง AI อยู่มาก เทียบกับ NVIDIA

อย่าสับสน CUDA กับคอร์ CUDA ของ Nvidia CUDA เป็นแพลตฟอร์มที่แอป AI จำนวนมากทำงานอยู่ ในขณะที่คอร์ CUDA เป็นเพียงคอร์ภายใน Nvidia GPU พวกเขาใช้ชื่อร่วมกัน และคอร์ CUDA ได้รับการปรับให้เหมาะสมที่สุดในการรันแอปพลิเคชัน CUDA GPU สำหรับเล่นเกมของ Nvidia มีคอร์ CUDA และรองรับแอป CUDA

แกนเทนเซอร์นั้นเป็นแกน AI โดยเฉพาะ พวกมันจัดการกับการคูณเมทริกซ์ ซึ่งเป็นสูตรลับที่ช่วยเร่งการฝึก AI แนวคิดที่นี่เป็นเรื่องง่าย คูณข้อมูลหลายชุดพร้อมกัน และฝึกโมเดล AI เร็วขึ้นแบบทวีคูณด้วยการสร้างผลลัพธ์ที่เป็นไปได้ โปรเซสเซอร์ส่วนใหญ่จัดการงานในลักษณะเชิงเส้น ในขณะที่แกนเทนเซอร์สามารถสร้างสถานการณ์ได้อย่างรวดเร็วในรอบสัญญาณนาฬิกาเดียว

อีกครั้ง GPU สำหรับเล่นเกมของ Nvidia ชอบ RTX4080 มีแกนเทนเซอร์ (และบางครั้งก็มากกว่า GPU สำหรับศูนย์ข้อมูลที่มีราคาแพงด้วยซ้ำ) อย่างไรก็ตาม สำหรับข้อกำหนดทั้งหมด การ์ด Nvidia จะต้องเร่งความเร็วโมเดล AI ไม่มีรุ่นใดที่สำคัญเท่ากับหน่วยความจำ และ GPU สำหรับเล่นเกมของ Nvidia ก็มีหน่วยความจำไม่มาก

ทุกอย่างลงมาที่ความทรงจำ

“ขนาดหน่วยความจำเป็นสิ่งสำคัญที่สุด” ตามที่ Jeffrey Heaton ผู้เขียนหนังสือหลายเล่มเกี่ยวกับปัญญาประดิษฐ์และเป็นศาสตราจารย์แห่งมหาวิทยาลัยวอชิงตันในเมืองเซนต์หลุยส์กล่าว “ถ้าคุณมี GPU ไม่เพียงพอ แกะการปรับโมเดล/การอนุมานของคุณจะหยุดลงทันที”

ฮีตันใคร. มีช่องยูทูป ทุ่มเทให้กับการทำงานของโมเดล AI บน GPU บางตัว โดยสังเกตว่าแกน CUDA ก็มีความสำคัญเช่นกัน แต่ความจุหน่วยความจำเป็นปัจจัยหลักเมื่อพูดถึงการทำงานของ GPU สำหรับ AI ที่ RTX4090 มีหน่วยความจำจำนวนมากตามมาตรฐานการเล่นเกม — GDDR6X ขนาด 24GB — แต่น้อยมากเมื่อเทียบกับ GPU ระดับศูนย์ข้อมูล ตัวอย่างเช่น H100 GPU ล่าสุดของ Nvidia มีหน่วยความจำ HBM3 ขนาด 80GB รวมถึงบัสหน่วยความจำขนาดใหญ่ 5,120 บิต

คุณสามารถเดินทางได้โดยใช้เวลาน้อยลง แต่คุณยังต้องการหน่วยความจำจำนวนมาก Heaton แนะนำให้ผู้เริ่มต้นใช้งานมีความจุไม่ต่ำกว่า 12GB ในขณะที่วิศวกรด้านการเรียนรู้ของเครื่องทั่วไปจะมีมืออาชีพขนาด 48GB หนึ่งหรือสองตัว NVIDIA GPU จากข้อมูลของ Heaton “ปริมาณงานส่วนใหญ่จะตกมากขึ้นในช่วง A100 เดี่ยวถึงแปด A100” GPU A100 ของ Nvidia มี 40GB หน่วยความจำ.

คุณสามารถเห็นการปรับขนาดนี้ในการดำเนินการได้เช่นกัน ระบบ Puget แสดง A100 เครื่องเดียวที่มีหน่วยความจำ 40GB ซึ่งทำงานได้เร็วกว่า RTX 3090 เครื่องเดียวที่มีหน่วยความจำ 24GB ประมาณสองเท่า และถึงแม้ว่า RTX 3090 จะมีคอร์ CUDA มากกว่าเกือบสองเท่าและมีเทนเซอร์คอร์เกือบเท่าก็ตาม

หน่วยความจำคือจุดคอขวด ไม่ใช่พลังในการประมวลผล นั่นเป็นเพราะว่าการฝึกโมเดล AI ต้องอาศัยชุดข้อมูลขนาดใหญ่ และยิ่งคุณเก็บข้อมูลนั้นไว้ในหน่วยความจำได้มากเท่าไหร่ คุณก็จะฝึกโมเดลได้เร็ว (และแม่นยำมากขึ้นเท่านั้น)

ความต้องการต่างกัน การตายต่างกัน

GPU สำหรับเล่นเกมของ Nvidia โดยทั่วไปไม่เหมาะกับ AI เนื่องจากหน่วยความจำวิดีโอมีน้อยเมื่อเทียบกับฮาร์ดแวร์ระดับองค์กร แต่มีปัญหาแยกต่างหากที่นี่เช่นกัน GPU เวิร์กสเตชันของ Nvidia มักจะไม่แชร์ GPU ดายกับการ์ดเกม

ตัวอย่างเช่น A100 ที่ Heaton อ้างอิงใช้ GPU GA100 ซึ่งเป็น Die จากช่วง Ampere ของ Nvidia ที่ไม่เคยใช้กับการ์ดที่เน้นการเล่นเกม (รวมถึงการ์ดระดับไฮเอนด์ RTX 3090 Ti). ในทำนองเดียวกัน H100 ล่าสุดของ Nvidia ใช้สถาปัตยกรรมที่แตกต่างอย่างสิ้นเชิงจากซีรีย์ RTX 40 ซึ่งหมายความว่ามันใช้แม่พิมพ์ที่แตกต่างกันเช่นกัน

มีข้อยกเว้นอยู่ GPU AD102 ของ Nvidia ซึ่งอยู่ภายใน RTX4090 และ RTX 4080 ยังใช้ใน GPU ระดับองค์กรของ Ada Lovelace กลุ่มเล็กๆ (L40 และ RTX 6000) อย่างไรก็ตาม ในกรณีส่วนใหญ่ Nvidia ไม่สามารถนำ GPU สำหรับเล่นเกมไปใช้แทนการ์ดศูนย์ข้อมูลได้ พวกเขาเป็นโลกที่แยกจากกัน

มีความแตกต่างพื้นฐานบางประการระหว่างการขาดแคลน GPU ที่เราเห็นเนื่องจากการขุด crypto และความนิยมที่เพิ่มขึ้นของโมเดล AI จากข้อมูลของ Heaton รุ่น GPT-3 ต้องใช้ GPU A100 Nvidia มากกว่า 1,000 ตัวในการฝึก และประมาณแปดตัวในการทำงาน GPU เหล่านี้สามารถเข้าถึงการเชื่อมต่อระหว่างกันของ NVLink แบนด์วิธสูงได้เช่นกัน ในขณะที่ GPU RTX 40 ซีรีส์ของ Nvidia ไม่สามารถทำได้ เป็นการเปรียบเทียบหน่วยความจำสูงสุด 24GB บนการ์ดเกมของ Nvidia กับ GPU หลายร้อยตัวเช่น A100 พร้อม NVLink

ยังมีข้อกังวลอื่นๆ เช่น หน่วยความจำตายจะถูกจัดสรรให้กับ GPU มืออาชีพมากกว่าตัวเล่นเกม แต่วันที่ต้องรีบไปที่ Micro Center หรือ Best Buy ในพื้นที่ของคุณเพื่อหาโอกาสในการค้นหา GPU ในสต็อกก็คือ ไปแล้ว. Heaton สรุปไว้อย่างชัดเจน: “โมเดลภาษาขนาดใหญ่ เช่น ChatGPT คาดว่าจะต้องใช้ GPU อย่างน้อยแปดตัวในการทำงาน การประมาณการดังกล่าวถือว่าใช้ GPU A100 ระดับไฮเอนด์ การคาดเดาของฉันคือสิ่งนี้อาจทำให้เกิดการขาดแคลน GPU ระดับสูง แต่อาจไม่ส่งผลกระทบต่อ GPU ระดับเกมเมอร์โดยน้อยลง แกะ.”

คำแนะนำของบรรณาธิการ

• นักเขียนชั้นนำเรียกร้องเงินจากบริษัท AI เพื่อใช้งานของพวกเขา
• Google Bard สามารถพูดได้แล้ว แต่จะทำให้ ChatGPT จมหายไปได้หรือไม่
• ปริมาณการใช้เว็บไซต์ ChatGPT ลดลงเป็นครั้งแรก
• 81% คิดว่า ChatGPT เป็นความเสี่ยงด้านความปลอดภัย จากการสำรวจพบว่า
• คู่แข่ง ChatGPT ของ Apple อาจเขียนโค้ดให้คุณโดยอัตโนมัติ

อัพเกรดไลฟ์สไตล์ของคุณDigital Trends ช่วยให้ผู้อ่านติดตามโลกแห่งเทคโนโลยีที่เปลี่ยนแปลงไปอย่างรวดเร็วด้วยข่าวสารล่าสุด รีวิวผลิตภัณฑ์สนุกๆ บทบรรณาธิการที่เจาะลึก และการแอบดูที่ไม่ซ้ำใคร