לא, ChatGPT לא יגרום למחסור נוסף ב-GPU

ChatGPT מתפוצץ, ועמוד השדרה של דגם ה-AI שלו מסתמך על כרטיסי מסך של Nvidia. אנליסט אחד אמר בסביבות 10,000 GPUs של Nvidia שימשו לאימון ChatGPT, וככל שהשירות ממשיך להתרחב, כך עולה הצורך במעבדי GPU. כל מי שחי את עליית הקריפטו ב-2021 יכול להריח א מחסור ב-GPU באופק.

ראיתי כמה עיתונאים יוצרים את הקשר המדויק הזה, אבל זה מוטעה. הימים של מחסור ב-GPU מסוג קריפטו מאחורינו. למרות שסביר להניח שנראה עלייה בביקוש עבור כרטיסי מסך ככל שה-AI ממשיכה לשגשג, הדרישה הזו לא מופנית לכיוון כרטיסי המסך הטובים ביותר מותקן ב אסדות משחק.

מדוע GPUs Nvidia בנויים עבור AI

ראשית, נתייחס למה Nvidia כרטיסי מסך כל כך מעולים עבור AI. Nvidia הימרה על AI בשנים האחרונות, וזה השתלם עם עליית מחיר המניה של החברה לאחר עליית ChatGPT. ישנן שתי סיבות מדוע אתה רואה את Nvidia בלב אימון בינה מלאכותית: ליבות טנזור ו-CUDA.

CUDA הוא ממשק תכנות יישומים (API) של Nvidia המשמש בכל דבר, החל מ-GPUs של מרכז הנתונים היקרים ביותר ועד GPUs למשחקים הזולים ביותר. האצת CUDA נתמכת בספריות למידת מכונה כמו TensorFlow, אימון מהירות עצום ו הסקה. CUDA הוא הכוח המניע מאחורי AMD נמצאת כל כך מאחור ב-AI בהשוואה ל-Nvidia.

עם זאת, אל תבלבל את CUDA עם ליבות ה-CUDA של Nvidia. CUDA היא הפלטפורמה שעליה פועלות המון אפליקציות בינה מלאכותית, בעוד שליבות CUDA הן רק הליבות בתוך גרפי Nvidia. הם חולקים שם, וליבות CUDA מותאמות טוב יותר להפעלת יישומי CUDA. למעבדי הגיימינג של Nvidia יש ליבות CUDA והם תומכים באפליקציות CUDA.

ליבות טנסור הן בעצם ליבות AI ייעודיות. הם מטפלים בכפל מטריצה, שהוא הרוטב הסודי שמאיץ אימון בינה מלאכותית. הרעיון כאן הוא פשוט. הכפל מספר קבוצות של נתונים בו-זמנית, ואמן מודלים של AI בצורה אקספוננציאלית מהר יותר על ידי יצירת תוצאות אפשריות. רוב המעבדים מטפלים במשימות בצורה ליניארית, בעוד שליבות Tensor יכולות ליצור במהירות תרחישים במחזור שעון בודד.

שוב, מעבדי המשחקים של Nvidia אוהבים את RTX 4080 יש ליבות Tensor (ולפעמים אפילו יותר מ-GPUs של מרכז נתונים יקרים). עם זאת, עבור כל המפרטים שכרטיסי Nvidia צריכים להאיץ דגמי AI, אף אחד מהם אינו חשוב כמו זיכרון. ולמעבדי המשחקים של Nvidia אין הרבה זיכרון.

הכל מסתכם בזיכרון

"גודל הזיכרון הוא החשוב ביותר", לפי ג'פרי היטון, מחברם של מספר ספרים על בינה מלאכותית ופרופסור באוניברסיטת וושינגטון בסנט לואיס. "אם אין לך מספיק GPU RAM, התאמת/הסקת המודל שלך פשוט נעצרת."

היטון, מי יש ערוץ יוטיוב מוקדש לאופן שבו פועלים דגמי AI על GPUs מסוימים, ציין כי ליבות CUDA חשובות גם כן, אך קיבולת הזיכרון היא הגורם הדומיננטי בכל הנוגע לאופן פעולתו של GPU עבור AI. ה RTX 4090 יש לו הרבה זיכרון בסטנדרטים של משחקים - 24GB של GDDR6X - אבל מעט מאוד בהשוואה למעבד גרפי מסוג מרכז נתונים. לדוגמה, ל-H100 GPU האחרון של Nvidia יש 80GB של זיכרון HBM3, כמו גם אפיק זיכרון מאסיבי של 5,120 סיביות.

אתה יכול להסתדר עם פחות, אבל אתה עדיין צריך הרבה זיכרון. Heaton ממליץ למתחילים להחזיק בנפח של לא פחות מ-12GB, בעוד למהנדס למידת מכונה טיפוסי יהיה אחד או שניים מקצועיים של 48GB. GPUs של Nvidia. לדברי Heaton, "רוב עומסי העבודה ייפלו יותר בטווח A100 עד שמונה A100". ל-A100 GPU של Nvidia יש 40GB של זיכרון.

אתה יכול לראות את קנה המידה הזה בפעולה, גם. Puget Systems מציג A100 יחיד עם זיכרון של 40 ג'יגה-בייט עם ביצועים כפולים יותר מאשר RTX 3090 יחיד עם 24 ג'יגה-בייט של זיכרון. וזה למרות העובדה של-RTX 3090 יש כמעט פי שניים יותר ליבות CUDA וכמעט יותר ליבות Tensor.

הזיכרון הוא צוואר הבקבוק, לא כוח העיבוד הגולמי. הסיבה לכך היא שאימון מודלים של AI מסתמך על מערכי נתונים גדולים, וככל שתוכל לאחסן יותר מהנתונים האלה בזיכרון, כך תוכל לאמן מודל מהר יותר (ומדויק יותר).

צרכים שונים, מתים שונים

מעבדי המשחקים של Nvidia בדרך כלל אינם מתאימים לבינה מלאכותית בגלל המעט זיכרון וידאו שיש להם בהשוואה לחומרה ברמה ארגונית, אבל יש כאן גם בעיה נפרדת. מעבדי תחנת העבודה של Nvidia אינם חולקים בדרך כלל קוביית GPU עם כרטיסי המשחקים שלה.

לדוגמה, ה-A100 שאליו התייחס Heaton משתמש ב-GA100 GPU, שהוא קובייה מטווח האמפר של Nvidia שמעולם לא היה בשימוש בכרטיסים ממוקדי משחקים (כולל ה-high-end RTX 3090 Ti). באופן דומה, ה-H100 האחרון של Nvidia משתמש בארכיטקטורה שונה לחלוטין מזו של סדרת RTX 40, כלומר הוא משתמש גם בקובייה אחרת.

יש יוצאים מן הכלל. ה-AD102 GPU של Nvidia, שנמצא בתוך RTX 4090 ו-RTX 4080, משמש גם במגוון קטן של GPUs ארגוניים של Ada Lovelace (ה-L40 וה-RTX 6000). עם זאת, ברוב המקרים, Nvidia לא יכולה פשוט ליישם מחדש קוביית GPU למשחקים עבור כרטיס מרכז נתונים. הם עולמות נפרדים.

ישנם כמה הבדלים מהותיים בין המחסור ב-GPU שראינו עקב כריית קריפטו לבין העלייה בפופולריות של דגמי AI. לפי Heaton, דגם GPT-3 דרש יותר מ-1,000 A100 Nvidia GPUs לרכבות וכשמונה להפעלה. למעבדי GPU אלה יש גישה גם לחיבורי הגומלין NVLink ברוחב פס גבוה, בעוד למעבדי ה-GPU מסדרת RTX 40 של Nvidia אין. זה משווה מקסימום 24GB של זיכרון בכרטיסי המשחקים של Nvidia למאות מרובות ב-GPUs כמו A100 עם NVLink.

יש עוד כמה חששות, כמו קובצי זיכרון שהוקצה עבור GPUs מקצועיים על פני משחקים, אבל הימים של מיהר ל-Micro Center המקומי או Best Buy עבור ההזדמנות למצוא GPU במלאי הם נעלם. Heaton סיכם את הנקודה הזו בצורה יפה: "מודלים של שפה גדולים, כגון ChatGPT, מצריכים לפחות שמונה מעבדי GPU כדי לפעול. הערכות כאלה מניחות את ה-GPUs A100 המתקדמים. ההשערה שלי היא שזה עלול לגרום למחסור במעבדי ה-GPU המתקדמים יותר, אך עשוי שלא להשפיע על GPUs ברמת גיימרים, עם פחות RAM.”

המלצות עורכים

• מחברים מובילים דורשים תשלום מחברות בינה מלאכותית על השימוש בעבודתם
• Google Bard יכול עכשיו לדבר, אבל האם הוא יכול להטביע את ChatGPT?
• תעבורת האתר ChatGPT ירדה לראשונה
• 81% חושבים ש-ChatGPT הוא סיכון אבטחה, כך עולה מהסקר
• יריבת ChatGPT של אפל עשויה לכתוב עבורך קוד אוטומטית

שדרג את אורח החיים שלךמגמות דיגיטליות עוזרות לקוראים לעקוב אחר עולם הטכנולוגיה המהיר עם כל החדשות האחרונות, ביקורות מהנות על מוצרים, מאמרי מערכת מעוררי תובנות והצצות מיוחדות במינן.