Nej, ChatGPT kommer inte att orsaka ytterligare GPU-brist

ChatGPT exploderar, och ryggraden i dess AI-modell är beroende av Nvidia-grafikkort. En analytiker sa cirka 10 000 Nvidia GPU: er användes för att träna ChatGPT, och eftersom tjänsten fortsätter att expandera, ökar också behovet av GPU: er. Alla som genomlevde kryptons framväxt 2021 kan lukta en GPU brist vid horisonten.

Jag har sett några reportrar bygga den exakta kopplingen, men det är missriktat. Dagarna med brist på kryptodriven GPU-typ ligger bakom oss. Även om vi sannolikt kommer att se en ökning i efterfrågan på grafikkort eftersom AI fortsätter att blomstra riktas inte efterfrågan mot bästa grafikkort installerad i spelriggar.

Varför Nvidia GPU: er är byggda för AI

Först ska vi ta upp varför Nvidia grafikkort är så bra för AI. Nvidia har satsat på AI under de senaste åren, och det har lönat sig med företagets aktiekurs som skjutit i höjden efter uppgången för ChatGPT. Det finns två anledningar till varför du ser Nvidia i hjärtat av AI-träning: tensorkärnor och CUDA.

CUDA är Nvidias Application Programming Interface (API) som används i allt från dess dyraste datacenter GPU: er till dess billigaste GPU: er för spel. CUDA-acceleration stöds i maskininlärningsbibliotek som TensorFlow, träning i hög hastighet och slutledning. CUDA är drivkraften bakom AMD ligger så långt efter i AI jämfört med Nvidia.

Förväxla dock inte CUDA med Nvidias CUDA-kärnor. CUDA är plattformen som massor av AI-appar körs på, medan CUDA-kärnor bara är kärnorna inuti Nvidia GPU: er. De delar ett namn, och CUDA-kärnor är bättre optimerade för att köra CUDA-applikationer. Nvidias spel-GPU: er har CUDA-kärnor och de stöder CUDA-appar.

Tensorkärnor är i grunden dedikerade AI-kärnor. De hanterar matrismultiplikation, som är den hemliga såsen som påskyndar AI-träning. Tanken här är enkel. Multiplicera flera uppsättningar data samtidigt och träna AI-modeller exponentiellt snabbare genom att generera möjliga resultat. De flesta processorer hanterar uppgifter på ett linjärt sätt, medan Tensor-kärnor snabbt kan generera scenarier i en enda klockcykel.

Återigen, Nvidias spel-GPU: er gillar RTX 4080 har Tensor-kärnor (och ibland till och med mer än dyra datacenter-GPU: er). Men för alla specifikationer som Nvidia-kort har för att accelerera AI-modeller, är ingen av dem lika viktig som minne. Och Nvidias spel-GPU: er har inte mycket minne.

Allt kommer till minnet

"Minnesstorlek är det viktigaste", enligt Jeffrey Heaton, författare till flera böcker om artificiell intelligens och professor vid Washington University i St. Louis. "Om du inte har tillräckligt med GPU Bagge, din modellanpassning/inferens slutar helt enkelt.”

Heaton, som har en YouTube-kanal dedikerade till hur väl AI-modeller körs på vissa GPU: er, noterade att CUDA-kärnor också är viktiga, men minneskapacitet är den dominerande faktorn när det kommer till hur en GPU fungerar för AI. De RTX 4090 har mycket minne med spelstandarder — 24 GB GDDR6X — men väldigt lite jämfört med en datacenterklassad GPU. Till exempel har Nvidias senaste H100 GPU 80 GB HBM3-minne, såväl som en massiv 5 120-bitars minnesbuss.

Du kan klara dig med mindre, men du behöver fortfarande mycket minne. Heaton rekommenderar att nybörjare har inte mindre än 12 GB, medan en typisk maskininlärningsingenjör kommer att ha en eller två 48 GB professionella Nvidia GPU: er. Enligt Heaton, "kommer de flesta arbetsbelastningar att falla mer i A100 till åtta A100-intervall." Nvidias A100 GPU har 40 GB minne.

Du kan också se denna skalning i aktion. Puget Systems visar en enda A100 med 40 GB minne som presterar ungefär dubbelt så snabbt som en enda RTX 3090 med sina 24 GB minne. Och det är trots att RTX 3090 har nästan dubbelt så många CUDA-kärnor och nästan så många Tensor-kärnor.

Minnet är flaskhalsen, inte rå processorkraft. Det beror på att träning av AI-modeller bygger på stora datamängder, och ju mer av den data du kan lagra i minnet, desto snabbare (och mer exakt) kan du träna en modell.

Olika behov, olika dies

Nvidias spel-GPU: er är i allmänhet inte lämpliga för AI på grund av hur lite videominne de har jämfört med maskinvara av företagsklass, men det finns ett separat problem här också. Nvidias arbetsstations GPU: er delar vanligtvis inte en GPU-matris med sina spelkort.

Till exempel använder A100 som Heaton refererade till GA100 GPU, som är en tärning från Nvidias Ampere-serie som aldrig användes på spelfokuserade kort (inklusive high-end RTX 3090 Ti). På samma sätt använder Nvidias senaste H100 en helt annan arkitektur än RTX 40-serien, vilket innebär att den också använder en annan stans.

Det finns undantag. Nvidias AD102 GPU, som är inuti RTX 4090 och RTX 4080, används också i ett litet utbud av Ada Lovelace företags-GPU: er (L40 och RTX 6000). I de flesta fall kan Nvidia dock inte bara återanvända en spel-GPU-matris för ett datacenterkort. De är separata världar.

Det finns några grundläggande skillnader mellan GPU-bristen vi såg på grund av kryptomining och ökningen i popularitet för AI-modeller. Enligt Heaton krävde GPT-3-modellen över 1 000 A100 Nvidia GPU: er för att träna och cirka åtta för att köras. Dessa GPU: er har också tillgång till NVLink-interconnect med hög bandbredd, medan Nvidias RTX 40-serie GPU: er inte har det. Det jämför maximalt 24 GB minne på Nvidias spelkort med flera hundra på GPU: er som A100 med NVLink.

Det finns några andra bekymmer, som att minnesstickor tilldelas för professionella GPU: er framför spel, men dagarna när du rusar till ditt lokala Micro Center eller Best Buy för chansen att hitta en GPU i lager är borta. Heaton sammanfattade den punkten fint: "Stora språkmodeller, som ChatGPT, beräknas kräva minst åtta GPU: er för att köras. Sådana uppskattningar förutsätter avancerade A100 GPU: er. Mina spekulationer är att detta kan orsaka brist på avancerade GPU: er, men kanske inte påverkar gamer-klass GPU: er, med mindre Bagge.”

Redaktörens rekommendationer

• Toppförfattare kräver betalning från AI-företag för att de använder deras arbete
• Google Bard kan nu tala, men kan det överrösta ChatGPT?
• ChatGPTs webbplatstrafik har minskat för första gången
• 81 % tycker att ChatGPT är en säkerhetsrisk, visar undersökningen
• Apples ChatGPT-konkurrent kan automatiskt skriva kod åt dig

Uppgradera din livsstilDigitala trender hjälper läsare att hålla koll på den snabba teknikvärlden med alla de senaste nyheterna, roliga produktrecensioner, insiktsfulla redaktioner och unika smygtittar.