Nej, ChatGPT kommer ikke til at forårsage endnu en GPU-mangel

ChatGPT eksploderer, og rygraden i dens AI-model er afhængig af Nvidia-grafikkort. En analytiker sagde omkring 10.000 Nvidia GPU'er blev brugt til at træne ChatGPT, og efterhånden som tjenesten fortsætter med at udvide, vokser behovet for GPU'er også. Enhver, der gennemlevede fremkomsten af ​​krypto i 2021, kan lugte en GPU mangel i horisonten.

Jeg har set et par journalister bygge den nøjagtige forbindelse, men det er forkert. Dagene med mangel på krypto-drevet GPU er bag os. Selvom vi sandsynligvis vil se en stigning i efterspørgslen efter grafikkort da AI fortsætter med at boome, er efterspørgslen ikke rettet mod bedste grafikkort installeret i gaming rigs.

Hvorfor Nvidia GPU'er er bygget til AI

Først vil vi adressere hvorfor Nvidia grafikkort er så gode til AI. Nvidia har satset på kunstig intelligens i de sidste mange år, og det har betalt sig med selskabets aktiekurs, der er steget kraftigt efter fremkomsten af ​​ChatGPT. Der er to grunde til, at du ser Nvidia i hjertet af AI-træning: Tensorkerner og CUDA.

CUDA er Nvidias Application Programming Interface (API), der bruges i alt fra dets dyreste datacenter-GPU'er til dets billigste gaming GPU'er. CUDA-acceleration understøttes i maskinlæringsbiblioteker som TensorFlow, træning i høj fart og slutning. CUDA er drivkraften bag AMD er så langt bagud i AI sammenlignet med Nvidia.

Du må dog ikke forveksle CUDA med Nvidias CUDA-kerner. CUDA er den platform, som et væld af AI-apps kører på, mens CUDA-kerner kun er kernerne inde i Nvidia GPU'er. De deler et navn, og CUDA-kerner er bedre optimeret til at køre CUDA-applikationer. Nvidias gaming GPU'er har CUDA-kerner, og de understøtter CUDA-apps.

Tensorkerner er grundlæggende dedikerede AI-kerner. De håndterer matrix multiplikation, som er den hemmelige sauce, der fremskynder AI-træning. Ideen her er enkel. Multiplicer flere sæt data på én gang, og træne AI-modeller eksponentielt hurtigere ved at generere mulige resultater. De fleste processorer håndterer opgaver på en lineær måde, mens Tensor-kerner hurtigt kan generere scenarier i en enkelt clock-cyklus.

Igen, Nvidias gaming GPU'er kan lide RTX 4080 har Tensor-kerner (og nogle gange endda mere end dyre datacenter-GPU'er). Men for alle de specifikationer, Nvidia-kort skal accelerere AI-modeller, er ingen af ​​dem så vigtige som hukommelse. Og Nvidias gaming GPU'er har ikke meget hukommelse.

Det hele kommer ned til hukommelsen

"Hukommelsesstørrelsen er den vigtigste," ifølge Jeffrey Heaton, forfatter til flere bøger om kunstig intelligens og professor ved Washington University i St. Louis. "Hvis du ikke har nok GPU vædder, din modeltilpasning/inferens stopper simpelthen."

Heaton, der har en YouTube-kanal dedikeret til, hvor godt AI-modeller kører på visse GPU'er, bemærkede, at CUDA-kerner også er vigtige, men hukommelseskapacitet er den dominerende faktor, når det kommer til, hvordan en GPU fungerer for AI. Det RTX 4090 har meget hukommelse efter gaming standarder - 24 GB GDDR6X - men meget lidt sammenlignet med en datacenter-klasse GPU. For eksempel har Nvidias seneste H100 GPU 80 GB HBM3-hukommelse samt en massiv 5.120-bit hukommelsesbus.

Du kan klare dig med mindre, men du har stadig brug for meget hukommelse. Heaton anbefaler, at begyndere har ikke mindre end 12 GB, mens en typisk maskinlæringsingeniør vil have en eller to 48 GB professionelle Nvidia GPU'er. Ifølge Heaton, "vil de fleste arbejdsbelastninger falde mere i det enkelte A100 til otte A100-område." Nvidias A100 GPU har 40 GB hukommelse.

Du kan også se denne skalering i aktion. Puget systemer viser en enkelt A100 med 40 GB hukommelse, der yder omkring dobbelt så hurtigt som en enkelt RTX 3090 med dens 24 GB hukommelse. Og det er på trods af, at RTX 3090 har næsten dobbelt så mange CUDA-kerner og næsten så mange Tensor-kerner.

Hukommelse er flaskehalsen, ikke rå processorkraft. Det skyldes, at træning af AI-modeller er afhængig af store datasæt, og jo flere af disse data du kan gemme i hukommelsen, jo hurtigere (og mere præcist) kan du træne en model.

Forskellige behov, forskellige dies

Nvidias gaming GPU'er er generelt ikke egnede til AI på grund af hvor lidt videohukommelse de har sammenlignet med hardware i virksomhedskvalitet, men der er også et separat problem her. Nvidias arbejdsstation-GPU'er deler normalt ikke en GPU-die med sine spilkort.

For eksempel bruger A100, som Heaton refererede til, GA100 GPU, som er en die fra Nvidias Ampere-serie, der aldrig blev brugt på spilfokuserede kort (inklusive high-end RTX 3090 Ti). På samme måde bruger Nvidias seneste H100 en helt anden arkitektur end RTX 40-serien, hvilket betyder, at den også bruger en anden die.

Der er undtagelser. Nvidias AD102 GPU, som er inde i RTX 4090 og RTX 4080, bruges også i et lille udvalg af Ada Lovelace enterprise GPU'er (L40 og RTX 6000). I de fleste tilfælde kan Nvidia dog ikke bare genbruge en gaming GPU-matrice til et datacenterkort. De er adskilte verdener.

Der er nogle grundlæggende forskelle mellem den GPU-mangel, vi så på grund af krypto-mining og AI-modellernes stigning i popularitet. Ifølge Heaton krævede GPT-3-modellen over 1.000 A100 Nvidia GPU'er for at træne og omkring otte for at køre. Disse GPU'er har også adgang til NVLink-sammenkoblingen med høj båndbredde, mens Nvidias RTX 40-serie GPU'er ikke har. Det sammenligner maksimalt 24 GB hukommelse på Nvidias spilkort med flere hundrede på GPU'er som A100 med NVLink.

Der er nogle andre bekymringer, såsom hukommelsesblokke, der er allokeret til professionelle GPU'er frem for gaming, men de dage, hvor du haster til dit lokale Micro Center eller Best Buy for at få chancen for at finde en GPU på lager væk. Heaton opsummerede det punkt pænt: "Store sprogmodeller, såsom ChatGPT, anslås at kræve mindst otte GPU'er for at køre. Sådanne estimater antager high-end A100 GPU'er. Min spekulation er, at dette kan forårsage mangel på de avancerede GPU'er, men muligvis ikke påvirker gamer-klasse GPU'er med mindre vædder.”

Redaktørens anbefalinger

• Topforfattere kræver betaling fra AI-virksomheder for at bruge deres arbejde
• Google Bard kan nu tale, men kan den overdøve ChatGPT?
• ChatGPT-webstedets trafik er faldet for første gang
• 81 % mener, at ChatGPT er en sikkerhedsrisiko, viser undersøgelsen
• Apples ChatGPT-rival skriver muligvis automatisk kode til dig

Opgrader din livsstilDigital Trends hjælper læserne med at holde styr på den hurtige teknologiske verden med alle de seneste nyheder, sjove produktanmeldelser, indsigtsfulde redaktionelle artikler og enestående smugkig.