Nei, ChatGPT kommer ikke til å forårsake en annen GPU-mangel

ChatGPT eksploderer, og ryggraden i AI-modellen er avhengig av Nvidia-grafikkort. En analytiker sa rundt 10 000 Nvidia GPUer ble brukt til å trene ChatGPT, og ettersom tjenesten fortsetter å utvide seg, øker også behovet for GPUer. Alle som levde gjennom fremveksten av krypto i 2021 kan lukte en GPU mangel i horisonten.

Jeg har sett noen få journalister bygge den eksakte forbindelsen, men den er feilaktig. Dagene med mangel på kryptodrevet GPU-type er bak oss. Selv om vi sannsynligvis vil se en økning i etterspørselen etter grafikkort ettersom AI fortsetter å vokse, er ikke etterspørselen rettet mot beste grafikkort installert i spillrigger.

Hvorfor Nvidia GPUer er bygget for AI

Først skal vi ta for oss hvorfor Nvidia grafikkort er så bra for AI. Nvidia har satset på kunstig intelligens de siste årene, og det har lønnet seg med selskapets aksjekurs som har økt etter fremveksten av ChatGPT. Det er to grunner til at du ser Nvidia i hjertet av AI-trening: tensorkjerner og CUDA.

CUDA er Nvidias Application Programming Interface (API) som brukes i alt fra de dyreste datasenter-GPUene til billigste spill-GPUer. CUDA-akselerasjon støttes i maskinlæringsbiblioteker som TensorFlow, trening i høy hastighet og slutning. CUDA er drivkraften bak AMD er så langt bak i AI sammenlignet med Nvidia.

Ikke forveksle CUDA med Nvidias CUDA-kjerner. CUDA er plattformen som massevis av AI-apper kjører på, mens CUDA-kjerner bare er kjernene inne i Nvidia GPUer. De deler et navn, og CUDA-kjerner er bedre optimalisert for å kjøre CUDA-applikasjoner. Nvidias spill-GPUer har CUDA-kjerner og de støtter CUDA-apper.

Tensorkjerner er i utgangspunktet dedikerte AI-kjerner. De håndterer matrisemultiplikasjon, som er den hemmelige sausen som setter fart på AI-trening. Ideen her er enkel. Multipliser flere sett med data samtidig, og tren AI-modeller eksponentielt raskere ved å generere mulige utfall. De fleste prosessorer håndterer oppgaver på en lineær måte, mens Tensor-kjerner raskt kan generere scenarier i en enkelt klokkesyklus.

Igjen, Nvidias spill-GPU-er liker RTX 4080 har Tensor-kjerner (og noen ganger enda mer enn kostbare datasenter-GPUer). For alle spesifikasjonene Nvidia-kort har for å akselerere AI-modeller, er ingen av dem så viktige som minne. Og Nvidias spill-GPUer har ikke mye minne.

Alt kommer ned til minnet

"Minnestørrelse er det viktigste," ifølge Jeffrey Heaton, forfatter av flere bøker om kunstig intelligens og professor ved Washington University i St. Louis. "Hvis du ikke har nok GPU RAM, din modelltilpasning/slutning stopper ganske enkelt."

Heaton, som har en YouTube-kanal dedikert til hvor godt AI-modeller kjører på visse GPUer, bemerket at CUDA-kjerner også er viktige, men minnekapasitet er den dominerende faktoren når det kommer til hvordan en GPU fungerer for AI. De RTX 4090 har mye minne etter spillstandarder – 24 GB GDDR6X – men svært lite sammenlignet med en datasenterklasse GPU. For eksempel har Nvidias siste H100 GPU 80 GB HBM3-minne, samt en massiv 5120-bits minnebuss.

Du kan klare deg med mindre, men du trenger fortsatt mye minne. Heaton anbefaler nybegynnere har ikke mindre enn 12 GB, mens en typisk maskinlæringsingeniør vil ha en eller to 48 GB profesjonelle Nvidia GPUer. I følge Heaton vil "de fleste arbeidsbelastninger falle mer i A100 til åtte A100-serien." Nvidias A100 GPU har 40 GB hukommelse.

Du kan også se denne skaleringen i aksjon. Puget Systems viser en enkelt A100 med 40 GB minne som yter omtrent dobbelt så raskt som en enkelt RTX 3090 med sine 24 GB minne. Og det til tross for at RTX 3090 har nesten dobbelt så mange CUDA-kjerner og nesten så mange Tensor-kjerner.

Minne er flaskehalsen, ikke rå prosessorkraft. Det er fordi trening av AI-modeller er avhengig av store datasett, og jo mer av disse dataene du kan lagre i minnet, jo raskere (og mer nøyaktig) kan du trene en modell.

Ulike behov, forskjellige dies

Nvidias spill-GPUer er generelt ikke egnet for AI på grunn av hvor lite videominne de har sammenlignet med maskinvare i bedriftskvalitet, men det er et eget problem her også. Nvidias arbeidsstasjon-GPU-er deler vanligvis ikke en GPU-die med spillkortene.

For eksempel bruker A100 som Heaton refererte til GA100 GPU, som er en die fra Nvidias Ampere-serie som aldri ble brukt på spillfokuserte kort (inkludert high-end RTX 3090 Ti). På samme måte bruker Nvidias nyeste H100 en helt annen arkitektur enn RTX 40-serien, noe som betyr at den også bruker en annen die.

Det finnes unntak. Nvidias AD102 GPU, som er inne i RTX 4090 og RTX 4080, brukes også i et lite utvalg av Ada Lovelace enterprise GPUer (L40 og RTX 6000). I de fleste tilfeller kan Nvidia imidlertid ikke bare gjenbruke en spill-GPU-die for et datasenterkort. De er separate verdener.

Det er noen grunnleggende forskjeller mellom GPU-mangelen vi så på grunn av kryptogruvedrift og økningen i popularitet til AI-modeller. I følge Heaton krevde GPT-3-modellen over 1000 A100 Nvidia GPUer for å trene og omtrent åtte for å kjøre. Disse GPU-ene har også tilgang til NVLink-sammenkoblingen med høy båndbredde, mens Nvidias RTX 40-serie GPUer ikke har det. Det sammenligner maksimalt 24 GB minne på Nvidias spillkort med flere hundre på GPUer som A100 med NVLink.

Det er noen andre bekymringer, for eksempel at minneplater blir tildelt profesjonelle GPUer fremfor spill, men dagene med å skynde seg til ditt lokale Micro Center eller Best Buy for sjansen til å finne en GPU på lager er borte. Heaton oppsummerte det punktet pent: «Store språkmodeller, som ChatGPT, er anslått å kreve minst åtte GPUer for å kjøre. Slike estimater antar high-end A100 GPUer. Mine spekulasjoner er at dette kan forårsake mangel på avanserte GPU-er, men kanskje ikke påvirke gamer-klasse GPUer, med mindre RAM.”

Redaktørenes anbefalinger

• Toppforfattere krever betaling fra AI-firmaer for å bruke arbeidet deres
• Google Bard kan nå snakke, men kan det overdøve ChatGPT?
• ChatGPT-nettstedstrafikken har falt for første gang
• 81 % mener ChatGPT er en sikkerhetsrisiko, viser undersøkelsen
• Apples ChatGPT-rival kan automatisk skrive kode for deg

Oppgrader livsstilen dinDigitale trender hjelper leserne å følge med på den fartsfylte teknologiverdenen med alle de siste nyhetene, morsomme produktanmeldelser, innsiktsfulle redaksjoner og unike sniktitter.