Ei, ChatGPT ei aiheuta uutta GPU-pulaa

ChatGPT on räjähdysmäinen, ja sen tekoälymallin selkäranka on riippuvainen Nvidia-näytönohjainkorteista. Yksi analyytikko sanoi ChatGPT: n kouluttamiseen käytettiin noin 10 000 Nvidia GPU: ta, ja kun palvelu laajenee, myös GPU: iden tarve kasvaa. Jokainen, joka koki krypton nousun vuonna 2021, voi haistaa a GPU-pula horisontissa.

Olen nähnyt muutaman toimittajan rakentavan juuri tämän yhteyden, mutta se on harhaan johdettu. Kryptopohjaisten GPU-pulojen päivät ovat takanapäin. Vaikka todennäköisesti tulemme näkemään kysynnän kasvun näytönohjaimet koska tekoäly jatkaa nousuaan, kysyntää ei ole suunnattu parhaat näytönohjaimet asennettu sisään pelilaitteet.

Miksi Nvidia GPU: t on rakennettu tekoälylle

Ensinnäkin käsittelemme, miksi Nvidia näytönohjaimet ovat niin hyviä tekoälylle. Nvidia on lyönyt vetoa tekoälystä useiden viime vuosien ajan, ja se on kannattanut yhtiön osakekurssin huimaa nousua ChatGPT: n nousun jälkeen. On kaksi syytä, miksi näet Nvidian tekoälykoulutuksen ytimessä: tensoriytimet ja CUDA.

CUDA on Nvidian sovellusohjelmointirajapinta (API), jota käytetään kaikessa sen kalleimmista datakeskuksen GPU: ista sen halvimmat pelinäytönohjaimet. CUDA-kiihdytystä tuetaan koneoppimiskirjastoissa, kuten TensorFlow, joka nopeuttaa huomattavasti koulutusta ja päättely. CUDA on liikkeellepaneva voima AMD on niin paljon jäljessä tekoälyssä Nvidiaan verrattuna.

Älä kuitenkaan sekoita CUDAa Nvidian CUDA-ytimiin. CUDA on alusta, jolla monet tekoälysovellukset toimivat, kun taas CUDA-ytimet ovat vain Nvidian GPU: iden ytimiä. Niillä on yhteinen nimi, ja CUDA-ytimet on paremmin optimoitu suorittamaan CUDA-sovelluksia. Nvidian peligrafiikkasuorittimissa on CUDA-ytimet ja ne tukevat CUDA-sovelluksia.

Tensor-ytimet ovat pohjimmiltaan omistettuja tekoälyytimiä. Ne käsittelevät matriisin kertolaskua, joka on salainen kastike, joka nopeuttaa tekoälyn harjoittelua. Idea tässä on yksinkertainen. Kerro useita tietojoukkoja kerralla ja harjoittele tekoälymalleja eksponentiaalisesti nopeammin luomalla mahdollisia tuloksia. Useimmat prosessorit käsittelevät tehtäviä lineaarisesti, kun taas Tensor-ytimet voivat luoda skenaarioita nopeasti yhdellä kellojaksolla.

Jälleen Nvidian peligrafiikkapiirit pitävät RTX 4080 niissä on Tensor-ytimet (ja joskus jopa enemmän kuin kalliit datakeskuksen GPU: t). Kaikkien Nvidia-korttien on kuitenkin kiihdytettävä tekoälymalleja, mutta mikään niistä ei ole yhtä tärkeä kuin muisti. Ja Nvidian peligrafiikkasuorittimissa ei ole paljon muistia.

Kaikki jää muistiin

"Muistin koko on tärkein", sanoo Jeffrey Heaton, useiden tekoälyä käsittelevien kirjojen kirjoittaja ja St. Louisin Washingtonin yliopiston professori. "Jos sinulla ei ole tarpeeksi GPU: ta RAM, mallin sovitus/päätelmä yksinkertaisesti pysähtyy."

Heaton, kuka on YouTube-kanava omistettu sille, kuinka hyvin tekoälymallit toimivat tietyissä GPU: issa, totesi, että CUDA-ytimet ovat myös tärkeitä, mutta muistikapasiteetti on hallitseva tekijä, kun kyse on GPU: n toiminnasta tekoälyssä. The RTX 4090 siinä on paljon muistia pelistandardien mukaan - 24 Gt GDDR6X - mutta hyvin vähän verrattuna datakeskusluokan GPU: hun. Esimerkiksi Nvidian uusimmassa H100 GPU: ssa on 80 Gt HBM3-muistia sekä massiivinen 5 120-bittinen muistiväylä.

Voit tulla toimeen vähemmällä, mutta tarvitset silti paljon muistia. Heaton suosittelee, että aloittelijoilla on vähintään 12 Gt, kun taas tyypillisellä koneoppimisinsinöörillä on yksi tai kaksi 48 Gt: n ammattilaista Nvidia GPU: t. Heatonin mukaan "useimmat työmäärät laskevat enemmän yhdestä A100:sta kahdeksaan A100-alueelle". Nvidian A100 GPU: ssa on 40 Gt muisti.

Voit nähdä tämän skaalaus myös toiminnassa. Puget Systems näyttää yhden A100:n 40 Gt muistilla, joka toimii noin kaksi kertaa nopeammin kuin yksittäinen RTX 3090 sen 24 Gt muistilla. Ja tämä siitä huolimatta, että RTX 3090:ssä on lähes kaksi kertaa enemmän CUDA-ytimiä ja lähes yhtä monta Tensor-ytimiä.

Muisti on pullonkaula, ei raaka prosessointiteho. Tämä johtuu siitä, että tekoälymallien harjoittelu perustuu suuriin tietokokonaisuuksiin, ja mitä enemmän tietoja voit tallentaa muistiin, sitä nopeammin (ja tarkemmin) voit kouluttaa mallin.

Eri tarpeet, eri kuolee

Nvidian peligrafiikkapiirit eivät yleensä sovellu tekoälylle, koska niillä on vähän videomuistia yritystason laitteistoihin verrattuna, mutta tässä on myös erillinen ongelma. Nvidian työaseman GPU: t eivät yleensä jaa GPU-kuoppaa pelikorttiensa kanssa.

Esimerkiksi A100, johon Heaton viittasi, käyttää GA100 GPU: ta, joka on Nvidian Ampere-sarjan die, jota ei koskaan käytetty pelikeskeisissä korteissa (mukaan lukien huippuluokan korteissa). RTX 3090 Ti). Samoin Nvidian uusin H100 käyttää täysin erilaista arkkitehtuuria kuin RTX 40-sarja, mikä tarkoittaa, että se käyttää myös erilaista suulaketta.

Poikkeuksiakin on. Nvidian AD102 GPU, joka on sisällä RTX 4090 ja RTX 4080, käytetään myös pienessä valikoimassa Ada Lovelace -yritysgrafiikkasuorittimia (L40 ja RTX 6000). Useimmissa tapauksissa Nvidia ei kuitenkaan voi vain käyttää pelin GPU: ta uudelleen datakeskuskorttia varten. Ne ovat erillisiä maailmoja.

Salauslouhinnan ja tekoälymallien suosion kasvun välillä on joitain perustavanlaatuisia eroja. Heatonin mukaan GPT-3-malli vaati yli 1000 A100 Nvidia GPU: ta harjoituksiin ja noin kahdeksan ajoon. Näillä GPU: illa on myös pääsy suuren kaistanleveyden NVLink-yhteyteen, kun taas Nvidian RTX 40-sarjan GPU: t eivät. Se vertaa enintään 24 Gt: n muistia Nvidian pelikorteilla useisiin satoihin GPU: ssa, kuten A100:ssa NVLinkillä.

On olemassa joitain muita huolenaiheita, kuten ammattimaisille grafiikkasuorituksille varattu muistikuormitus pelien sijaan, mutta päivinä kiirehtiä paikalliseen Micro Centeriin tai Best Buyiin löytääksesi GPU: n varastossa mennyt. Heaton tiivisti asian hienosti: "Suurten kielimallien, kuten ChatGPT: n, on arvioitu vaativan vähintään kahdeksan GPU: ta toimiakseen. Tällaisissa arvioissa oletetaan huippuluokan A100-grafiikkasuorittimia. Spekulaationi on, että tämä voi aiheuttaa pulaa korkeamman luokan GPU: ista, mutta se ei välttämättä vaikuta pelaajaluokan GPU: ihin, joissa on vähemmän RAM.”

Toimittajien suositukset

• Huippukirjailijat vaativat tekoälyyrityksiltä maksua työnsä käytöstä
• Google Bard voi nyt puhua, mutta voiko se tukahduttaa ChatGPT: n?
• ChatGPT-verkkosivustojen liikenne on laskenut ensimmäistä kertaa
• Tutkimuksen mukaan 81 % uskoo, että ChatGPT on turvallisuusriski
• Applen ChatGPT-kilpailija voi kirjoittaa koodin automaattisesti puolestasi

Päivitä elämäntapasiDigital Trends auttaa lukijoita pysymään tekniikan nopeatempoisessa maailmassa uusimpien uutisten, hauskojen tuotearvostelujen, oivaltavien toimitusten ja ainutlaatuisten kurkistusten avulla.