Nem, a ChatGPT nem fog újabb GPU-hiányt okozni

ChatGPT felrobban, és mesterséges intelligencia modelljének gerince az Nvidia grafikus kártyákra támaszkodik. Egy elemző mondta körülbelül 10 000 Nvidia GPU-t használtak a ChatGPT betanításához, és ahogy a szolgáltatás folyamatosan bővül, úgy nő a GPU-k iránti igény is. Bárki, aki 2021-ben átélte a kriptográfia térnyerését, érezheti a GPU hiány a horizonton.

Láttam néhány riportert pontosan ezt a kapcsolatot kiépíteni, de ez téves. A kripto-vezérelt típusú GPU-hiány napjai mögöttünk vannak. Bár valószínűleg megnövekszik majd a kereslet iránta grafikus kártyák mivel a mesterséges intelligencia továbbra is virágzik, ez a kereslet nem irányul a legjobb grafikus kártyák beépítve játékberendezések.

Miért készültek az Nvidia GPU-k mesterséges intelligenciához?

Először is megvizsgáljuk, miért az Nvidia grafikus kártyák olyan nagyszerűek az AI számára. Az Nvidia az elmúlt néhány évben az AI-ra fogadott, és ennek megtérült a cég részvényárfolyamának szárnyalása a ChatGPT növekedése után. Két oka van annak, hogy az Nvidiát az AI-képzés középpontjában találja: a tenzormagokat és a CUDA-t.

A CUDA az Nvidia alkalmazásprogramozási felülete (API), amelyet a legdrágább adatközponti GPU-któl kezdve a legolcsóbb játék GPU-k. A CUDA-gyorsítást olyan gépi tanulási könyvtárak támogatják, mint a TensorFlow, jelentősen felgyorsítva a képzést és következtetés. A CUDA a hajtóerő Az AMD messze lemaradt a mesterséges intelligencia terén Nvidiához képest.

Ne keverje össze a CUDA-t az Nvidia CUDA magjaival. A CUDA az a platform, amelyen rengeteg mesterséges intelligencia-alkalmazás fut, míg a CUDA magok csak az Nvidia GPU-k magjai. Megosztják a nevet, és a CUDA magok jobban optimalizáltak a CUDA alkalmazások futtatására. Az Nvidia játék GPU-i CUDA magokkal rendelkeznek, és támogatják a CUDA alkalmazásokat.

A Tensor magok alapvetően dedikált AI magok. Ők kezelik a mátrixszorzást, ami az a titkos szósz, amely felgyorsítja az AI-képzést. Az ötlet itt egyszerű. Egyszerre több adathalmazt szorozzon meg, és a lehetséges eredmények generálásával exponenciálisan gyorsabban képezze az AI-modelleket. A legtöbb processzor lineárisan kezeli a feladatokat, míg a Tensor magok gyorsan tudnak forgatókönyveket generálni egyetlen órajel ciklusban.

Ismét az Nvidia játék GPU-i szeretik a RTX 4080 Tensor magokkal rendelkeznek (és néha még többet is, mint a költséges adatközponti GPU-k). Az Nvidia kártyáinak azonban minden specifikációja ellenére fel kell gyorsítaniuk az AI modelleket, egyik sem olyan fontos, mint a memória. És az Nvidia játék GPU-inak nincs sok memóriája.

Minden a memórián múlik

Jeffrey Heaton, a mesterséges intelligenciáról szóló számos könyv szerzője és a St. Louis-i Washington Egyetem professzora szerint a memória mérete a legfontosabb. „Ha nincs elég GPU-ja RAM, a modellillesztés/következtetés egyszerűen leáll.”

Heaton, ki van YouTube csatornája A mesterséges intelligencia modellek bizonyos GPU-kon való működésének szentelve megjegyezte, hogy a CUDA magok is fontosak, de a memóriakapacitás a domináns tényező a GPU AI-működését illetően. A RTX 4090 játékszabvány szerint sok memóriával rendelkezik - 24 GB GDDR6X -, de nagyon kevés egy adatközponti osztályú GPU-hoz képest. Például az Nvidia legújabb H100 GPU-ja 80 GB HBM3 memóriával, valamint hatalmas, 5120 bites memóriabusszal rendelkezik.

Meg lehet boldogulni kevesebbel is, de még mindig sok memóriára van szüksége. Heaton azt javasolja, hogy a kezdők legalább 12 GB-os, míg egy tipikus gépi tanulási mérnöknek egy vagy két 48 GB-os szakembere legyen. Nvidia GPU-k. Heaton szerint „a legtöbb munkaterhelés jobban esik az egyetlen A100-tól a nyolc A100-ig terjedő tartományba”. Az Nvidia A100 GPU-ja 40 GB-tal rendelkezik memória.

Ezt a méretezést működés közben is láthatja. Puget Systems egyetlen A100-at mutat be 40 GB memóriával, amely körülbelül kétszer olyan gyorsan teljesít, mint az egyetlen RTX 3090 a maga 24 GB memóriájával. És ez annak ellenére van így, hogy az RTX 3090 majdnem kétszer annyi CUDA magot és közel annyi Tensor magot tartalmaz.

A memória a szűk keresztmetszet, nem a nyers feldolgozási teljesítmény. Ennek az az oka, hogy az AI-modellek betanítása nagy adathalmazokra támaszkodik, és minél többet tárolhat ezekből az adatokból a memóriában, annál gyorsabban (és pontosabban) taníthatja a modellt.

Más igények, különböző halak

Az Nvidia játék GPU-i általában nem alkalmasak mesterséges intelligencia számára, mivel kevés a videómemóriájuk a vállalati szintű hardverekhez képest, de itt is van egy külön probléma. Az Nvidia munkaállomási GPU-i általában nem osztoznak egy GPU-kockán a játékkártyáival.

Például az A100, amelyre Heaton hivatkozott, GA100 GPU-t használ, ami az Nvidia Ampere sorozatának egy darabja, amelyet soha nem használtak játékra fókuszált kártyákon (beleértve a csúcskategóriásakat is). RTX 3090 Ti). Hasonlóképpen, az Nvidia legújabb H100-a teljesen más architektúrát használ, mint az RTX 40-es sorozat, ami azt jelenti, hogy egy másik szerszámot is használ.

Vannak kivételek. Az Nvidia AD102 GPU-ja, amely a belsejében található RTX 4090 és RTX 4080, az Ada Lovelace vállalati GPU-k kis tartományában (az L40 és az RTX 6000) is használatos. A legtöbb esetben azonban az Nvidia nem tud csak egy játék GPU-t adatközponti kártyára használni. Ezek külön világok.

Van néhány alapvető különbség a kripto-bányászat miatt tapasztalt GPU-hiány és az AI-modellek népszerűségének növekedése között. Heaton szerint a GPT-3 modell több mint 1000 A100 Nvidia GPU-t igényelt a képzéshez és körülbelül nyolc működéséhez. Ezek a GPU-k hozzáférnek a nagy sávszélességű NVLink interconnecthez is, míg az Nvidia RTX 40-es sorozatú GPU-i nem. Összehasonlítja az Nvidia játékkártyáin található maximum 24 GB memóriát több száz olyan GPU-val, mint az A100 NVLink-el.

Vannak más aggályok is, például a memóriakártyák kiosztása a professzionális GPU-k számára a játékokhoz képest. de az a nap, amikor rohan a helyi Micro Centerbe vagy a Best Buyba, hogy esélyt találjon egy GPU-t raktáron elmúlt. Heaton ezt szépen összefoglalta: „A nagy nyelvi modellek, mint például a ChatGPT, a becslések szerint legalább nyolc GPU-t igényelnek a futtatáshoz. Az ilyen becslések csúcskategóriás A100 GPU-kat feltételeznek. Az a spekulációm, hogy ez hiányt okozhat a felsőbb kategóriás GPU-kból, de nem érintheti a gamer-osztályú GPU-kat, mivel kevesebb RAM.”

Szerkesztői ajánlások

• A legjobb szerzők fizetést követelnek az AI-cégektől munkájuk felhasználásáért
• A Google Bard már beszélni tud, de ki tudja-e fojtani a ChatGPT-t?
• A ChatGPT webhely forgalma először csökkent
• A felmérés szerint 81%-uk úgy gondolja, hogy a ChatGPT biztonsági kockázatot jelent
• Az Apple ChatGPT riválisa automatikusan kódot írhat helyetted

Frissítse életmódjátA Digital Trends segítségével az olvasók nyomon követhetik a technológia rohanó világát a legfrissebb hírekkel, szórakoztató termékismertetőkkel, éleslátó szerkesztőségekkel és egyedülálló betekintésekkel.