Ne, ChatGPT ne bo povzročil še enega pomanjkanja GPE

ChatGPT eksplodira, hrbtenica njegovega modela AI pa temelji na grafičnih karticah Nvidia. En analitik je rekel približno 10.000 grafičnih procesorjev Nvidia je bilo uporabljenih za usposabljanje ChatGPT, in ko se storitev še naprej širi, se povečuje tudi potreba po grafičnih procesorjih. Vsakdo, ki je leta 2021 preživel vzpon kriptovalut, lahko zavoha a Pomanjkanje GPU na obzorju.

Videl sem, da je nekaj novinarjev vzpostavilo točno to povezavo, vendar je napačna. Dnevi pomanjkanja GPE-jev, ki jih poganja kripto, so za nami. Čeprav bomo verjetno priča povečanemu povpraševanju po grafične kartice ker AI še naprej cveti, to povpraševanje ni usmerjeno proti najboljše grafične kartice nameščen v igralne naprave.

Zakaj so grafični procesorji Nvidia izdelani za AI

Najprej bomo obravnavali, zakaj Nvidia grafične kartice so super za AI. Nvidia je zadnjih nekaj let stavila na umetno inteligenco in to se je obrestovalo, saj je cena delnice podjetja po vzponu ChatGPT močno narasla. Obstajata dva razloga, zakaj vidite Nvidio v središču usposabljanja AI: tenzorska jedra in CUDA.

CUDA je Nvidiin aplikacijski programski vmesnik (API), ki se uporablja v vsem, od najdražjih grafičnih procesorjev podatkovnih centrov do najcenejši grafični procesorji za igre. Pospeševanje CUDA je podprto v knjižnicah za strojno učenje, kot je TensorFlow, ki močno pospešuje usposabljanje in sklepanje. CUDA je gonilna sila AMD tako daleč zaostaja pri AI v primerjavi z Nvidio.

Vendar ne zamenjujte CUDA z Nvidijinimi jedri CUDA. CUDA je platforma, na kateri teče ogromno aplikacij z umetno inteligenco, medtem ko so jedra CUDA samo jedra znotraj grafičnih procesorjev Nvidia. Imata skupno ime, jedra CUDA pa so bolje optimizirana za izvajanje aplikacij CUDA. GPE-ji Nvidia za igre imajo jedra CUDA in podpirajo aplikacije CUDA.

Tensor jedra so v bistvu namenska jedra AI. Obvladajo matrično množenje, ki je skrivnost, ki pospeši usposabljanje AI. Ideja tukaj je preprosta. Pomnožite več nizov podatkov hkrati in z ustvarjanjem možnih rezultatov eksponentno hitreje urite modele AI. Večina procesorjev naloge obravnava linearno, medtem ko lahko jedra Tensor hitro ustvarijo scenarije v enem taktu.

Spet Nvidijini igralni grafični procesorji, kot je RTX 4080 imajo jedra Tensor (in včasih celo več kot dragi grafični procesorji podatkovnih centrov). Vendar pa morajo kartice Nvidia za vse specifikacije pospeševati modele AI, nobeden od njih ni tako pomemben kot pomnilnik. In Nvidijini igralni grafični procesorji nimajo veliko pomnilnika.

Vse se spusti v spomin

»Velikost pomnilnika je najpomembnejša,« pravi Jeffrey Heaton, avtor več knjig o umetni inteligenci in profesor na univerzi Washington v St. Louisu. »Če nimate dovolj GPE Oven, se vaše prilagajanje/sklepanje modela preprosto ustavi.«

Heaton, kdo ima YouTube kanal posvečen temu, kako dobro delujejo modeli AI na določenih grafičnih procesorjih, opozoril, da so pomembna tudi jedra CUDA, vendar je zmogljivost pomnilnika prevladujoč dejavnik, ko gre za delovanje grafične procesorske enote za AI. The RTX 4090 ima veliko pomnilnika glede na igralne standarde – 24 GB GDDR6X – vendar zelo malo v primerjavi z grafično kartico razreda podatkovnega centra. Nvidijin najnovejši grafični procesor H100 ima na primer 80 GB pomnilnika HBM3 in ogromno 5120-bitno pomnilniško vodilo.

Lahko preživite z manj, vendar še vedno potrebujete veliko pomnilnika. Heaton priporoča, da začetniki nimajo manj kot 12 GB, medtem ko bo tipičen inženir strojnega učenja imel enega ali dva 48 GB profesionalna Nvidia GPE. Po besedah ​​Heatona bo "večina delovnih obremenitev padla bolj v razponu od enega A100 do osem A100." GPU Nvidia A100 ima 40 GB spomin.

To skaliranje lahko vidite tudi v akciji. Puget Systems prikazuje en A100 s 40 GB pomnilnika, ki deluje približno dvakrat hitreje kot en RTX 3090 s svojimi 24 GB pomnilnika. In to kljub dejstvu, da ima RTX 3090 skoraj dvakrat več jeder CUDA in skoraj toliko jeder Tensor.

Pomnilnik je ozko grlo, ne surova procesorska moč. To je zato, ker se usposabljanje modelov umetne inteligence zanaša na velike nabore podatkov in več teh podatkov lahko shranite v pomnilnik, hitreje (in natančneje) lahko usposobite model.

Različne potrebe, različne matrice

Nvidijini igralni grafični procesorji na splošno niso primerni za AI zaradi tega, kako malo video pomnilnika imajo v primerjavi s strojno opremo poslovnega razreda, vendar je tudi tukaj ločena težava. Nvidijini grafični procesorji za delovne postaje običajno nimajo skupne matrice GPE s svojimi igralnimi karticami.

Na primer, A100, ki ga je omenil Heaton, uporablja grafični procesor GA100, ki je matrica iz Nvidijine serije Ampere, ki ni bila nikoli uporabljena na karticah, osredotočenih na igre (vključno z vrhunskimi karticami). RTX 3090 Ti). Podobno Nvidijin najnovejši H100 uporablja popolnoma drugačno arhitekturo kot serija RTX 40, kar pomeni, da uporablja tudi drugačno matrico.

Obstajajo izjeme. Nvidijin grafični procesor AD102, ki je znotraj RTX 4090 in RTX 4080, se uporablja tudi v majhnem obsegu grafičnih procesorjev Ada Lovelace za podjetja (L40 in RTX 6000). V večini primerov pa Nvidia ne more preprosto preurediti igralne GPU matrice za kartico podatkovnega centra. So ločeni svetovi.

Obstaja nekaj temeljnih razlik med pomanjkanjem GPE, ki smo ga opazili zaradi kripto rudarjenja, in porastom priljubljenosti modelov AI. Po besedah ​​Heatona je model GPT-3 zahteval več kot 1000 grafičnih procesorjev A100 Nvidia za treniranje in približno osem za delovanje. Ti grafični procesorji imajo tudi dostop do visokopasovne povezave NVLink, medtem ko Nvidijini grafični procesorji serije RTX 40 tega nimajo. Primerja največ 24 GB pomnilnika na Nvidijinih igralnih karticah z več sto na GPE-jih, kot je A100 z NVLink.

Obstajajo še nekateri drugi pomisleki, na primer pomnilniški moduli, ki so dodeljeni profesionalnim GPU namesto igralnim, vendar so dnevi hitenja v vaš lokalni Micro Center ali Best Buy za priložnost, da najdete GPE na zalogi odšel. Heaton je to lepo povzel: »Ocenjuje se, da veliki jezikovni modeli, kot je ChatGPT, za delovanje potrebujejo vsaj osem grafičnih procesorjev. Takšne ocene predvidevajo vrhunske grafične procesorje A100. Moje ugibanje je, da bi to lahko povzročilo pomanjkanje grafičnih procesorjev višjega razreda, vendar morda ne bo vplivalo na grafične procesorje igralnega razreda, saj bo manj Oven.”

Priporočila urednikov

• Najboljši avtorji zahtevajo plačilo od podjetij AI za uporabo njihovega dela
• Google Bard lahko zdaj govori, a ali lahko preglasi ChatGPT?
• Obisk spletnega mesta ChatGPT je prvič upadel
• 81 % meni, da ChatGPT predstavlja varnostno tveganje, ugotavlja raziskava
• Appleov tekmec ChatGPT lahko samodejno napiše kodo za vas

Nadgradite svoj življenjski slogDigitalni trendi bralcem pomagajo slediti hitremu svetu tehnologije z vsemi najnovejšimi novicami, zabavnimi ocenami izdelkov, pronicljivimi uvodniki in enkratnimi vpogledi v vsebine.