Nu, ChatGPT nu va cauza un alt deficit de GPU

ChatGPT explodează, iar coloana vertebrală a modelului său AI se bazează pe plăcile grafice Nvidia. A spus un analist aproximativ 10.000 de GPU-uri Nvidia au fost folosite pentru a antrena ChatGPT și, pe măsură ce serviciul continuă să se extindă, la fel crește și nevoia de GPU. Oricine a trăit prin ascensiunea cripto în 2021 poate mirosi a Lipsa GPU pe orizont.

Am văzut câțiva reporteri construind acea conexiune exactă, dar este greșit. Zilele lipsei de GPU de tip cripto-driven au trecut în urmă. Deși probabil vom vedea o creștere a cererii pentru plăci grafice pe măsură ce AI continuă să crească, această cerere nu este îndreptată către cele mai bune plăci grafice instalat în platforme de jocuri.

De ce GPU-urile Nvidia sunt construite pentru AI

În primul rând, vom aborda de ce Nvidia plăci grafice sunt atât de grozave pentru AI. Nvidia a pariat pe AI în ultimii ani și a dat roade cu creșterea prețului acțiunilor companiei după creșterea ChatGPT. Există două motive pentru care vezi Nvidia în centrul antrenamentului AI: nuclee tensoare și CUDA.

CUDA este interfața de programare a aplicațiilor (API) Nvidia folosită în orice, de la cele mai scumpe GPU-uri ale centrelor de date până la cele mai ieftine GPU-uri pentru jocuri. Accelerarea CUDA este acceptată în bibliotecile de învățare automată, cum ar fi TensorFlow, care accelerează foarte mult antrenamentul și deducere. CUDA este forța motrice din spate AMD fiind atât de în urmă în AI comparativ cu Nvidia.

Cu toate acestea, nu confundați CUDA cu nucleele CUDA ale Nvidia. CUDA este platforma pe care rulează o mulțime de aplicații AI, în timp ce nucleele CUDA sunt doar nucleele din interiorul GPU-urilor Nvidia. Ei au un nume, iar nucleele CUDA sunt mai bine optimizate pentru a rula aplicații CUDA. GPU-urile pentru jocuri Nvidia au nuclee CUDA și acceptă aplicații CUDA.

Miezurile tensor sunt practic nuclee AI dedicate. Ei se ocupă de multiplicarea matricei, care este sosul secret care accelerează antrenamentul AI. Ideea aici este simplă. Înmulțiți mai multe seturi de date simultan și antrenați modelele AI exponențial mai rapid prin generarea de rezultate posibile. Majoritatea procesoarelor gestionează sarcinile într-un mod liniar, în timp ce nucleele Tensor pot genera rapid scenarii într-un singur ciclu de ceas.

Din nou, GPU-urile de gaming ale Nvidia ca RTX 4080 au nuclee Tensor (și uneori chiar mai mult decât GPU-uri costisitoare pentru centre de date). Cu toate acestea, pentru toate specificațiile pe care cardurile Nvidia trebuie să accelereze modelele AI, niciuna dintre ele nu este la fel de importantă ca memoria. Și GPU-urile pentru jocuri ale Nvidia nu au multă memorie.

Totul se rezumă la memorie

„Dimensiunea memoriei este cea mai importantă”, conform lui Jeffrey Heaton, autorul mai multor cărți despre inteligența artificială și profesor la Universitatea Washington din St. Louis. „Dacă nu aveți suficient GPU RAM, potrivirea/inferența modelului tău pur și simplu se oprește.”

Heaton, care are un canal YouTube dedicat cât de bine funcționează modelele AI pe anumite GPU-uri, a remarcat că nucleele CUDA sunt de asemenea importante, dar capacitatea de memorie este factorul dominant atunci când vine vorba de modul în care funcționează un GPU pentru AI. The RTX 4090 are multă memorie conform standardelor de jocuri – 24 GB de GDDR6X – dar foarte puțină în comparație cu un GPU din clasa centrelor de date. De exemplu, cel mai recent GPU H100 de la Nvidia are 80 GB de memorie HBM3, precum și o magistrală de memorie masivă de 5.120 de biți.

Te poți descurca cu mai puțină, dar ai nevoie de multă memorie. Heaton recomandă începătorilor să aibă nu mai puțin de 12 GB, în timp ce un inginer tipic de învățare automată va avea unul sau doi profesioniști de 48 GB. GPU-uri Nvidia. Potrivit Heaton, „majoritatea sarcinilor de lucru vor scădea mai mult în intervalul A100 unic până la opt A100”. GPU-ul Nvidia A100 are 40 GB memorie.

Puteți vedea și această scalare în acțiune. Sistemele Puget arată un singur A100 cu 40 GB de memorie care funcționează aproximativ de două ori mai repede decât un singur RTX 3090 cu 24 GB de memorie. Și asta în ciuda faptului că RTX 3090 are aproape de două ori mai multe nuclee CUDA și aproape la fel de multe nuclee Tensor.

Memoria este blocajul, nu puterea brută de procesare. Acest lucru se datorează faptului că antrenarea modelelor AI se bazează pe seturi mari de date și, cu cât mai multe date pe care le poți stoca în memorie, cu atât mai rapid (și mai precis) poți antrena un model.

Nevoi diferite, morți diferite

GPU-urile pentru jocuri de la Nvidia nu sunt, în general, potrivite pentru AI din cauza cât de puțină memorie video au în comparație cu hardware-ul de nivel enterprise, dar există și o problemă separată aici. GPU-urile stațiilor de lucru ale Nvidia nu împart de obicei o matriță GPU cu plăcile de joc.

De exemplu, A100 la care a făcut referire Heaton folosește GPU GA100, care este o matriță din gama Ampere a Nvidia care nu a fost niciodată folosită pe carduri axate pe jocuri (inclusiv pe cele de ultimă generație). RTX 3090 Ti). În mod similar, cel mai recent H100 de la Nvidia folosește o arhitectură complet diferită de cea a seriei RTX 40, ceea ce înseamnă că folosește și o matriță diferită.

Exista si exceptii. GPU-ul Nvidia AD102, care se află în interiorul RTX 4090 și RTX 4080, este, de asemenea, utilizat într-o gamă mică de GPU-uri pentru întreprinderi Ada Lovelace (L40 și RTX 6000). În majoritatea cazurilor, totuși, Nvidia nu poate doar reutiliza o matriță GPU pentru jocuri pentru un card de centru de date. Sunt lumi separate.

Există câteva diferențe fundamentale între deficitul de GPU pe care l-am văzut din cauza cripto-minerilor și creșterea popularității modelelor AI. Potrivit Heaton, modelul GPT-3 necesita peste 1.000 de GPU-uri A100 Nvidia pentru trenuri și aproximativ opt pentru a rula. Aceste GPU-uri au acces și la interconectarea NVLink cu lățime de bandă mare, în timp ce GPU-urile din seria RTX 40 de la Nvidia nu au. Compară un maxim de 24 GB de memorie de pe cardurile de jocuri Nvidia cu mai multe sute de pe GPU-uri precum A100 cu NVLink.

Există și alte preocupări, cum ar fi alocarea morților de memorie pentru GPU-uri profesionale față de cele pentru jocuri, dar zilele în care vă grăbiți la Micro Center local sau Best Buy pentru șansa de a găsi un GPU în stoc sunt plecat. Heaton a rezumat frumos acest punct: „Se estimează că modelele de limbă mari, cum ar fi ChatGPT, necesită cel puțin opt GPU-uri pentru a rula. Astfel de estimări presupun GPU-urile A100 de vârf. Speculația mea este că acest lucru ar putea cauza o penurie a GPU-urilor de ultimă generație, dar s-ar putea să nu afecteze GPU-urile de clasă pentru jucători, cu mai puține RAM.”

Recomandările editorilor

• Autorii de top cer plăți de la firmele de inteligență artificială pentru utilizarea lucrărilor lor
• Google Bard poate vorbi acum, dar poate îneca ChatGPT?
• Traficul site-ului ChatGPT a scăzut pentru prima dată
• 81% cred că ChatGPT este un risc de securitate, arată sondajul
• Rivalul ChatGPT al Apple poate scrie automat cod pentru tine

Îmbunătățește-ți stilul de viațăDigital Trends îi ajută pe cititori să țină cont de lumea rapidă a tehnologiei cu toate cele mai recente știri, recenzii distractive despre produse, editoriale perspicace și anticipări unice.