No, ChatGPT non causerà un'altra carenza di GPU

ChatGPT sta esplodendo e la spina dorsale del suo modello di intelligenza artificiale si basa sulle schede grafiche Nvidia. Un analista ha detto per addestrare ChatGPT sono state utilizzate circa 10.000 GPU Nvidia e, poiché il servizio continua ad espandersi, aumenta anche la necessità di GPU. Chiunque abbia vissuto l’ascesa delle criptovalute nel 2021 può sentire l’odore di un Carenza di GPU all'orizzonte.

Ho visto alcuni giornalisti costruire esattamente questo collegamento, ma è fuorviante. I giorni della carenza di GPU di tipo crittografico sono alle nostre spalle. Anche se probabilmente vedremo un aumento della domanda per schede grafiche poiché l’intelligenza artificiale continua a prosperare, tale domanda non è diretta verso le migliori schede grafiche installato in piattaforme di gioco.

Perché le GPU Nvidia sono progettate per l'intelligenza artificiale

Innanzitutto, affronteremo il motivo per cui Nvidia schede grafiche sono fantastici per l'intelligenza artificiale. Nvidia ha scommesso sull'intelligenza artificiale negli ultimi anni e ha dato i suoi frutti con l'impennata del prezzo delle azioni della società dopo l'ascesa di ChatGPT. Ci sono due ragioni per cui vedi Nvidia al centro della formazione AI: tensor core e CUDA.

CUDA è l'API (Application Programming Interface) di Nvidia utilizzata in tutto, dalle GPU per data center più costose alle sue GPU da gioco più economiche. L'accelerazione CUDA è supportata nelle librerie di machine learning come TensorFlow, accelerando notevolmente la formazione e inferenza. CUDA è la forza trainante dietro AMD è così indietro nell'intelligenza artificiale rispetto a Nvidia.

Tuttavia, non confondere CUDA con i core CUDA di Nvidia. CUDA è la piattaforma su cui vengono eseguite tantissime app AI, mentre i core CUDA sono solo i core all'interno delle GPU Nvidia. Condividono un nome e i core CUDA sono ottimizzati meglio per eseguire applicazioni CUDA. Le GPU da gioco di Nvidia hanno core CUDA e supportano le app CUDA.

I tensor core sono fondamentalmente core AI dedicati. Gestiscono la moltiplicazione delle matrici, che è la salsa segreta che accelera l'addestramento dell'IA. L'idea qui è semplice. Moltiplica più set di dati contemporaneamente e addestra i modelli di intelligenza artificiale in modo esponenzialmente più veloce generando possibili risultati. La maggior parte dei processori gestisce le attività in modo lineare, mentre i core Tensor possono generare rapidamente scenari in un singolo ciclo di clock.

Ancora una volta, le GPU da gioco di Nvidia piacciono RTX4080 dispongono di core Tensor (e talvolta anche di GPU più costose per data center). Tuttavia, nonostante tutte le specifiche delle schede Nvidia per accelerare i modelli AI, nessuna di esse è importante quanto la memoria. E le GPU da gioco di Nvidia non hanno molta memoria.

Tutto si riduce alla memoria

"La dimensione della memoria è la cosa più importante", secondo Jeffrey Heaton, autore di numerosi libri sull'intelligenza artificiale e professore alla Washington University di St. Louis. “Se non hai abbastanza GPU RAM, l'adattamento/inferenza del modello si interrompe semplicemente.

Heaton, chi ha un canale YouTube dedicato al modo in cui i modelli di intelligenza artificiale funzionano su determinate GPU, ha osservato che anche i core CUDA sono importanti, ma la capacità di memoria è il fattore dominante quando si tratta di come funziona una GPU per l'intelligenza artificiale. IL RTX4090 ha molta memoria per gli standard di gioco – 24 GB di GDDR6X – ma molto poca rispetto a una GPU di classe data center. Ad esempio, l'ultima GPU H100 di Nvidia ha 80 GB di memoria HBM3, oltre a un enorme bus di memoria da 5.120 bit.

Puoi farcela con meno, ma hai comunque bisogno di molta memoria. Heaton consiglia ai principianti di avere non meno di 12 GB, mentre un tipico ingegnere di machine learning avrà uno o due professionisti da 48 GB GPU Nvidia. Secondo Heaton, “la maggior parte dei carichi di lavoro rientrerà maggiormente nell’intervallo da un singolo A100 a otto A100”. La GPU A100 di Nvidia ha 40 GB di memoria memoria.

Puoi anche vedere questo ridimensionamento in azione. Sistemi Puget mostra che una singola A100 con 40 GB di memoria ha prestazioni circa due volte più veloci di una singola RTX 3090 con i suoi 24 GB di memoria. E questo nonostante il fatto che l'RTX 3090 abbia quasi il doppio dei core CUDA e quasi altrettanti core Tensor.

Il collo di bottiglia è la memoria, non la pura potenza di elaborazione. Questo perché l’addestramento dei modelli di intelligenza artificiale si basa su set di dati di grandi dimensioni e maggiore è la quantità di dati che puoi archiviare in memoria, più velocemente (e con maggiore precisione) potrai addestrare un modello.

Esigenze diverse, stampi diversi

Le GPU da gioco di Nvidia generalmente non sono adatte all'intelligenza artificiale a causa della poca memoria video che hanno rispetto all'hardware di livello aziendale, ma anche qui c'è un problema separato. Le GPU per workstation di Nvidia di solito non condividono un die GPU con le sue schede da gioco.

Ad esempio, l'A100 a cui fa riferimento Heaton utilizza la GPU GA100, che è un die della gamma Ampere di Nvidia che non è mai stata utilizzata su schede focalizzate sui giochi (comprese le schede di fascia alta). RTX3090Ti). Allo stesso modo, l'ultimo H100 di Nvidia utilizza un'architettura completamente diversa rispetto alla serie RTX 40, il che significa che utilizza anche un die diverso.

Ci sono delle eccezioni. La GPU AD102 di Nvidia, che si trova all'interno del RTX4090 e RTX 4080, viene utilizzato anche in una piccola gamma di GPU aziendali Ada Lovelace (L40 e RTX 6000). Nella maggior parte dei casi, tuttavia, Nvidia non può semplicemente riutilizzare una GPU da gioco per una scheda per data center. Sono mondi separati.

Esistono alcune differenze fondamentali tra la carenza di GPU che abbiamo riscontrato a causa del crypto mining e l’aumento della popolarità dei modelli IA. Secondo Heaton, il modello GPT-3 richiedeva oltre 1.000 GPU Nvidia A100 per l'addestramento e circa otto per il funzionamento. Queste GPU hanno accesso anche all'interconnessione NVLink a larghezza di banda elevata, mentre le GPU RTX serie 40 di Nvidia no. Sta confrontando un massimo di 24 GB di memoria sulle schede da gioco di Nvidia con diverse centinaia su GPU come l'A100 con NVLink.

Ci sono alcune altre preoccupazioni, come i die di memoria assegnati alle GPU professionali rispetto a quelle di gioco, ma i giorni in cui correre al Micro Center o al Best Buy locale per avere la possibilità di trovare una GPU in stock lo sono andato. Heaton ha riassunto bene questo punto: “Si stima che i modelli linguistici di grandi dimensioni, come ChatGPT, richiedano almeno otto GPU per funzionare. Tali stime presuppongono le GPU A100 di fascia alta. La mia ipotesi è che ciò potrebbe causare una carenza di GPU di fascia alta, ma potrebbe non influire sulle GPU di classe gaming, con meno RAM.”

Raccomandazioni degli editori

• Gli autori più importanti richiedono un pagamento alle aziende di intelligenza artificiale per l’utilizzo del loro lavoro
• Google Bard ora può parlare, ma può soffocare ChatGPT?
• Il traffico del sito web ChatGPT è diminuito per la prima volta
• Secondo un sondaggio, l'81% ritiene che ChatGPT sia un rischio per la sicurezza
• Il rivale ChatGPT di Apple potrebbe scrivere automaticamente il codice per te

Migliora il tuo stile di vitaDigital Trends aiuta i lettori a tenere d'occhio il frenetico mondo della tecnologia con tutte le ultime notizie, divertenti recensioni di prodotti, editoriali approfonditi e anteprime uniche nel loro genere.