Non, ChatGPT ne provoquera pas une autre pénurie de GPU

ChatGPT est en plein essor et l'épine dorsale de son modèle d'IA repose sur les cartes graphiques Nvidia. Un analyste a déclaré environ 10 000 GPU Nvidia ont été utilisés pour former ChatGPT, et à mesure que le service continue de se développer, le besoin en GPU augmente également. Quiconque a vécu l’essor de la cryptographie en 2021 peut sentir un Pénurie de GPU sur l'horizon.

J’ai vu quelques journalistes établir exactement ce lien, mais c’est erroné. L’époque des pénuries de GPU de type crypto est derrière nous. Même si nous assisterons probablement à une augmentation de la demande de cartes graphiques alors que l’IA continue de croître, cette demande n’est pas dirigée vers le meilleures cartes graphiques installé dans plates-formes de jeu.

Pourquoi les GPU Nvidia sont conçus pour l'IA

Tout d’abord, nous verrons pourquoi Nvidia cartes graphiques sont tellement géniaux pour l’IA. Nvidia a parié sur l’IA ces dernières années, et cela a porté ses fruits avec la flambée du cours de l’action de la société après la montée en puissance de ChatGPT. Il y a deux raisons pour lesquelles vous voyez Nvidia au cœur de la formation en IA: les cœurs tenseurs et CUDA.

CUDA est l'interface de programmation d'application (API) de Nvidia utilisée dans tout, depuis les GPU de centre de données les plus chers jusqu'à ses GPU de jeu les moins chers. L'accélération CUDA est prise en charge dans les bibliothèques d'apprentissage automatique telles que TensorFlow, ce qui accélère considérablement la formation et inférence. CUDA est la force motrice derrière AMD est si loin en retard en matière d'IA par rapport à Nvidia.

Ne confondez cependant pas CUDA avec les cœurs CUDA de Nvidia. CUDA est la plate-forme sur laquelle s'exécutent une tonne d'applications d'IA, tandis que les cœurs CUDA ne sont que les cœurs des GPU Nvidia. Ils partagent un nom et les cœurs CUDA sont mieux optimisés pour exécuter les applications CUDA. Les GPU de jeu de Nvidia ont des cœurs CUDA et prennent en charge les applications CUDA.

Les cœurs Tensor sont essentiellement des cœurs d’IA dédiés. Ils gèrent la multiplication matricielle, qui est la sauce secrète qui accélère la formation de l’IA. L'idée ici est simple. Multipliez plusieurs ensembles de données à la fois et entraînez des modèles d'IA de manière exponentielle plus rapidement en générant des résultats possibles. La plupart des processeurs gèrent les tâches de manière linéaire, tandis que les cœurs Tensor peuvent générer rapidement des scénarios en un seul cycle d'horloge.

Encore une fois, les GPU de jeu de Nvidia comme le RTX4080 ont des cœurs Tensor (et parfois même plus que des GPU de centre de données coûteux). Cependant, malgré toutes les spécifications dont disposent les cartes Nvidia pour accélérer les modèles d’IA, aucune n’est aussi importante que la mémoire. Et les GPU de jeu de Nvidia n’ont pas beaucoup de mémoire.

Tout revient à la mémoire

"La taille de la mémoire est la plus importante", selon Jeffrey Heaton, auteur de plusieurs livres sur l'intelligence artificielle et professeur à l'Université Washington de Saint-Louis. "Si vous n'avez pas assez de GPU RAM, l’ajustement/l’inférence de votre modèle s’arrête simplement.

Heaton, qui a une chaîne YouTube dédié à la façon dont les modèles d'IA fonctionnent sur certains GPU, a noté que les cœurs CUDA sont également importants, mais que la capacité de mémoire est le facteur dominant en ce qui concerne le fonctionnement d'un GPU pour l'IA. Le RTX4090 a beaucoup de mémoire par rapport aux normes de jeu – 24 Go de GDDR6X – mais très peu par rapport à un GPU de classe centre de données. Par exemple, le dernier GPU H100 de Nvidia dispose de 80 Go de mémoire HBM3, ainsi que d’un énorme bus mémoire de 5 120 bits.

Vous pouvez vous en sortir avec moins, mais vous avez quand même besoin de beaucoup de mémoire. Heaton recommande aux débutants de disposer d'au moins 12 Go, tandis qu'un ingénieur en machine learning typique disposera d'un ou deux professionnels de 48 Go. GPU Nvidia. Selon Heaton, « la plupart des charges de travail se situeront davantage entre un seul A100 et huit A100 ». Le GPU A100 de Nvidia dispose de 40 Go de mémoire.

Vous pouvez également voir cette mise à l’échelle en action. Systèmes Puget montre un seul A100 avec 40 Go de mémoire fonctionnant environ deux fois plus vite qu'un seul RTX 3090 avec ses 24 Go de mémoire. Et ce malgré le fait que le RTX 3090 possède presque deux fois plus de cœurs CUDA et presque autant de cœurs Tensor.

La mémoire est le goulot d'étranglement, pas la puissance de traitement brute. En effet, l’entraînement des modèles d’IA repose sur de grands ensembles de données, et plus vous pouvez stocker de données en mémoire, plus vous pouvez entraîner un modèle rapidement (et avec plus de précision).

Différents besoins, différentes matrices

Les GPU de jeu de Nvidia ne sont généralement pas adaptés à l’IA en raison du peu de mémoire vidéo dont ils disposent par rapport au matériel d’entreprise, mais il existe également un problème distinct ici. Les GPU des stations de travail de Nvidia ne partagent généralement pas de puce GPU avec ses cartes de jeu.

Par exemple, l'A100 auquel Heaton a fait référence utilise le GPU GA100, qui est une puce de la gamme Ampere de Nvidia qui n'a jamais été utilisée sur les cartes destinées aux jeux (y compris les cartes haut de gamme). RTX 3090Ti). De même, le dernier H100 de Nvidia utilise une architecture complètement différente de celle de la série RTX 40, ce qui signifie qu'il utilise également une puce différente.

Il y a des exceptions. Le GPU AD102 de Nvidia, qui se trouve à l'intérieur du RTX4090 et RTX 4080, est également utilisé dans une petite gamme de GPU d'entreprise Ada Lovelace (le L40 et le RTX 6000). Dans la plupart des cas, cependant, Nvidia ne peut pas simplement réutiliser une puce GPU de jeu pour une carte de centre de données. Ce sont des mondes séparés.

Il existe des différences fondamentales entre la pénurie de GPU que nous avons constatée en raison du crypto-mining et la popularité croissante des modèles d’IA. Selon Heaton, le modèle GPT-3 nécessitait plus de 1 000 GPU Nvidia A100 pour s'entraîner et environ huit pour fonctionner. Ces GPU ont également accès à l’interconnexion NVLink à large bande passante, contrairement aux GPU RTX 40 de Nvidia. Il compare un maximum de 24 Go de mémoire sur les cartes de jeu Nvidia à plusieurs centaines sur des GPU comme l’A100 avec NVLink.

Il existe d'autres problèmes, tels que le fait que les puces mémoire soient allouées aux GPU professionnels plutôt qu'à ceux de jeu, mais les jours où il faut se précipiter vers votre Micro Center local ou Best Buy pour avoir la chance de trouver un GPU en stock sont révolus. disparu. Heaton a bien résumé ce point: « On estime que les grands modèles de langage, tels que ChatGPT, nécessitent au moins huit GPU pour fonctionner. De telles estimations supposent les GPU A100 haut de gamme. Je suppose que cela pourrait entraîner une pénurie de GPU haut de gamme, mais pourrait ne pas affecter les GPU de classe gamer, avec moins de RAM.”

Recommandations des rédacteurs

• Les meilleurs auteurs exigent une rémunération des entreprises d’IA pour l’utilisation de leurs travaux
• Google Bard peut désormais parler, mais peut-il étouffer ChatGPT?
• Le trafic du site ChatGPT a chuté pour la première fois
• 81 % pensent que ChatGPT constitue un risque pour la sécurité, selon une enquête
• Le rival ChatGPT d'Apple peut écrire automatiquement du code pour vous

Améliorez votre style de vieDigital Trends aide les lecteurs à garder un œil sur le monde en évolution rapide de la technologie avec toutes les dernières nouvelles, des critiques de produits amusantes, des éditoriaux perspicaces et des aperçus uniques.