Nee, ChatGPT zal geen nieuw GPU-tekort veroorzaken

ChatGPT explodeert en de ruggengraat van zijn AI-model is afhankelijk van grafische kaarten van Nvidia. Dat zei een analist Er werden ongeveer 10.000 Nvidia GPU's gebruikt om ChatGPT te trainen, en naarmate de service blijft groeien, neemt ook de behoefte aan GPU's toe. Iedereen die de opkomst van crypto in 2021 heeft meegemaakt, kan een geur ruiken GPU-tekort op de horizon.

Ik heb een paar verslaggevers precies dat verband zien leggen, maar het is misleidend. De dagen van crypto-gedreven GPU-tekorten liggen achter ons. Hoewel we waarschijnlijk een sterke stijging van de vraag naar zullen zien grafische kaarten Terwijl AI blijft groeien, is die vraag niet gericht op de beste grafische kaarten geïnstalleerd gaming-installaties.

Waarom Nvidia GPU's zijn gebouwd voor AI

Eerst zullen we bespreken waarom Nvidia grafische kaarten zijn zo geweldig voor AI. Nvidia heeft de afgelopen jaren op AI ingezet, en dit heeft zijn vruchten afgeworpen doordat de aandelenkoers van het bedrijf enorm is gestegen na de opkomst van ChatGPT. Er zijn twee redenen waarom je Nvidia in het hart van AI-training ziet: tensorkernen en CUDA.

CUDA is de Application Programming Interface (API) van Nvidia die in alles wordt gebruikt, van de duurste datacenter-GPU's tot de goedkoopste gaming-GPU's. CUDA-versnelling wordt ondersteund in machine learning-bibliotheken zoals TensorFlow, waardoor training enorm wordt versneld gevolgtrekking. CUDA is de drijvende kracht achter AMD loopt zo ver achter op het gebied van AI vergeleken met Nvidia.

Verwar CUDA echter niet met de CUDA-kernen van Nvidia. CUDA is het platform waarop een heleboel AI-apps draaien, terwijl CUDA-kernen slechts de kernen in Nvidia GPU's zijn. Ze delen een naam en CUDA-kernen zijn beter geoptimaliseerd om CUDA-applicaties uit te voeren. De gaming-GPU's van Nvidia hebben CUDA-kernen en ondersteunen CUDA-apps.

Tensor-kernen zijn in feite speciale AI-kernen. Ze verzorgen matrixvermenigvuldiging, de geheime saus die AI-training versnelt. Het idee hier is eenvoudig. Vermenigvuldig meerdere gegevenssets tegelijk en train AI-modellen exponentieel sneller door mogelijke resultaten te genereren. De meeste processors verwerken taken op een lineaire manier, terwijl Tensor-kernen snel scenario's kunnen genereren in een enkele klokcyclus.

Nogmaals, de gaming-GPU's van Nvidia houden van de RTX4080 hebben Tensor-kernen (en soms zelfs meer dan dure datacenter-GPU's). Ondanks alle specificaties moeten Nvidia-kaarten echter AI-modellen versnellen, geen enkele is zo belangrijk als geheugen. En de gaming-GPU's van Nvidia hebben niet veel geheugen.

Het komt allemaal neer op het geheugen

“De grootte van het geheugen is het belangrijkste”, aldus Jeffrey Heaton, auteur van verschillende boeken over kunstmatige intelligentie en professor aan de Washington University in St. Louis. “Als je niet genoeg GPU hebt RAM, stopt uw ​​modelaanpassing/-gevolgtrekking gewoon.”

Heaton, wie heeft een YouTube-kanaal gewijd aan hoe goed AI-modellen op bepaalde GPU's werken, merkte op dat CUDA-kernen ook belangrijk zijn, maar dat geheugencapaciteit de dominante factor is als het gaat om hoe een GPU functioneert voor AI. De RTX4090 heeft veel geheugen volgens gamingstandaarden – 24 GB GDDR6X – maar heel weinig vergeleken met een GPU van datacenterklasse. De nieuwste H100 GPU van Nvidia heeft bijvoorbeeld 80 GB HBM3-geheugen, evenals een enorme 5.120-bit geheugenbus.

Je kunt met minder rondkomen, maar je hebt nog steeds veel geheugen nodig. Heaton raadt aan dat beginners niet minder dan 12 GB nodig hebben, terwijl een typische machine learning-ingenieur een of twee professionele apparaten van 48 GB zal hebben Nvidia GPU's. Volgens Heaton “zullen de meeste werklasten meer dalen in het bereik van één A100 tot acht A100.” Nvidia's A100 GPU heeft 40 GB aan geheugen.

Je kunt deze schaalvergroting ook in actie zien. Puget-systemen toont een enkele A100 met 40 GB geheugen die ongeveer twee keer zo snel presteert als een enkele RTX 3090 met zijn 24 GB geheugen. En dat ondanks het feit dat de RTX 3090 bijna twee keer zoveel CUDA-kernen en bijna evenveel Tensor-kernen heeft.

Geheugen is de bottleneck, niet de ruwe verwerkingskracht. Dat komt omdat het trainen van AI-modellen afhankelijk is van grote datasets, en hoe meer van die gegevens je in het geheugen kunt opslaan, hoe sneller (en nauwkeuriger) je een model kunt trainen.

Verschillende behoeften, verschillende matrijzen

De gaming-GPU's van Nvidia zijn over het algemeen niet geschikt voor AI vanwege het geringe videogeheugen dat ze hebben vergeleken met hardware van ondernemingskwaliteit, maar er is hier ook een apart probleem. Nvidia's werkstation-GPU's delen meestal geen GPU-chip met zijn gamingkaarten.

De A100 waarnaar Heaton verwees, gebruikt bijvoorbeeld de GA100 GPU, een chip uit Nvidia’s Ampere-reeks die nooit werd gebruikt op gaming-gerichte kaarten (inclusief de high-end RTX3090Ti). Op dezelfde manier gebruikt Nvidia’s nieuwste H100 een compleet andere architectuur dan de RTX 40-serie, wat betekent dat hij ook een andere chip gebruikt.

Er zijn uitzonderingen. Nvidia's AD102 GPU, die zich in de RTX4090 en RTX 4080, wordt ook gebruikt in een klein aantal Ada Lovelace enterprise GPU's (de L40 en RTX 6000). In de meeste gevallen kan Nvidia echter niet zomaar een gaming-GPU-chip hergebruiken voor een datacenterkaart. Het zijn gescheiden werelden.

Er zijn enkele fundamentele verschillen tussen het GPU-tekort dat we zagen als gevolg van cryptomining en de stijgende populariteit van AI-modellen. Volgens Heaton had het GPT-3-model meer dan 1.000 A100 Nvidia GPU's nodig om te kunnen trainen en ongeveer acht om te kunnen draaien. Deze GPU's hebben ook toegang tot de NVLink-verbinding met hoge bandbreedte, terwijl Nvidia's RTX 40-serie GPU's dat niet doen. Het vergelijkt maximaal 24 GB geheugen op de gamingkaarten van Nvidia met meerdere honderden op GPU's zoals de A100 met NVLink.

Er zijn nog enkele andere zorgen, zoals het feit dat geheugenchips worden toegewezen aan professionele GPU's in plaats van aan gaming-GPU's. maar de dagen dat je naar je plaatselijke Micro Center of Best Buy haast om de kans te krijgen een GPU op voorraad te vinden, zijn dat wel weg. Heaton vatte dat punt mooi samen: “Grote taalmodellen, zoals ChatGPT, hebben naar schatting minstens acht GPU's nodig om te kunnen draaien. Dergelijke schattingen gaan uit van de high-end A100 GPU's. Mijn speculatie is dat dit een tekort aan de duurdere GPU's zou kunnen veroorzaken, maar mogelijk geen gevolgen heeft voor GPU's van gamerklasse, met minder RAM.”

Aanbevelingen van de redactie

• Topauteurs eisen betaling van AI-bedrijven voor het gebruik van hun werk
• Google Bard kan nu spreken, maar kan het ChatGPT overstemmen?
• Het websiteverkeer van ChatGPT is voor het eerst gedaald
• Uit onderzoek blijkt dat 81% denkt dat ChatGPT een veiligheidsrisico is
• Apple's ChatGPT-rivaal schrijft mogelijk automatisch code voor u

Upgrade uw levensstijlMet Digital Trends kunnen lezers de snelle technische wereld in de gaten houden met het laatste nieuws, leuke productrecensies, inzichtelijke redactionele artikelen en unieke sneak peeks.