Nein, ChatGPT wird nicht zu einem weiteren GPU-Mangel führen

ChatGPT explodiert und das Rückgrat seines KI-Modells basiert auf Nvidia-Grafikkarten. Ein Analyst sagte Rund 10.000 Nvidia-GPUs wurden für das Training von ChatGPT verwendet, und mit der weiteren Ausweitung des Dienstes steigt auch der Bedarf an GPUs. Jeder, der den Aufstieg der Kryptowährung im Jahr 2021 miterlebt hat, kann das riechen GPU-Mangel am Horizont.

Ich habe einige Reporter gesehen, die genau diese Verbindung aufgebaut haben, aber sie ist falsch. Die Tage der kryptobedingten GPU-Engpässe liegen hinter uns. Obwohl wir wahrscheinlich einen Anstieg der Nachfrage erleben werden Grafikkarten Da KI weiterhin boomt, richtet sich diese Nachfrage nicht auf die beste Grafikkarten eingebaut Gaming-Rigs.

Warum Nvidia-GPUs für KI gebaut sind

Zuerst gehen wir auf die Gründe für Nvidia ein Grafikkarten sind so großartig für KI. Nvidia setzt seit mehreren Jahren auf KI und dies hat sich ausgezahlt, da der Aktienkurs des Unternehmens nach dem Aufstieg von ChatGPT in die Höhe schnellte. Es gibt zwei Gründe, warum Sie Nvidia im Mittelpunkt des KI-Trainings sehen: Tensorkerne und CUDA.

CUDA ist die Anwendungsprogrammierschnittstelle (API) von Nvidia, die in allem verwendet wird, von den teuersten Rechenzentrums-GPUs bis hin zu günstigste Gaming-GPUs. Die CUDA-Beschleunigung wird in Bibliotheken für maschinelles Lernen wie TensorFlow unterstützt, was das Training erheblich beschleunigt Inferenz. CUDA ist die treibende Kraft dahinter AMD liegt bei der KI weit zurück im Vergleich zu Nvidia.

Verwechseln Sie CUDA jedoch nicht mit den CUDA-Kernen von Nvidia. CUDA ist die Plattform, auf der zahlreiche KI-Apps laufen, während CUDA-Kerne nur die Kerne in Nvidia-GPUs sind. Sie haben einen gemeinsamen Namen und CUDA-Kerne sind besser für die Ausführung von CUDA-Anwendungen optimiert. Die Gaming-GPUs von Nvidia verfügen über CUDA-Kerne und unterstützen CUDA-Apps.

Tensorkerne sind im Grunde dedizierte KI-Kerne. Sie kümmern sich um die Matrixmultiplikation, das Geheimnis, das das KI-Training beschleunigt. Die Idee hier ist einfach. Multiplizieren Sie mehrere Datensätze gleichzeitig und trainieren Sie KI-Modelle exponentiell schneller, indem Sie mögliche Ergebnisse generieren. Die meisten Prozessoren erledigen Aufgaben linear, während Tensorkerne in einem einzigen Taktzyklus schnell Szenarien generieren können.

Auch hier gefallen Nvidias Gaming-GPUs RTX 4080 verfügen über Tensor-Kerne (und manchmal sogar mehr als teure Rechenzentrums-GPUs). Allerdings ist bei all den Spezifikationen, die Nvidia-Karten zur Beschleunigung von KI-Modellen haben, keine davon so wichtig wie der Speicher. Und die Gaming-GPUs von Nvidia haben nicht viel Speicher.

Es kommt alles auf die Erinnerung an

„Die Speichergröße ist das Wichtigste“, sagt Jeffrey Heaton, Autor mehrerer Bücher über künstliche Intelligenz und Professor an der Washington University in St. Louis. „Wenn Sie nicht genug GPU haben RAM, Ihre Modellanpassung/-Schlussfolgerung stoppt einfach.“

Heaton, wer hat einen YouTube-Kanal Das Unternehmen widmete sich der Frage, wie gut KI-Modelle auf bestimmten GPUs laufen, und stellte fest, dass CUDA-Kerne ebenfalls wichtig sind, aber die Speicherkapazität der dominierende Faktor ist, wenn es darum geht, wie eine GPU für KI funktioniert. Der RTX 4090 verfügt für Gaming-Verhältnisse über viel Speicher – 24 GB GDDR6X – aber sehr wenig im Vergleich zu einer GPU der Rechenzentrumsklasse. Beispielsweise verfügt die neueste H100-GPU von Nvidia über 80 GB HBM3-Speicher sowie einen riesigen 5.120-Bit-Speicherbus.

Man kommt zwar mit weniger aus, braucht aber trotzdem viel Speicher. Heaton empfiehlt Anfängern, nicht weniger als 12 GB zu haben, während ein typischer Machine-Learning-Ingenieur ein oder zwei Profis mit 48 GB haben wird Nvidia-GPUs. Laut Heaton werden „die meisten Arbeitsbelastungen eher in den Bereich von einem A100 bis zu acht A100 fallen.“ Die A100-GPU von Nvidia verfügt über 40 GB Erinnerung.

Sie können diese Skalierung auch in Aktion sehen. Puget-Systeme zeigt einen einzelnen A100 mit 40 GB Speicher, der etwa doppelt so schnell ist wie ein einzelner RTX 3090 mit 24 GB Speicher. Und das, obwohl die RTX 3090 über fast doppelt so viele CUDA-Kerne und fast so viele Tensor-Kerne verfügt.

Der Speicher ist der Engpass, nicht die rohe Rechenleistung. Das liegt daran, dass das Training von KI-Modellen auf großen Datensätzen basiert und je mehr Daten Sie im Speicher speichern können, desto schneller (und genauer) können Sie ein Modell trainieren.

Unterschiedliche Bedürfnisse, unterschiedliche Formen

Die Gaming-GPUs von Nvidia sind im Allgemeinen nicht für KI geeignet, da sie im Vergleich zu Hardware der Enterprise-Klasse über wenig Videospeicher verfügen, aber auch hier gibt es ein anderes Problem. Die Workstation-GPUs von Nvidia teilen sich normalerweise keinen GPU-Chip mit den Gaming-Karten.

Beispielsweise verwendet der A100, auf den Heaton verwiesen hat, die GA100-GPU, einen Chip aus Nvidias Ampere-Reihe, der nie auf Gaming-orientierten Karten (einschließlich High-End-Karten) verwendet wurde RTX 3090 Ti). Ebenso verwendet Nvidias neuestes H100 eine völlig andere Architektur als die RTX-40-Serie, was bedeutet, dass es auch einen anderen Chip verwendet.

Es gibt Ausnahmen. Nvidias AD102-GPU, die sich im Inneren befindet RTX 4090 und RTX 4080, wird auch in einer kleinen Reihe von Ada Lovelace-Unternehmens-GPUs (L40 und RTX 6000) verwendet. In den meisten Fällen kann Nvidia jedoch nicht einfach einen Gaming-GPU-Chip für eine Rechenzentrumskarte umfunktionieren. Es sind getrennte Welten.

Es gibt einige grundlegende Unterschiede zwischen dem GPU-Mangel, den wir aufgrund des Krypto-Minings gesehen haben, und der zunehmenden Beliebtheit von KI-Modellen. Laut Heaton waren für das GPT-3-Modell über 1.000 A100 Nvidia-GPUs zum Trainieren und etwa acht zum Betrieb erforderlich. Diese GPUs haben auch Zugriff auf die NVLink-Verbindung mit hoher Bandbreite, während dies bei den GPUs der RTX 40-Serie von Nvidia nicht der Fall ist. Dabei werden maximal 24 GB Speicher auf den Gaming-Karten von Nvidia mit mehreren Hundert auf GPUs wie der A100 mit NVLink verglichen.

Es gibt noch einige andere Bedenken, wie z. B. die Zuweisung von Speicherchips für professionelle GPUs gegenüber Gaming-GPUs. Aber die Zeiten, in denen man zu Ihrem örtlichen Micro Center oder Best Buy eilen muss, um eine GPU auf Lager zu finden, sind vorbei gegangen. Heaton brachte diesen Punkt gut auf den Punkt: „Es wird geschätzt, dass große Sprachmodelle wie ChatGPT mindestens acht GPUs zum Betrieb erfordern. Solche Schätzungen gehen von High-End-A100-GPUs aus. Meine Vermutung ist, dass dies zu einem Mangel an High-End-GPUs führen könnte, sich aber möglicherweise nicht auf GPUs der Gamer-Klasse auswirkt, die über weniger verfügen RAM.”

Empfehlungen der Redaktion

• Top-Autoren verlangen von KI-Firmen eine Bezahlung für die Nutzung ihrer Arbeit
• Google Bard kann jetzt sprechen, aber kann es ChatGPT übertönen?
• Der ChatGPT-Website-Verkehr ist zum ersten Mal zurückgegangen
• Laut einer Umfrage halten 81 % ChatGPT für ein Sicherheitsrisiko
• Der ChatGPT-Konkurrent von Apple schreibt möglicherweise automatisch Code für Sie

Werten Sie Ihren Lebensstil aufDigital Trends hilft Lesern mit den neuesten Nachrichten, unterhaltsamen Produktrezensionen, aufschlussreichen Leitartikeln und einzigartigen Einblicken, den Überblick über die schnelllebige Welt der Technik zu behalten.