Ні, ChatGPT не спричинить ще одну нестачу GPU

ChatGPT вибухає, і основа його моделі AI покладається на відеокарти Nvidia. Один аналітик сказав близько 10 000 графічних процесорів Nvidia використовувалися для навчання ChatGPT, і оскільки сервіс продовжує розширюватися, зростає і потреба в графічних процесорах. Кожен, хто пережив зростання криптовалют у 2021 році, може відчути запах a Брак GPU на горизонті.

Зміст

Чому графічні процесори Nvidia створені для ШІ
Все зводиться до пам’яті
Різні потреби, різні вмирання

Я бачив, як кілька репортерів встановлювали саме такий зв’язок, але він був помилковим. Часи дефіциту графічних процесорів на основі криптографії позаду. Хоча, ймовірно, ми побачимо сплеск попиту відеокарти оскільки ШІ продовжує розвиватися, цей попит не спрямований на найкращі відеокарти встановлено в ігрові установки.

Рекомендовані відео

Чому графічні процесори Nvidia створені для ШІ

Візуалізація графічного процесора Nvidia RTX A6000.

Спочатку ми розглянемо, чому Nvidia відеокарти такі чудові для ШІ. Протягом останніх кількох років Nvidia робила ставку на штучний інтелект, і це окупилося, коли ціна акцій компанії різко зросла після зростання ChatGPT. Є дві причини, чому ви бачите Nvidia в центрі навчання ШІ: тензорні ядра та CUDA.

Пов'язані

Wix використовує ChatGPT, щоб допомогти вам швидко створити весь веб-сайт
Розробник ChatGPT OpenAI стикається з розслідуванням FTC щодо законів про захист прав споживачів
Функцію перегляду Bing у ChatGPT вимкнено через помилку платного доступу

CUDA — це інтерфейс прикладного програмування (API) Nvidia, який використовується у всьому, від найдорожчих графічних процесорів центрів обробки даних до найдешевші ігрові графічні процесори. Прискорення CUDA підтримується в бібліотеках машинного навчання, таких як TensorFlow, що значно прискорює навчання та висновок. CUDA є рушійною силою AMD так сильно відстає в ШІ порівняно з Nvidia.

Однак не плутайте CUDA з ядрами CUDA від Nvidia. CUDA — це платформа, на якій працює безліч програм зі штучним інтелектом, тоді як ядра CUDA — це лише ядра графічних процесорів Nvidia. Вони мають спільну назву, а ядра CUDA краще оптимізовані для запуску програм CUDA. Ігрові графічні процесори Nvidia мають ядра CUDA та підтримують програми CUDA.

Тензорні ядра — це в основному виділені ядра ШІ. Вони обробляють множення матриць, що є секретом, який прискорює навчання ШІ. Ідея тут проста. Помножуйте кілька наборів даних одночасно та експоненціально швидше тренуйте моделі ШІ, генеруючи можливі результати. Більшість процесорів справляються із завданнями лінійно, тоді як ядра Tensor можуть швидко генерувати сценарії за один такт.

Знову ж таки, ігрові графічні процесори Nvidia, як RTX 4080 мають ядра Tensor (іноді навіть більше, ніж дорогі графічні процесори центрів обробки даних). Однак для всіх характеристик карти Nvidia повинні прискорювати моделі AI, жодна з них не є такою важливою, як пам’ять. А ігрові графічні процесори Nvidia не мають багато пам’яті.

Все зводиться до пам’яті

«Об’єм пам’яті є найважливішим», – каже Джеффрі Хітон, автор кількох книг про штучний інтелект і професор Вашингтонського університету в Сент-Луїсі. «Якщо вам не вистачає GPU ОЗП, підгонка/виведення моделі просто припиняється».

Хітон, хто має канал YouTube присвячений тому, наскільки добре моделі штучного інтелекту працюють на певних графічних процесорах, зазначив, що ядра CUDA також важливі, але об’єм пам’яті є домінуючим фактором, коли йдеться про те, як графічний процесор працює для штучного інтелекту. The RTX 4090 має багато пам’яті за ігровими стандартами — 24 ГБ GDDR6X — але дуже мало порівняно з графічним процесором класу центру обробки даних. Наприклад, останній графічний процесор Nvidia H100 має 80 ГБ пам’яті HBM3, а також масивну 5120-бітну шину пам’яті.

Ви можете обійтися меншим, але вам все одно потрібно багато пам’яті. Хітон рекомендує новачкам мати не менше 12 ГБ пам’яті, тоді як типовий інженер машинного навчання матиме один або два професійних об’єму на 48 ГБ. Графічні процесори Nvidia. За словами Гітона, «більшість робочих навантажень буде більшим у діапазоні від A100 до восьми A100». Графічний процесор Nvidia A100 має 40 ГБ пам'ять.

Ви також можете побачити це масштабування в дії. Puget Systems показує один A100 із 40 ГБ пам’яті, який працює приблизно вдвічі швидше, ніж один RTX 3090 із 24 ГБ пам’яті. І це незважаючи на те, що RTX 3090 має майже вдвічі більше ядер CUDA і майже стільки ж ядер Tensor.

Вузьким місцем є пам’ять, а не сира процесорна потужність. Це тому, що навчання моделей штучного інтелекту спирається на великі набори даних, і чим більше цих даних ви можете зберегти в пам’яті, тим швидше (і точніше) ви зможете навчити модель.

Різні потреби, різні вмирання

Ігрові графічні процесори Nvidia зазвичай не підходять для штучного інтелекту через те, що вони мають мало відеопам’яті порівняно з обладнанням корпоративного рівня, але тут також є окрема проблема. Графічні процесори робочих станцій Nvidia зазвичай не мають спільного графічного процесора з ігровими картами.

Наприклад, A100, на який посилався Хітон, використовує графічний процесор GA100, який є кристалом із діапазону Ampere від Nvidia, який ніколи не використовувався на картках, орієнтованих на ігри (включаючи карти високого класу). RTX 3090 Ti). Подібним чином останній H100 від Nvidia використовує зовсім іншу архітектуру, ніж RTX 40-серії, тобто він також використовує інший кристал.

Бувають винятки. Графічний процесор Nvidia AD102, який знаходиться всередині RTX 4090 і RTX 4080, також використовується в невеликому діапазоні корпоративних графічних процесорів Ada Lovelace (L40 і RTX 6000). Однак у більшості випадків Nvidia не може просто перепрофілювати ігровий GPU для карти центру обробки даних. Це окремі світи.

Існують деякі принципові відмінності між дефіцитом графічного процесора, який ми спостерігали через криптомайнінг, і зростанням популярності моделей ШІ. За словами Гітона, модель GPT-3 потребувала понад 1000 графічних процесорів A100 Nvidia для навчання та близько восьми для роботи. Ці графічні процесори також мають доступ до високошвидкісного з’єднання NVLink, тоді як графічні процесори серії RTX 40 від Nvidia цього не роблять. Він порівнює максимум 24 ГБ пам’яті на ігрових картах Nvidia з кількома сотнями на графічних процесорах, таких як A100 з NVLink.

Існують деякі інші проблеми, як-от розподіл пам’яті для професійних графічних процесорів замість ігрових, але дні поспіху до місцевого Micro Center або Best Buy, щоб знайти графічний процесор на складі пішов. Хітон гарно резюмував це: «За оцінками, для роботи великих мовних моделей, таких як ChatGPT, потрібно щонайменше вісім графічних процесорів. Такі оцінки передбачають висококласні графічні процесори A100. Я припускаю, що це може спричинити дефіцит графічних процесорів вищого класу, але може не вплинути на графічні процесори ігрового класу, оскільки ОЗП.”