Нет, ChatGPT не вызовет очередную нехватку графических процессоров.

ЧатGPT стремительно развивается, и в основе ее модели искусственного интеллекта лежат видеокарты Nvidia. Один аналитик сказал Для обучения ChatGPT было использовано около 10 000 графических процессоров Nvidia, и по мере того, как сервис продолжает расширяться, растет и потребность в графических процессорах. Любой, кто пережил рост криптовалют в 2021 году, может почувствовать запах нехватка графических процессоров на горизонте.

Содержание

Почему графические процессоры Nvidia созданы для искусственного интеллекта
Все сводится к памяти
Разные потребности, разные штампы

Я видел, как несколько репортеров установили именно такую связь, но она ошибочна. Дни нехватки графических процессоров криптографического типа остались позади. Хотя мы, скорее всего, увидим всплеск спроса на видеокарты поскольку ИИ продолжает бурно развиваться, этот спрос не направлен на лучшие видеокарты установлен в игровые установки.

Рекомендуемые видео

Почему графические процессоры Nvidia созданы для искусственного интеллекта

Рендер графического процессора Nvidia RTX A6000.

Сначала мы объясним, почему Nvidia видеокарты так хороши для ИИ. Nvidia делала ставку на искусственный интеллект в течение последних нескольких лет, и это оправдалось резким ростом цен на акции компании после появления ChatGPT. Есть две причины, по которым вы видите Nvidia в центре обучения ИИ: тензорные ядра и CUDA.

Связанный

Wix использует ChatGPT, чтобы помочь вам быстро создать целый веб-сайт.
Производитель ChatGPT OpenAI сталкивается с расследованием Федеральной торговой комиссии по поводу законов о защите прав потребителей
Функция просмотра Bing в ChatGPT отключена из-за недостатка доступа к платному доступу

CUDA — это интерфейс прикладного программирования (API) компании Nvidia, используемый во всем: от самых дорогих графических процессоров для центров обработки данных до самые дешевые игровые графические процессоры. Ускорение CUDA поддерживается в библиотеках машинного обучения, таких как TensorFlow, что значительно ускоряет обучение и вывод. CUDA — движущая сила AMD так сильно отстает в области искусственного интеллекта по сравнению с Нвидиа.

Однако не путайте CUDA с ядрами CUDA от Nvidia. CUDA — это платформа, на которой работает множество приложений искусственного интеллекта, а ядра CUDA — это всего лишь ядра внутри графических процессоров Nvidia. У них общее имя, а ядра CUDA лучше оптимизированы для запуска приложений CUDA. Игровые графические процессоры Nvidia имеют ядра CUDA и поддерживают приложения CUDA.

Тензорные ядра — это, по сути, специализированные ядра искусственного интеллекта. Они занимаются умножением матриц, что является секретным соусом, ускоряющим обучение ИИ. Идея здесь проста. Умножайте несколько наборов данных одновременно и обучайте модели ИИ в геометрической прогрессии, генерируя возможные результаты. Большинство процессоров обрабатывают задачи линейно, а ядра Tensor могут быстро генерировать сценарии за один такт.

Опять же, игровые графические процессоры Nvidia, такие как РТХ 4080 имеют тензорные ядра (а иногда даже больше, чем дорогостоящие графические процессоры для центров обработки данных). Однако, несмотря на все характеристики карт Nvidia для ускорения моделей искусственного интеллекта, ни одна из них не так важна, как память. А игровые графические процессоры Nvidia не имеют большого количества памяти.

Все сводится к памяти

«Объем памяти имеет самое важное значение», — считает Джеффри Хитон, автор нескольких книг по искусственному интеллекту и профессор Вашингтонского университета в Сент-Луисе. «Если вам не хватает графического процессора БАРАН, ваша подгонка/вывод модели просто прекращается».

Хитон, который есть канал на YouTube посвященный тому, насколько хорошо модели ИИ работают на определенных графических процессорах, отметил, что ядра CUDA также важны, но объем памяти является доминирующим фактором, когда речь идет о том, как графический процессор работает для ИИ. РТХ 4090 имеет много памяти по игровым стандартам — 24 ГБ GDDR6X — но очень мало по сравнению с графическим процессором класса центра обработки данных. Например, новейший графический процессор Nvidia H100 имеет 80 ГБ памяти HBM3, а также массивную 5120-битную шину памяти.

Можно обойтись и меньшими затратами, но памяти все равно понадобится много. Хитон рекомендует новичкам иметь не менее 12 ГБ, а типичному инженеру по машинному обучению — один или два профессиональных специалиста по 48 ГБ. Графические процессоры NVIDIA. По словам Хитона, «большинство рабочих нагрузок будет приходиться на диапазон от одного A100 до восьми A100». Графический процессор Nvidia A100 имеет 40 ГБ памяти. Память.

Вы также можете увидеть это масштабирование в действии. Пьюджет Системс показывает, что один A100 с 40 ГБ памяти работает примерно в два раза быстрее, чем одиночный RTX 3090 с 24 ГБ памяти. И это несмотря на то, что у RTX 3090 почти вдвое больше ядер CUDA и почти столько же ядер Tensor.

Узким местом является память, а не чистая вычислительная мощность. Это связано с тем, что обучение моделей ИИ основано на больших наборах данных, и чем больше этих данных вы можете хранить в памяти, тем быстрее (и точнее) вы сможете обучить модель.

Разные потребности, разные штампы

Игровые графические процессоры Nvidia, как правило, не подходят для искусственного интеллекта из-за того, что у них мало видеопамяти по сравнению с оборудованием корпоративного уровня, но здесь также есть отдельная проблема. Графические процессоры Nvidia для рабочих станций обычно не используют один и тот же кристалл графического процессора с игровыми картами.

Например, A100, на который ссылается Хитон, использует графический процессор GA100, который представляет собой кристалл из линейки Nvidia Ampere, который никогда не использовался в игровых картах (включая высокопроизводительные карты). RTX 3090 Ти). Точно так же последняя версия H100 от Nvidia использует совершенно другую архитектуру, чем серия RTX 40, а это означает, что в ней также используется другой кристалл.

Есть исключения. Графический процессор Nvidia AD102, расположенный внутри РТХ 4090 и RTX 4080, также используется в небольшом ассортименте корпоративных графических процессоров Ada Lovelace (L40 и RTX 6000). Однако в большинстве случаев Nvidia не может просто перепрофилировать игровой графический процессор для карты центра обработки данных. Это отдельные миры.

Есть некоторые фундаментальные различия между нехваткой графических процессоров, которую мы наблюдали из-за майнинга криптовалют, и ростом популярности моделей искусственного интеллекта. По словам Хитона, для обучения модели GPT-3 требовалось более 1000 графических процессоров Nvidia A100 и около восьми для работы. Эти графические процессоры также имеют доступ к высокоскоростному межсоединению NVLink, а графические процессоры Nvidia серии RTX 40 — нет. Он сравнивает максимальный объем памяти в 24 ГБ на игровых картах Nvidia с несколькими сотнями на графических процессорах, таких как A100, с NVLink.

Есть и другие проблемы, например, выделение кристаллов памяти для профессиональных графических процессоров вместо игровых. но дни, когда вы спешите в местный микроцентр или Best Buy, чтобы получить шанс найти графический процессор на складе, ушел. Хитон хорошо подытожил этот момент: «По оценкам, для работы больших языковых моделей, таких как ChatGPT, потребуется как минимум восемь графических процессоров. Такие оценки предполагают использование высокопроизводительных графических процессоров A100. Я предполагаю, что это может вызвать нехватку графических процессоров более высокого класса, но не может повлиять на графические процессоры игрового класса, поскольку их производительность меньше. БАРАН.”