Не, ChatGPT няма да причини нов недостиг на GPU

ChatGPT експлодира, а гръбнакът на неговия AI модел разчита на графични карти на Nvidia. Един анализатор каза около 10 000 GPU на Nvidia бяха използвани за обучение на ChatGPT и тъй като услугата продължава да се разширява, нараства и нуждата от GPU. Всеки, който е преживял възхода на крипто през 2021 г., може да помирише a Недостиг на GPU на хоризонта.

Виждал съм няколко репортери да изграждат точно тази връзка, но тя е погрешна. Дните на недостиг на графични процесори, управлявани от крипто, са зад нас. Въпреки че вероятно ще видим скок в търсенето на графични карти тъй като ИИ продължава да процъфтява, това търсене не е насочено към най-добрите графични карти инсталиран в игрални съоръжения.

Защо графичните процесори на Nvidia са създадени за AI

Първо, ще разгледаме защо Nvidia графични карти са страхотни за AI. Nvidia заложи на AI през последните няколко години и това се изплати с цената на акциите на компанията, която скочи след възхода на ChatGPT. Има две причини, поради които виждате Nvidia в сърцето на AI обучението: тензорни ядра и CUDA.

CUDA е интерфейсът за програмиране на приложения (API) на Nvidia, използван във всичко - от най-скъпите графични процесори за центрове за данни до най-евтините графични процесори за игри. Ускоряването на CUDA се поддържа в библиотеки за машинно обучение като TensorFlow, което значително ускорява обучението и умозаключение. CUDA е движещата сила AMD изостава толкова много в AI в сравнение с Nvidia.

Не бъркайте обаче CUDA с CUDA ядрата на Nvidia. CUDA е платформата, на която работят множество AI приложения, докато CUDA ядрата са само ядрата в графичните процесори на Nvidia. Те споделят име и CUDA ядрата са по-добре оптимизирани за изпълнение на CUDA приложения. Графичните процесори за игри на Nvidia имат CUDA ядра и поддържат CUDA приложения.

Tensor ядрата са основно специализирани AI ядра. Те се справят с матрично умножение, което е тайният сос, който ускорява обучението на AI. Идеята тук е проста. Умножавайте множество набори от данни наведнъж и обучавайте AI модели експоненциално по-бързо чрез генериране на възможни резултати. Повечето процесори се справят със задачите по линеен начин, докато ядрата на Tensor могат бързо да генерират сценарии в един такт.

Отново графичните процесори за игри на Nvidia като RTX 4080 имат Tensor ядра (и понякога дори повече от скъпите графични процесори за центрове за данни). Въпреки това, за всички спецификации картите на Nvidia трябва да ускоряват моделите с изкуствен интелект, нито една от тях не е толкова важна, колкото паметта. И графичните процесори за игри на Nvidia нямат много памет.

Всичко се свежда до паметта

„Размерът на паметта е най-важен“, според Джефри Хийтън, автор на няколко книги за изкуствения интелект и професор във Вашингтонския университет в Сейнт Луис. „Ако нямате достатъчно GPU RAM, вашият модел напасване/извод просто спира.“

Хийтън, който има YouTube канал посветен на това колко добре работят AI моделите на определени GPU, отбеляза, че CUDA ядрата също са важни, но капацитетът на паметта е доминиращият фактор, когато става въпрос за това как GPU функционира за AI. The RTX 4090 има много памет според стандартите за игри — 24 GB GDDR6X — но много малко в сравнение с GPU от клас център за данни. Например най-новият графичен процесор H100 на Nvidia има 80 GB HBM3 памет, както и масивна 5120-битова шина на паметта.

Можете да минете с по-малко, но все още имате нужда от много памет. Heaton препоръчва на начинаещите да имат не по-малко от 12 GB, докато типичният инженер по машинно обучение ще има един или два професионални 48 GB Nvidia GPU. Според Хийтън „повечето работни натоварвания ще паднат повече в диапазона от един A100 до осем A100.“ Графичният процесор A100 на Nvidia има 40 GB памет.

Можете също да видите това мащабиране в действие. Puget Systems показва един A100 с 40 GB памет, работещ около два пъти по-бързо от единичен RTX 3090 с неговите 24 GB памет. И това е въпреки факта, че RTX 3090 има почти два пъти повече CUDA ядра и почти толкова ядра Tensor.

Паметта е тясното място, а не суровата процесорна мощност. Това е така, защото обучението на AI моделите разчита на големи набори от данни и колкото повече от тези данни можете да съхраните в паметта, толкова по-бързо (и по-точно) можете да обучите модел.

Различни нужди, различни умирания

Геймърските графични процесори на Nvidia обикновено не са подходящи за AI поради това колко малко видео памет имат в сравнение с хардуера от корпоративен клас, но тук също има отделен проблем. Графичните процесори за работни станции на Nvidia обикновено не споделят GPU матрица с нейните карти за игри.

Например, A100, който Хийтън спомена, използва графичния процесор GA100, който е матрица от гамата Ampere на Nvidia, която никога не е била използвана на карти, фокусирани върху игри (включително висок клас RTX 3090 Ti). По същия начин най-новият H100 на Nvidia използва напълно различна архитектура от серията RTX 40, което означава, че използва и различна матрица.

Има и изключения. Графичният процесор AD102 на Nvidia, който е вътре в RTX 4090 и RTX 4080, също се използва в малка гама корпоративни графични процесори Ada Lovelace (L40 и RTX 6000). В повечето случаи обаче Nvidia не може просто да пренасочи графичния процесор за игри за карта на център за данни. Те са отделни светове.

Има някои фундаментални разлики между недостига на GPU, който видяхме поради крипто копаене, и нарастването на популярността на AI моделите. Според Хийтън моделът GPT-3 изисква над 1000 графични процесора A100 Nvidia за обучение и около осем за работа. Тези графични процесори също имат достъп до високочестотната връзка NVLink, докато графичните процесори от серията RTX 40 на Nvidia нямат. Той сравнява максимум 24 GB памет на картите за игри на Nvidia с няколко стотици на GPU като A100 с NVLink.

Има някои други притеснения, като например разпределението на паметта за професионални графични процесори вместо такива за игри, но дните на бързане до вашия местен Micro Center или Best Buy за възможността да намерите GPU на склад са си отиде. Хийтън обобщи добре тази гледна точка: „Изчислено е, че големите езикови модели, като ChatGPT, изискват поне осем графични процесора, за да работят. Такива оценки предполагат графичните процесори A100 от висок клас. Моето предположение е, че това може да причини недостиг на GPU от по-висок клас, но може да не засегне GPU от геймърски клас, с по-малко RAM.”

Препоръки на редакторите

• Топ автори изискват заплащане от фирми за изкуствен интелект за използване на работата им
• Google Bard вече може да говори, но може ли да заглуши ChatGPT?
• Трафикът на уебсайта на ChatGPT е спаднал за първи път
• 81% смятат, че ChatGPT е риск за сигурността, установи проучване
• Съперникът на Apple ChatGPT може автоматично да напише код вместо вас

Надградете начина си на животDigital Trends помага на читателите да следят забързания свят на технологиите с всички най-нови новини, забавни ревюта на продукти, проницателни редакционни статии и единствени по рода си кратки погледи.