Nie, ChatGPT nie spowoduje kolejnego niedoboru GPU

CzatGPT eksploduje, a szkielet modelu AI opiera się na kartach graficznych Nvidia. Jeden z analityków powiedział do szkolenia ChatGPT wykorzystano około 10 000 procesorów graficznych Nvidia, a wraz z rozwojem usługi rośnie zapotrzebowanie na procesory graficzne. Każdy, kto przeżył wzrost popularności kryptowalut w 2021 r., może wyczuć zapach Niedobór GPU na horyzoncie.

Widziałem, jak kilku reporterów budowało dokładnie takie powiązanie, ale jest ono błędne. Dni niedoborów procesorów graficznych napędzanych kryptowalutami mamy już za sobą. Chociaż prawdopodobnie odnotujemy wzrost popytu karty graficzne Ponieważ sztuczna inteligencja nadal się rozwija, popyt ten nie jest skierowany w stronę… najlepsze karty graficzne zainstalowany w zestawy do gier.

Dlaczego procesory graficzne Nvidia są zbudowane dla sztucznej inteligencji

Najpierw zajmiemy się powodem, dla którego Nvidia

CUDA to interfejs programowania aplikacji (API) firmy Nvidia używany we wszystkim, od najdroższych procesorów graficznych dla centrów danych po najtańsze procesory graficzne do gier. Akceleracja CUDA jest obsługiwana w bibliotekach uczenia maszynowego, takich jak TensorFlow, co znacznie przyspiesza szkolenia i wnioskowanie. CUDA jest siłą napędową AMD pozostaje daleko w tyle w dziedzinie sztucznej inteligencji w porównaniu do Nvidii.

Nie należy jednak mylić CUDA z rdzeniami CUDA firmy Nvidia. CUDA to platforma, na której działa mnóstwo aplikacji AI, podczas gdy rdzenie CUDA to tylko rdzenie w procesorach graficznych Nvidia. Mają wspólną nazwę, a rdzenie CUDA są lepiej zoptymalizowane do uruchamiania aplikacji CUDA. Procesory graficzne Nvidii do gier mają rdzenie CUDA i obsługują aplikacje CUDA.

Rdzenie Tensor to w zasadzie dedykowane rdzenie AI. Zajmują się mnożeniem macierzy, czyli sekretnym sosem przyspieszającym trening sztucznej inteligencji. Pomysł jest tutaj prosty. Pomnażaj wiele zestawów danych jednocześnie i trenuj modele sztucznej inteligencji wykładniczo szybciej, generując możliwe wyniki. Większość procesorów obsługuje zadania w sposób liniowy, podczas gdy rdzenie Tensor mogą szybko generować scenariusze w jednym cyklu zegara.

Ponownie, procesory graficzne Nvidii do gier, takie jak RTX4080 mają rdzenie Tensor (a czasem nawet więcej niż kosztowne procesory graficzne dla centrów danych). Jednak w przypadku wszystkich specyfikacji, jakie karty Nvidia muszą przyspieszać modele AI, żadna z nich nie jest tak ważna jak pamięć. A procesory graficzne Nvidii do gier nie mają dużo pamięci.

Wszystko sprowadza się do pamięci

„Rozmiar pamięci jest najważniejszy” – twierdzi Jeffrey Heaton, autor kilku książek o sztucznej inteligencji i profesor na Washington University w St. Louis. „Jeśli nie masz wystarczającej ilości procesora graficznego Baran, dopasowanie/wnioskowanie modelu po prostu się kończy.”

Heatona, który ma kanał na YouTubie poświęcony temu, jak dobrze modele AI działają na niektórych procesorach graficznych, zauważył, że rdzenie CUDA są również ważne, ale pojemność pamięci jest dominującym czynnikiem, jeśli chodzi o działanie procesora graficznego dla sztucznej inteligencji. The RTX4090 ma dużo pamięci jak na standardy gier — 24 GB GDDR6X — ale bardzo mało w porównaniu z procesorem graficznym klasy centrum danych. Na przykład najnowszy procesor graficzny Nvidia H100 ma 80 GB pamięci HBM3 i ogromną 5120-bitową magistralę pamięci.

Możesz obejść się mniejszym kosztem, ale nadal potrzebujesz dużo pamięci. Heaton zaleca, aby początkujący mieli nie mniej niż 12 GB, podczas gdy typowy inżynier zajmujący się uczeniem maszynowym będzie miał jedną lub dwie profesjonalistki o pojemności 48 GB Procesory graficzne Nvidii. Według Heatona „większość obciążeń spadnie bardziej w przypadku pojedynczego A100 do ośmiu A100”. Karta graficzna Nvidia A100 ma 40 GB pamięć.

To skalowanie można również zobaczyć w akcji. Systemy Pugeta pokazuje, że pojedynczy A100 z 40 GB pamięci działa około dwukrotnie szybciej niż pojedynczy RTX 3090 z 24 GB pamięci. I to pomimo faktu, że RTX 3090 ma prawie dwukrotnie więcej rdzeni CUDA i prawie tyle samo rdzeni Tensor.

Pamięć jest wąskim gardłem, a nie surowa moc obliczeniowa. Dzieje się tak, ponieważ trenowanie modeli sztucznej inteligencji opiera się na dużych zbiorach danych, a im więcej danych można przechowywać w pamięci, tym szybciej (i dokładniej) można wytrenować model.

Różne potrzeby, różne matryce

Procesory graficzne Nvidii do gier generalnie nie nadają się do obsługi sztucznej inteligencji ze względu na małą ilość pamięci wideo w porównaniu ze sprzętem klasy korporacyjnej, ale tutaj jest też osobny problem. Procesory graficzne Nvidii do stacji roboczych zwykle nie współdzielą kości GPU z kartami do gier.

Na przykład A100, o którym wspomniał Heaton, wykorzystuje procesor graficzny GA100, który jest kością z gamy Ampere firmy Nvidia, która nigdy nie była używana w kartach przeznaczonych do gier (w tym w high-endowych RTX 3090 Ti). Podobnie najnowszy H100 Nvidii wykorzystuje zupełnie inną architekturę niż seria RTX 40, co oznacza, że ​​wykorzystuje również inną matrycę.

Są wyjątki. Procesor graficzny Nvidia AD102, który znajduje się wewnątrz RTX4090 i RTX 4080, jest również używany w niewielkiej gamie procesorów graficznych dla przedsiębiorstw Ada Lovelace (L40 i RTX 6000). Jednak w większości przypadków Nvidia nie może po prostu zmienić przeznaczenia kości GPU do gier na kartę centrum danych. To odrębne światy.

Istnieją pewne zasadnicze różnice pomiędzy niedoborami GPU, które zaobserwowaliśmy w wyniku wydobywania kryptowalut, a wzrostem popularności modeli AI. Według Heatona model GPT-3 wymagał ponad 1000 procesorów graficznych A100 Nvidia do pociągów i około ośmiu do działania. Te procesory graficzne mają również dostęp do szerokopasmowego łącza NVLink, podczas gdy procesory graficzne Nvidia z serii RTX 40 nie. Porównuje maksymalnie 24 GB pamięci na kartach do gier Nvidia z wieloma setkami na procesorach graficznych, takich jak A100 z NVLink.

Istnieją inne problemy, takie jak przydzielanie kości pamięci profesjonalnym procesorom graficznym zamiast procesorom do gier, ale dni, w których trzeba spieszyć się do lokalnego Micro Center lub Best Buy, aby znaleźć kartę graficzną w magazynie, są stracony. Heaton ładnie to podsumował: „Szacuje się, że duże modele językowe, takie jak ChatGPT, wymagają do działania co najmniej ośmiu procesorów graficznych. Takie szacunki zakładają wysokiej klasy procesory graficzne A100. Spekuluję, że może to spowodować niedobór procesorów graficznych wyższej klasy, ale może nie mieć wpływu na procesory graficzne klasy gamingowej, przy mniejszym Baran.”

Zalecenia redaktorów

• Czołowi autorzy żądają zapłaty od firm zajmujących się sztuczną inteligencją za korzystanie z ich pracy
• Google Bard może teraz mówić, ale czy może zagłuszyć ChatGPT?
• Ruch na stronie ChatGPT spadł po raz pierwszy
• Z badania wynika, że ​​81% uważa, że ​​ChatGPT stanowi zagrożenie dla bezpieczeństwa
• Rywal Apple ChatGPT może automatycznie napisać kod za Ciebie

Ulepsz swój styl życiaDigital Trends pomaga czytelnikom śledzić szybko rozwijający się świat technologii dzięki najnowszym wiadomościom, zabawnym recenzjom produktów, wnikliwym artykułom redakcyjnym i jedynym w swoim rodzaju zajawkom.