아니요, ChatGPT로 인해 또 다른 GPU 부족이 발생하지는 않습니다.

채팅GPT 폭발적으로 성장하고 있으며 AI 모델의 백본은 Nvidia 그래픽 카드에 의존하고 있습니다. 한 분석가는 이렇게 말했다. ChatGPT를 훈련하는 데 약 10,000개의 Nvidia GPU가 사용되었으며 서비스가 계속 확장됨에 따라 GPU에 대한 필요성도 커졌습니다. 2021년 암호화폐의 부상을 겪은 사람이라면 누구나 냄새를 맡을 수 있습니다. GPU 부족 수평선에.

나는 몇몇 기자들이 정확한 연관성을 구축하는 것을 보았지만 그것은 잘못된 것입니다. 암호화폐 기반 GPU 부족 시대는 지났습니다. 수요가 급증할 것으로 예상되지만 그래픽 카드 AI가 계속 호황을 누리고 있기 때문에 그 수요는 AI 쪽으로 향하지 않습니다. 최고의 그래픽 카드 에 설치됨 게임 장비.

Nvidia GPU가 AI용으로 제작된 이유

먼저 Nvidia가 왜 그래픽 카드 AI에게는 정말 좋습니다. Nvidia는 지난 몇 년 동안 AI에 투자해 왔으며 ChatGPT의 등장 이후 회사 주가가 급등하면서 성과를 거두었습니다. Nvidia를 AI 훈련의 중심으로 보는 데에는 텐서 코어와 CUDA라는 두 가지 이유가 있습니다.

CUDA는 가장 비싼 데이터 센터 GPU부터 가장 저렴한 게임용 GPU. CUDA 가속은 TensorFlow와 같은 기계 학습 라이브러리에서 지원되어 교육 속도를 크게 높이고 추론. CUDA는 이를 뒷받침하는 원동력입니다. AMD는 AI에서 너무 뒤처져 있습니다. 엔비디아와 비교.

그러나 CUDA를 Nvidia의 CUDA 코어와 혼동하지 마십시오. CUDA는 수많은 AI 앱이 실행되는 플랫폼인 반면, CUDA 코어는 Nvidia GPU 내부의 코어일 뿐입니다. 그들은 이름을 공유하며 CUDA 코어는 CUDA 애플리케이션을 실행하는 데 더 잘 최적화되어 있습니다. Nvidia의 게이밍 GPU에는 CUDA 코어가 있으며 CUDA 앱을 지원합니다.

Tensor 코어는 기본적으로 전용 AI 코어입니다. AI 훈련 속도를 높이는 비법인 행렬 곱셈을 처리합니다. 여기서의 아이디어는 간단합니다. 여러 데이터 세트를 한 번에 곱하고, 가능한 결과를 생성하여 AI 모델을 기하급수적으로 빠르게 훈련하세요. 대부분의 프로세서는 선형 방식으로 작업을 처리하는 반면 Tensor 코어는 단일 클록 주기로 시나리오를 빠르게 생성할 수 있습니다.

다시 말하지만 Nvidia의 게임용 GPU는 다음과 같습니다. RTX 4080 Tensor 코어(때로는 값비싼 데이터 센터 GPU보다 더 많은 코어)가 있습니다. 그러나 Nvidia 카드가 AI 모델을 가속화해야 하는 모든 사양에서 메모리만큼 중요한 것은 없습니다. 그리고 Nvidia의 게이밍 GPU에는 메모리가 많지 않습니다.

다 기억에 남는다

인공 지능에 관한 여러 권의 책을 집필한 저자이자 세인트루이스에 있는 워싱턴 대학의 교수인 Jeffrey Heaton에 따르면 "메모리 크기가 가장 중요합니다."라고 합니다. “GPU가 부족하다면 램, 모델 피팅/추론이 단순히 중지됩니다.”

히튼, 그는 YouTube 채널이 있습니다 특정 GPU에서 AI 모델이 얼마나 잘 실행되는지에 관한 연구에서는 CUDA 코어도 중요하지만 GPU가 AI에 대해 어떻게 작동하는지에 관해서는 메모리 용량이 지배적인 요소라고 언급했습니다. 그만큼 RTX 4090 24GB의 GDDR6X와 같이 게임 표준에 따라 많은 메모리를 가지고 있지만 데이터 센터급 GPU에 비하면 메모리가 거의 없습니다. 예를 들어 Nvidia의 최신 H100 GPU에는 80GB의 HBM3 메모리와 대용량 5,120비트 메모리 버스가 있습니다.

더 적은 메모리로도 가능하지만 여전히 많은 메모리가 필요합니다. Heaton은 초보자에게는 12GB 이상을 권장하고, 일반적인 기계 학습 엔지니어에게는 전문가용 48GB 1~2개를 권장합니다. 엔비디아 GPU. Heaton에 따르면 "대부분의 워크로드는 단일 A100에서 8개의 A100 범위에 더 많이 포함될 것입니다." Nvidia의 A100 GPU에는 40GB의 메모리.

이 크기 조정이 실제로 실행되는 모습도 볼 수 있습니다. 퓨젯 시스템즈 40GB 메모리를 탑재한 단일 A100은 24GB 메모리를 탑재한 단일 RTX 3090보다 약 2배 빠른 성능을 보여줍니다. RTX 3090의 CUDA 코어 수는 거의 두 배, Tensor 코어 수는 거의 두 배에 달한다는 사실에도 불구하고 그렇습니다.

병목 현상의 원인은 원시 처리 능력이 아니라 메모리입니다. AI 모델 훈련은 대규모 데이터 세트에 의존하고, 메모리에 저장할 수 있는 데이터가 많을수록 모델을 더 빠르고 정확하게 훈련할 수 있기 때문입니다.

다양한 요구사항, 다양한 다이

Nvidia의 게이밍 GPU는 일반적으로 엔터프라이즈급 하드웨어에 비해 비디오 메모리가 적기 때문에 AI에 적합하지 않지만 여기에도 별도의 문제가 있습니다. Nvidia의 워크스테이션 GPU는 일반적으로 게임 카드와 GPU 다이를 공유하지 않습니다.

예를 들어 Heaton이 언급한 A100은 GA100 GPU를 사용합니다. 이는 게임 중심 카드(고급 카드 포함)에 한 번도 사용되지 않은 Nvidia Ampere 제품군의 다이입니다. RTX 3090 Ti). 마찬가지로 Nvidia의 최신 H100은 RTX 40 시리즈와 완전히 다른 아키텍처를 사용합니다. 즉, 다른 다이도 사용한다는 의미입니다.

예외가 있습니다. Nvidia의 AD102 GPU는 내부에 있습니다. RTX 4090 RTX 4080은 소규모 Ada Lovelace 엔터프라이즈 GPU(L40 및 RTX 6000)에도 사용됩니다. 그러나 대부분의 경우 Nvidia는 게임용 GPU 다이를 데이터 센터 카드용으로 재활용할 수 없습니다. 그들은 별개의 세계입니다.

암호화폐 채굴로 인한 GPU 부족과 AI 모델의 인기 상승 사이에는 몇 가지 근본적인 차이점이 있습니다. Heaton에 따르면 GPT-3 모델은 훈련에 1,000개 이상의 A100 Nvidia GPU가 필요하고 실행에는 약 8개가 필요했습니다. 이 GPU는 고대역폭 NVLink 상호 연결에도 액세스할 수 있지만 Nvidia의 RTX 40 시리즈 GPU는 액세스할 수 없습니다. Nvidia 게임 카드의 최대 24GB 메모리와 NVLink가 포함된 A100과 같은 GPU의 수백 GB 메모리를 비교하고 있습니다.

게임용 GPU보다 전문 GPU에 메모리 다이가 할당되는 등 몇 가지 다른 우려 사항이 있습니다. 하지만 재고가 있는 GPU를 찾기 위해 지역 Micro Center나 Best Buy로 서둘러 달려가는 날은 없습니다. 다 쓴. Heaton은 이 점을 훌륭하게 요약했습니다. “ChatGPT와 같은 대규모 언어 모델을 실행하려면 최소 8개의 GPU가 필요한 것으로 추정됩니다. 이러한 추정치는 고급 A100 GPU를 가정합니다. 내 추측으로는 이로 인해 고급 GPU가 부족할 수 있지만 게이머급 GPU에는 영향을 미치지 않을 수 있습니다. 램.”

편집자의 추천

• 최고 저자는 AI 회사에 자신의 작품 사용에 대한 대가를 요구합니다.
• Google Bard는 이제 말할 수 있지만 ChatGPT를 압도할 수 있습니까?
• ChatGPT 웹사이트 트래픽이 처음으로 감소했습니다.
• 81%는 ChatGPT가 보안 위험이라고 생각하는 것으로 조사 결과 나타났습니다
• Apple의 ChatGPT 라이벌이 자동으로 코드를 작성할 수 있습니다

당신의 라이프스타일을 업그레이드하세요Digital Trends는 독자들이 모든 최신 뉴스, 재미있는 제품 리뷰, 통찰력 있는 사설 및 독특한 미리보기를 통해 빠르게 변화하는 기술 세계를 계속해서 살펴볼 수 있도록 도와줍니다.