Hayır, ChatGPT başka bir GPU sıkıntısına neden olmayacak

SohbetGPT patlıyor ve AI modelinin omurgası Nvidia grafik kartlarına dayanıyor. Bir analist şunu söyledi ChatGPT'yi eğitmek için yaklaşık 10.000 Nvidia GPU kullanıldı ve hizmet genişlemeye devam ettikçe GPU'lara olan ihtiyaç da artıyor. 2021'de kriptonun yükselişini yaşayan herkes bir kokunun kokusunu alabilir: GPU sıkıntısı ufukta.

Birkaç muhabirin tam olarak bu bağlantıyı kurduğunu gördüm, ancak bu yanlış yönlendirilmiş. Kripto odaklı GPU sıkıntısı günleri geride kaldı. Her ne kadar muhtemelen talepte bir artış göreceğiz grafik kartları Yapay zeka patlamaya devam ettikçe bu talep en iyi grafik kartları yüklü oyun kuleleri.

Nvidia GPU'ları neden yapay zeka için tasarlandı?

Öncelikle Nvidia'nın neden grafik kartları AI için çok harikalar. Nvidia son birkaç yıldır yapay zekaya yatırım yaptı ve ChatGPT'nin yükselişinden sonra şirketin hisse senedi fiyatlarının artmasıyla bunun karşılığını aldı. Nvidia'yı yapay zeka eğitiminin merkezinde görmenizin iki nedeni var: tensör çekirdekleri ve CUDA.

CUDA, Nvidia'nın en pahalı veri merkezi GPU'larından bilgisayarlarına kadar her şeyde kullanılan Uygulama Programlama Arayüzü'dür (API). en ucuz oyun GPU'ları. CUDA hızlandırma, TensorFlow gibi makine öğrenimi kitaplıklarında desteklenerek eğitimi büyük ölçüde hızlandırır ve çıkarım. CUDA, arkasındaki itici güçtür AMD yapay zekada çok geride Nvidia'yla karşılaştırıldığında.

Ancak CUDA'yı Nvidia'nın CUDA çekirdekleriyle karıştırmayın. CUDA, çok sayıda AI uygulamasının üzerinde çalıştığı platformdur; CUDA çekirdekleri ise yalnızca Nvidia GPU'ların içindeki çekirdeklerdir. Aynı adı paylaşırlar ve CUDA çekirdekleri CUDA uygulamalarını çalıştırmak için daha iyi optimize edilmiştir. Nvidia'nın oyun GPU'ları CUDA çekirdeklerine sahiptir ve CUDA uygulamalarını destekler.

Tensör çekirdekleri temel olarak özel yapay zeka çekirdekleridir. Yapay zeka eğitimini hızlandıran gizli sos olan matris çarpımını onlar yönetiyor. Buradaki fikir basit. Birden fazla veri kümesini aynı anda çoğaltın ve olası sonuçları üreterek yapay zeka modellerini katlanarak daha hızlı eğitin. Çoğu işlemci görevleri doğrusal bir şekilde gerçekleştirirken Tensor çekirdekleri tek bir saat döngüsünde hızlı bir şekilde senaryolar oluşturabilir.

Yine Nvidia'nın oyun GPU'ları RTX 4080 Tensor çekirdeklerine (ve bazen pahalı veri merkezi GPU'larından bile daha fazlasına) sahiptir. Ancak Nvidia kartlarının AI modellerini hızlandırması gereken tüm özellikler açısından hiçbiri bellek kadar önemli değil. Ve Nvidia'nın oyun GPU'larında çok fazla bellek yok.

Her şey hafızaya bağlı

Yapay zeka üzerine çeşitli kitapların yazarı ve St. Louis'deki Washington Üniversitesi'nde profesör olan Jeffrey Heaton'a göre "Bellek boyutu en önemlisidir". “Yeterli GPU'nuz yoksa Veri deposu, model uydurma/çıkarımınız durur."

Heaton kim YouTube kanalı var AI modellerinin belirli GPU'larda ne kadar iyi çalıştığına odaklanan şirket, CUDA çekirdeklerinin de önemli olduğunu ancak GPU'nun AI için nasıl çalıştığı konusunda bellek kapasitesinin baskın faktör olduğunu belirtti. RTX 4090 Oyun standartlarına göre çok fazla belleğe sahip (24 GB GDDR6X), ancak veri merkezi sınıfı GPU ile karşılaştırıldığında çok az. Örneğin, Nvidia'nın en yeni H100 GPU'su 80 GB HBM3 belleğin yanı sıra devasa bir 5.120 bit bellek veriyoluna sahiptir.

Daha azıyla idare edebilirsiniz, ancak yine de çok fazla belleğe ihtiyacınız var. Heaton, yeni başlayanların 12 GB'tan az olmamasını önerirken, tipik bir makine öğrenimi mühendisinin bir veya iki adet 48 GB'lık profesyonel alana sahip olmasını önerir. Nvidia GPU'ları. Heaton'a göre, "çoğu iş yükü tek A100 ila sekiz A100 aralığında daha fazla düşecek." Nvidia’nın A100 GPU’su 40GB’a sahip hafıza.

Bu ölçeklendirmeyi çalışırken de görebilirsiniz. Puget Sistemleri 40 GB belleğe sahip tek bir A100'ün, 24 GB belleğe sahip tek bir RTX 3090'dan yaklaşık iki kat daha hızlı performans gösterdiğini gösteriyor. Ve bu, RTX 3090'ın neredeyse iki kat daha fazla CUDA çekirdeğine ve neredeyse bir o kadar da Tensor çekirdeğine sahip olmasına rağmen.

Bellek, ham işlem gücü değil, darboğazdır. Bunun nedeni, AI modellerinin eğitiminin büyük veri kümelerine dayanmasıdır ve bellekte ne kadar çok veri depolayabilirseniz, bir modeli o kadar hızlı (ve daha doğru) eğitebilirsiniz.

Farklı ihtiyaçlar, farklı ölümler

Nvidia'nın oyun GPU'ları, kurumsal sınıf donanıma kıyasla video belleğinin çok az olması nedeniyle genellikle yapay zeka için uygun değil, ancak burada da ayrı bir sorun var. Nvidia'nın iş istasyonu GPU'ları genellikle oyun kartlarıyla bir GPU kalıbını paylaşmaz.

Örneğin, Heaton'ın referans verdiği A100, Nvidia'nın Ampere serisinden olan ve oyun odaklı kartlarda (en üst düzey kartlar dahil) hiç kullanılmamış bir kalıp olan GA100 GPU'yu kullanıyor. RTX 3090 Ti). Benzer şekilde Nvidia'nın en yeni H100 modeli de RTX 40 serisinden tamamen farklı bir mimari kullanıyor, bu da onun da farklı bir kalıp kullandığı anlamına geliyor.

İstisnalar var. Nvidia'nın AD102 GPU'su, RTX 4090 ve RTX 4080, aynı zamanda küçük bir Ada Lovelace kurumsal GPU serisinde de (L40 ve RTX 6000) kullanılmaktadır. Ancak çoğu durumda Nvidia, bir oyun GPU kalıbını veri merkezi kartı için yeniden kullanamaz. Onlar ayrı dünyalar.

Kripto madenciliği nedeniyle gördüğümüz GPU sıkıntısı ile yapay zeka modellerinin popülaritesindeki artış arasında bazı temel farklılıklar var. Heaton'a göre GPT-3 modelinin eğitilmesi için 1.000'den fazla A100 Nvidia GPU'ya ve çalıştırılması için yaklaşık sekiz GPU'ya ihtiyaç vardı. Bu GPU'ların yüksek bant genişliğine sahip NVLink ara bağlantısına da erişimi varken Nvidia'nın RTX 40 serisi GPU'ları bu erişime sahip değil. Nvidia'nın oyun kartlarındaki maksimum 24 GB belleği, NVLink'li A100 gibi GPU'lardaki yüzlerce bellekle karşılaştırıyor.

Bellek kalıplarının oyun GPU'ları yerine profesyonel GPU'lara ayrılması gibi başka endişeler de var. ancak stokta bir GPU bulma şansı için yerel Micro Center'ınıza veya Best Buy'a koşacağınız günler artık çok yakın gitmiş. Heaton bu noktayı güzel bir şekilde özetledi: "ChatGPT gibi büyük dil modellerinin çalışması için en az sekiz GPU gerektirdiği tahmin ediliyor. Bu tür tahminler üst düzey A100 GPU'ları varsaymaktadır. Benim spekülasyonum bu durumun üst seviye GPU'larda eksiklik yaratabileceği ancak oyuncu sınıfı GPU'ları etkilemeyebileceği yönünde. Veri deposu.”

Editörlerin Önerileri

• En iyi yazarlar, çalışmalarını kullanmaları karşılığında yapay zeka firmalarından ödeme talep ediyor
• Google Bard artık konuşabiliyor ama ChatGPT'yi bastırabilir mi?
• ChatGPT web sitesi trafiği ilk kez düştü
• Ankete göre katılımcıların %81'i ChatGPT'nin bir güvenlik riski olduğunu düşünüyor
• Apple'ın ChatGPT rakibi sizin için otomatik olarak kod yazabilir

Yaşam tarzınızı yükseltinDigital Trends, en son haberler, eğlenceli ürün incelemeleri, anlayışlı başyazılar ve türünün tek örneği olan ön bakışlarla okuyucuların teknolojinin hızlı tempolu dünyasını takip etmelerine yardımcı olur.