Tidak, ChatGPT tidak akan menyebabkan kekurangan GPU lagi

ObrolanGPT sedang meledak, dan tulang punggung model AI-nya bergantung pada kartu grafis Nvidia. Kata seorang analis sekitar 10.000 GPU Nvidia digunakan untuk melatih ChatGPT, dan seiring dengan berkembangnya layanan, kebutuhan akan GPU juga meningkat. Siapa pun yang mengalami kebangkitan kripto pada tahun 2021 dapat mencium bau a Kekurangan GPU di cakrawala.

Saya telah melihat beberapa reporter membangun hubungan yang persis seperti itu, namun hal itu salah arah. Hari-hari kekurangan GPU tipe berbasis kripto sudah berlalu. Meskipun kita mungkin akan melihat lonjakan permintaan kartu grafis seiring dengan berkembangnya AI, permintaan tersebut tidak diarahkan pada AI kartu grafis terbaik dipasang di rig permainan.

Mengapa GPU Nvidia dibuat untuk AI

Pertama, kami akan membahas alasannya Nvidia kartu grafis sangat bagus untuk AI. Nvidia telah bertaruh pada AI selama beberapa tahun terakhir, dan hal itu terbayar dengan melonjaknya harga saham perusahaan setelah munculnya ChatGPT. Ada dua alasan mengapa Anda melihat Nvidia sebagai inti pelatihan AI: inti tensor dan CUDA.

CUDA adalah Antarmuka Pemrograman Aplikasi (API) Nvidia yang digunakan dalam segala hal mulai dari GPU pusat data termahal hingga GPU pusat datanya GPU gaming termurah. Akselerasi CUDA didukung di perpustakaan pembelajaran mesin seperti TensorFlow, pelatihan dan pelatihan yang sangat cepat kesimpulan. CUDA adalah kekuatan pendorong di belakang AMD sangat tertinggal dalam AI dibandingkan dengan Nvidia.

Namun, jangan bingung antara CUDA dengan inti CUDA Nvidia. CUDA adalah platform tempat banyak aplikasi AI dijalankan, sedangkan inti CUDA hanyalah inti di dalam GPU Nvidia. Mereka berbagi nama, dan inti CUDA lebih dioptimalkan untuk menjalankan aplikasi CUDA. GPU gaming Nvidia memiliki inti CUDA dan mendukung aplikasi CUDA.

Inti tensor pada dasarnya adalah inti AI khusus. Mereka menangani perkalian matriks, yang merupakan rahasia yang mempercepat pelatihan AI. Idenya di sini sederhana. Lipat gandakan beberapa kumpulan data sekaligus, dan latih model AI secara eksponensial lebih cepat dengan menghasilkan kemungkinan hasil. Sebagian besar prosesor menangani tugas secara linier, sementara inti Tensor dapat dengan cepat menghasilkan skenario dalam satu siklus clock.

Sekali lagi, GPU gaming Nvidia menyukai RTX4080 memiliki inti Tensor (dan terkadang bahkan lebih mahal daripada GPU pusat data yang mahal). Namun, dari semua spesifikasi yang dimiliki kartu Nvidia untuk mempercepat model AI, tidak ada satupun yang sepenting memori. Dan GPU gaming Nvidia tidak memiliki banyak memori.

Semuanya tergantung pada ingatan

“Ukuran memori adalah yang paling penting,” menurut Jeffrey Heaton, penulis beberapa buku tentang kecerdasan buatan dan profesor di Universitas Washington di St. Louis. “Jika Anda tidak memiliki cukup GPU RAM, pemasangan/inferensi model Anda berhenti begitu saja.”

Heaton, siapa memiliki saluran YouTube didedikasikan untuk seberapa baik model AI berjalan pada GPU tertentu, disebutkan bahwa inti CUDA juga penting, namun kapasitas memori adalah faktor dominan dalam hal bagaimana GPU berfungsi untuk AI. Itu RTX4090 memiliki banyak memori menurut standar game — GDDR6X 24 GB — tetapi sangat sedikit dibandingkan dengan GPU kelas pusat data. Misalnya, GPU H100 terbaru Nvidia memiliki memori HBM3 80 GB, serta bus memori 5.120-bit yang sangat besar.

Anda dapat bertahan dengan lebih sedikit, tetapi Anda tetap memerlukan banyak memori. Heaton merekomendasikan pemula memiliki setidaknya 12 GB, sedangkan teknisi pembelajaran mesin pada umumnya akan memiliki satu atau dua profesional 48 GB GPU Nvidia. Menurut Heaton, “sebagian besar beban kerja akan lebih berkurang pada rentang A100 tunggal hingga delapan A100.” GPU A100 Nvidia memiliki 40GB Penyimpanan.

Anda juga dapat melihat penerapan penskalaan ini. Sistem Puget menunjukkan satu A100 dengan memori 40 GB berkinerja sekitar dua kali lebih cepat dari satu RTX 3090 dengan memori 24 GB. Meskipun RTX 3090 memiliki inti CUDA hampir dua kali lebih banyak dan inti Tensor hampir dua kali lebih banyak.

Memori adalah penghambatnya, bukan kekuatan pemrosesan mentah. Hal ini karena pelatihan model AI bergantung pada kumpulan data yang besar, dan semakin banyak data yang dapat Anda simpan di memori, semakin cepat (dan akurat) Anda dapat melatih suatu model.

Beda kebutuhan, beda mati

GPU gaming Nvidia umumnya tidak cocok untuk AI karena kecilnya memori video yang dimilikinya dibandingkan dengan perangkat keras tingkat perusahaan, tetapi ada masalah tersendiri di sini. GPU stasiun kerja Nvidia biasanya tidak berbagi GPU dengan kartu permainannya.

Misalnya, A100 yang direferensikan Heaton menggunakan GPU GA100, yang merupakan turunan dari rentang Ampere Nvidia yang tidak pernah digunakan pada kartu yang berfokus pada game (termasuk kartu kelas atas). RTX 3090 Ti). Demikian pula, H100 terbaru Nvidia menggunakan arsitektur yang sama sekali berbeda dari seri RTX 40, yang berarti ia juga menggunakan cetakan yang berbeda.

Ada pengecualian. GPU AD102 Nvidia, yang ada di dalamnya RTX4090 dan RTX 4080, juga digunakan di sejumlah kecil GPU perusahaan Ada Lovelace (L40 dan RTX 6000). Namun, dalam sebagian besar kasus, Nvidia tidak bisa begitu saja menggunakan kembali GPU gaming untuk kartu pusat data. Itu adalah dunia yang terpisah.

Ada beberapa perbedaan mendasar antara kekurangan GPU yang kami lihat akibat penambangan kripto dan meningkatnya popularitas model AI. Menurut Heaton, model GPT-3 membutuhkan lebih dari 1.000 GPU Nvidia A100 untuk dilatih dan sekitar delapan untuk dijalankan. GPU ini juga memiliki akses ke interkoneksi NVLink bandwidth tinggi, sedangkan GPU seri RTX 40 Nvidia tidak. Ini membandingkan memori maksimum 24GB pada kartu game Nvidia dengan ratusan GPU seperti A100 dengan NVLink.

Ada beberapa kekhawatiran lain, seperti memori mati yang dialokasikan untuk GPU profesional dibandingkan game, tetapi hari-hari terburu-buru ke Micro Center setempat atau Best Buy untuk mendapatkan kesempatan menemukan stok GPU sudah tiba hilang. Heaton menyimpulkan hal tersebut dengan baik: “Model bahasa besar, seperti ChatGPT, diperkirakan memerlukan setidaknya delapan GPU untuk dijalankan. Perkiraan tersebut mengasumsikan GPU A100 kelas atas. Spekulasi saya adalah hal ini dapat menyebabkan kekurangan GPU kelas atas, namun mungkin tidak memengaruhi GPU kelas gamer, dengan jumlah yang lebih sedikit. RAM.”

Rekomendasi Editor

• Penulis terkenal menuntut pembayaran dari perusahaan AI untuk menggunakan karya mereka
• Google Bard sekarang dapat berbicara, tetapi bisakah ia meredam ChatGPT?
• Lalu lintas situs web ChatGPT turun untuk pertama kalinya
• 81% menganggap ChatGPT adalah risiko keamanan, demikian temuan survei
• Saingan Apple ChatGPT mungkin secara otomatis menulis kode untuk Anda

Tingkatkan gaya hidup AndaTren Digital membantu pembaca mengawasi dunia teknologi yang bergerak cepat dengan semua berita terkini, ulasan produk yang menyenangkan, editorial yang berwawasan luas, dan cuplikan unik.