Ne, „ChatGPT“ nesukels dar vieno GPU trūkumo

ChatGPT sprogsta, o jo AI modelio pagrindas remiasi „Nvidia“ vaizdo plokštėmis. Vienas analitikas sakė apmokyti ChatGPT buvo panaudota apie 10 000 Nvidia GPU, o paslauga ir toliau plečiasi, GPU poreikis auga. Kiekvienas, kuris išgyveno kriptovaliutų augimą 2021 m., gali užuosti a GPU trūkumas horizonte.

Mačiau, kaip keli žurnalistai sukuria tokį tikslų ryšį, bet tai klaidinga. Kriptografinio tipo GPU trūkumo dienos jau už nugaros. Nors greičiausiai sulauksime paklausos padidėjimo vaizdo plokštės AI toliau klesti, ši paklausa nėra nukreipta į geriausios vaizdo plokštės įdiegta žaidimų įrenginiai.

Kodėl Nvidia GPU sukurti dirbtiniam intelektui

Pirmiausia išsiaiškinsime, kodėl „Nvidia“. vaizdo plokštės yra tokie puikūs dirbtiniam intelektui. „Nvidia“ kelerius pastaruosius metus lažinosi dėl dirbtinio intelekto, o tai atsipirko, nes po „ChatGPT“ pakilimo bendrovės akcijų kaina išaugo. Yra dvi priežastys, kodėl „Nvidia“ yra AI mokymo pagrindas: tenzoriniai branduoliai ir CUDA.

CUDA yra „Nvidia“ programų programavimo sąsaja (API), naudojama visame pasaulyje nuo brangiausių duomenų centro GPU iki pigiausi žaidimų GPU. CUDA pagreitis palaikomas mašininio mokymosi bibliotekose, pvz., TensorFlow, labai pagreitinančiose mokymus ir išvada. CUDA yra varomoji jėga AMD labai atsilieka nuo AI palyginti su Nvidia.

Tačiau nepainiokite CUDA su Nvidia CUDA branduoliais. CUDA yra platforma, kurioje veikia daugybė AI programų, o CUDA branduoliai yra tik Nvidia GPU branduoliai. Jie turi bendrą pavadinimą, o CUDA branduoliai yra geriau optimizuoti CUDA programoms paleisti. „Nvidia“ žaidimų GPU turi CUDA branduolius ir palaiko CUDA programas.

Tensor branduoliai iš esmės yra tam skirti AI branduoliai. Jie tvarko matricos dauginimą, kuris yra slaptas padažas, pagreitinantis dirbtinio intelekto mokymą. Idėja čia paprasta. Padauginkite kelis duomenų rinkinius vienu metu ir lavinkite AI modelius eksponentiškai greičiau generuodami galimus rezultatus. Dauguma procesorių užduotis atlieka linijiniu būdu, o „Tensor“ branduoliai gali greitai generuoti scenarijus per vieną laikrodžio ciklą.

Vėlgi, „Nvidia“ žaidimų GPU mėgsta RTX 4080 turi Tensor branduolius (o kartais net daugiau nei brangūs duomenų centro GPU). Tačiau, atsižvelgiant į visas specifikacijas, „Nvidia“ kortelės turi pagreitinti AI modelius, nė viena iš jų nėra tokia svarbi kaip atmintis. O Nvidia žaidimų GPU neturi daug atminties.

Viskas patenka į atmintį

„Atminties dydis yra svarbiausias dalykas“, – teigia Jeffrey Heaton, kelių knygų apie dirbtinį intelektą autorius ir Vašingtono universiteto Sent Luise profesorius. „Jei neturite pakankamai GPU RAM, jūsų modelio pritaikymas / išvada tiesiog sustoja.

Heaton, kas turi „YouTube“ kanalą skirta tam, kaip AI modeliai veikia tam tikruose GPU, pažymėjo, kad CUDA branduoliai taip pat yra svarbūs, tačiau atminties talpa yra dominuojantis veiksnys, kai kalbama apie GPU veikimą AI. The RTX 4090 pagal žaidimų standartus turi daug atminties – 24 GB GDDR6X, bet labai mažai, palyginti su duomenų centro klasės GPU. Pavyzdžiui, naujausias „Nvidia“ H100 GPU turi 80 GB HBM3 atminties, taip pat didžiulę 5 120 bitų atminties magistralę.

Galite išsiversti su mažiau, bet jums vis tiek reikia daug atminties. Heaton rekomenduoja pradedantiesiems turėti ne mažiau nei 12 GB, o įprastas mašininio mokymosi inžinierius turės vieną ar du 48 GB profesionalus. Nvidia GPU. Heaton teigimu, „dauguma darbo krūvių labiau sumažės vieno A100–8 A100 diapazone“. Nvidia A100 GPU turi 40 GB atmintis.

Šį mastelio keitimą taip pat galite pamatyti veikiant. Puget sistemos rodomas vienas A100 su 40 GB atminties, veikiantis maždaug dvigubai greičiau nei vienas RTX 3090 su 24 GB atminties. Ir tai nepaisant to, kad RTX 3090 turi beveik dvigubai daugiau CUDA branduolių ir beveik tiek pat Tensor branduolių.

Atmintis yra kliūtis, o ne neapdorota apdorojimo galia. Taip yra todėl, kad dirbtinio intelekto modelių mokymas remiasi dideliais duomenų rinkiniais ir kuo daugiau tų duomenų galėsite saugoti atmintyje, tuo greičiau (ir tiksliau) galėsite išmokyti modelį.

Skirtingi poreikiai, skirtingos mirtys

„Nvidia“ žaidimų GPU paprastai netinka dirbtiniam intelektui, nes jie turi mažai vaizdo atminties, palyginti su įmonės lygio aparatine įranga, tačiau čia taip pat yra atskira problema. „Nvidia“ darbo stočių GPU paprastai nesidalina GPU dydžiu su žaidimų kortelėmis.

Pavyzdžiui, A100, kurį paminėjo Heaton, naudoja GA100 GPU, kuris yra Nvidia Ampere serijos gabalas, kuris niekada nebuvo naudojamas žaidimams skirtose kortelėse (įskaitant aukščiausios klasės RTX 3090 Ti). Panašiai, naujausias „Nvidia H100“ naudoja visiškai kitokią architektūrą nei RTX 40 serija, o tai reiškia, kad jis taip pat naudoja kitokią formą.

Yra išimčių. Nvidia AD102 GPU, kuris yra viduje RTX 4090 ir RTX 4080, taip pat naudojamas nedideliame Ada Lovelace įmonės GPU asortimente (L40 ir RTX 6000). Tačiau daugeliu atvejų „Nvidia“ negali tiesiog pakeisti žaidimų GPU, skirto duomenų centro kortelei. Jie yra atskiri pasauliai.

Yra keletas esminių skirtumų tarp GPU trūkumo, kurį matėme dėl kriptovaliutų kasybos ir AI modelių populiarumo augimo. Anot Heaton, GPT-3 modeliui reikėjo daugiau nei 1000 A100 Nvidia GPU treniruotėms ir maždaug aštuoniems, kad jie veiktų. Šie GPU taip pat turi prieigą prie didelio pralaidumo NVLink sujungimo, o Nvidia RTX 40 serijos GPU neturi. Tai lygina ne daugiau kaip 24 GB atminties Nvidia žaidimų kortelėse su keliais šimtais GPU, pvz., A100 su NVLink.

Yra ir kitų problemų, pavyzdžiui, profesionaliems GPU, o ne žaidimų grafikos procesorių, skiriami atminties blokai, Tačiau dažnai reikia skubėti į vietinį Micro Center arba Best Buy, kad galėtumėte rasti GPU sandėlyje dingo. Heatonas gražiai apibendrino tai: „Apskaičiuota, kad dideliems kalbų modeliams, tokiems kaip „ChatGPT“, paleisti reikia mažiausiai aštuonių GPU. Tokiuose įvertinimuose numatomi aukščiausios klasės A100 GPU. Spėlioju, kad dėl to gali trūkti aukštesnės klasės GPU, bet tai gali neturėti įtakos žaidėjų klasės GPU RAM.”

Redaktorių rekomendacijos

• Geriausi autoriai reikalauja iš dirbtinio intelekto įmonių atlyginimo už naudojimąsi jų darbu
• „Google Bard“ dabar gali kalbėti, bet ar gali užgožti „ChatGPT“?
• ChatGPT svetainės srautas sumažėjo pirmą kartą
• 81% mano, kad „ChatGPT“ kelia pavojų saugumui, rodo apklausa
• „Apple“ „ChatGPT“ konkurentas gali automatiškai parašyti kodą už jus

Atnaujinkite savo gyvenimo būdąSkaitmeninės tendencijos padeda skaitytojams stebėti sparčiai besivystantį technologijų pasaulį – pateikiamos visos naujausios naujienos, smagios produktų apžvalgos, įžvalgūs vedamieji leidiniai ir unikalūs žvilgsniai.