Nvidia byggede en massiv dual GPU til at drive modeller som ChatGPT

Nvidias halvårlige GPU Technology Conference (GTC) fokuserer normalt på fremskridt inden for kunstig intelligens, men i år reagerer Nvidia på den massive fremgang af ChatGPT med en række nye GPU'er. Den vigtigste blandt dem er H100 NVL, som syr to af Nvidias H100 GPU'er sammen for at implementere Large Language Models (LLM) som ChatGPT.

H100 er ikke en ny GPU. Nvidia annoncerede det for et år siden hos GTC, med sin Hopper-arkitektur og lovede at fremskynde AI-inferens i en række forskellige opgaver. Den nye NVL-model med dens massive 94 GB hukommelse siges at fungere bedst, når man implementerer LLM'er i skala, og tilbyder op til 12 gange hurtigere inferens sammenlignet med sidste generations A100.

Nvidias H100 NVL bliver installeret på en server.
Nvidia

Disse GPU'er er kernen i modeller som ChatGPT. Nvidia og Microsoft afslørede for nylig, at tusindvis af A100 GPU'er blev brugt til at træne ChatGPT, som er et projekt, der har været mere end fem år undervejs.

Relaterede

  • ChatGPT: de seneste nyheder, kontroverser og tips, du har brug for at vide
  • Hvad er en DAN-prompt til ChatGPT?
  • Google Bard kan nu tale, men kan den overdøve ChatGPT?

H100 NVL fungerer ved at kombinere to H100 GPU'er over Nvidia NVLink-interconnect med høj båndbredde. Dette er allerede muligt med nuværende H100 GPU'er - faktisk kan du forbinde op til 256 H100'er sammen gennem NVLink - men denne dedikerede enhed er bygget til mindre installationer.

Anbefalede videoer

Dette er et produkt bygget til virksomheder mere end noget andet, så forvent ikke at se H100 NVL dukke op på hylden på dit lokale Micro Center. Nvidia siger dog, at virksomhedskunder kan forvente at se det omkring anden halvdel af året.

Udover H100 NVL annoncerede Nvidia også L4 GPU, som er specielt bygget til at drive AI-genererede videoer. Nvidia siger, at den er 120 gange mere kraftfuld til AI-genererede videoer end en CPU og tilbyder 99 % bedre energieffektivitet. Ud over generativ AI-video siger Nvidia, at GPU'en sporter videoafkodnings- og omkodningsmuligheder og kan udnyttes til augmented reality.

Nvidia siger, at Google Cloud er blandt de første til at integrere L4. Google planlægger at tilbyde L4-forekomster til kunder gennem sin Vertex AI-platform senere i dag. Nvidia sagde, at GPU'en vil være tilgængelig fra partnere senere, inklusive Lenovo, Dell, Asus, HP, Gigabyte og HP, blandt andre.

Redaktørernes anbefalinger

  • Topforfattere kræver betaling fra AI-virksomheder for at bruge deres arbejde
  • GPT-4: hvordan man bruger AI chatbot, der gør ChatGPT til skamme
  • Wix bruger ChatGPT til at hjælpe dig med hurtigt at bygge et helt websted
  • ChatGPT-producenten OpenAI står over for FTC-undersøgelse over forbrugerbeskyttelseslove
  • ChatGPT-webstedets trafik er faldet for første gang

Opgrader din livsstilDigital Trends hjælper læserne med at holde styr på den hurtige teknologiske verden med alle de seneste nyheder, sjove produktanmeldelser, indsigtsfulde redaktionelle artikler og enestående smugkig.