Nvidias halvårsvisa GPU Technology Conference (GTC) fokuserar vanligtvis på framsteg inom AI, men i år svarar Nvidia på den massiva ökningen av ChatGPT med en rad nya GPU: er. Den främsta bland dem är H100 NVL, som syr ihop två av Nvidias H100 GPU: er för att distribuera stora språkmodeller (LLM) som ChatGPT.
H100 är inte en ny GPU. Nvidia meddelade det för ett år sedan på GTC, med sin Hopper-arkitektur och lovade att påskynda AI-inferensen i en mängd olika uppgifter. Den nya NVL-modellen med sina massiva 94 GB minne sägs fungera bäst när man distribuerar LLM i stor skala, och erbjuder upp till 12 gånger snabbare slutledning jämfört med senaste generationens A100.
Dessa GPU: er är kärnan i modeller som ChatGPT. Nvidia och Microsoft avslöjade nyligen att tusentals A100 GPU: er användes för att träna ChatGPT, vilket är ett projekt som har pågått i mer än fem år.
Relaterad
- ChatGPT: de senaste nyheterna, kontroverserna och tipsen du behöver veta
- Vad är en DAN-prompt för ChatGPT?
- Google Bard kan nu tala, men kan det överrösta ChatGPT?
H100 NVL fungerar genom att kombinera två H100 GPU: er över Nvidia NVLink-interconnect med hög bandbredd. Detta är redan möjligt med nuvarande H100 GPU: er — i själva verket kan du ansluta upp till 256 H100:er tillsammans via NVLink — men den här dedikerade enheten är byggd för mindre installationer.
Rekommenderade videor
Det här är en produkt byggd för företag mer än något annat, så förvänta dig inte att se H100 NVL dyka upp på hyllan på ditt lokala Micro Center. Nvidia säger dock att företagskunder kan förvänta sig att se det under andra halvan av året.
Förutom H100 NVL tillkännagav Nvidia även L4 GPU, som är speciellt byggd för att driva AI-genererade videor. Nvidia säger att den är 120 gånger mer kraftfull för AI-genererade videor än en CPU och erbjuder 99 % bättre energieffektivitet. Förutom generativ AI-video, säger Nvidia att GPU: n har funktioner för videoavkodning och omkodning och kan utnyttjas för förstärkt verklighet.
Nvidia säger att Google Cloud är bland de första att integrera L4. Google planerar att erbjuda L4-instanser till kunder via sin Vertex AI-plattform senare idag. Nvidia sa att grafikprocessorn kommer att finnas tillgänglig från partners senare, inklusive Lenovo, Dell, Asus, HP, Gigabyte och HP, bland andra.
Redaktörens rekommendationer
- Toppförfattare kräver betalning från AI-företag för att de använder deras arbete
- GPT-4: hur man använder AI-chatboten som gör ChatGPT på skam
- Wix använder ChatGPT för att hjälpa dig att snabbt bygga en hel webbplats
- ChatGPT-tillverkaren OpenAI står inför FTC-utredning över konsumentskyddslagar
- ChatGPTs webbplatstrafik har minskat för första gången
Uppgradera din livsstilDigitala trender hjälper läsare att hålla koll på den snabba teknikvärlden med alla de senaste nyheterna, roliga produktrecensioner, insiktsfulla redaktioner och unika smygtittar.
