Az Nvidia hatalmas kettős GPU-t épített a ChatGPT-hez hasonló modellek táplálására

Az Nvidia félévente GPU technológiai konferencia (GTC) általában a mesterséges intelligencia fejlesztésére összpontosít, de idén az Nvidia reagál a hatalmas növekedésre ChatGPT egy sor új GPU-val. Ezek közül a legfontosabb a H100 NVL, amely az Nvidia két H100 GPU-ját összekapcsolja a nagy nyelvi modellek (LLM), például a ChatGPT telepítéséhez.

A H100 nem egy új GPU. Az Nvidia bejelentette egy évvel ezelőtt a GTC-nél, amely a Hopper architektúráját öltötte magára, és ígéretet tett arra, hogy felgyorsítja az AI-következtetést különféle feladatokban. A hatalmas, 94 GB-os memóriával rendelkező új NVL-modellről azt mondják, hogy a legjobban akkor működik, ha nagy léptékű LLM-eket telepít, és akár 12-szer gyorsabb következtetést kínál az utolsó generációs A100-hoz képest.

Az Nvidia H100 NVL-je telepítve van egy szerverre.
Nvidia

Ezek a GPU-k olyan modellek középpontjában állnak, mint a ChatGPT. Az Nvidia és a Microsoft nemrégiben felfedte, hogy több ezer A100 GPU-kat használtak a ChatGPT betanításához, amely több mint öt éve készülő projekt.

Összefüggő

  • ChatGPT: a legfrissebb hírek, viták és tippek, amelyeket tudnia kell
  • Mi az a DAN prompt a ChatGPT-hez?
  • A Google Bard már beszélni tud, de ki tudja-e fojtani a ChatGPT-t?

A H100 NVL két H100 GPU kombinálásával működik az Nvidia nagy sávszélességű NVLink összekapcsolásán keresztül. Ez már lehetséges a jelenlegi H100 GPU-kkal – sőt, akár 256 H100-at is csatlakoztathat egymáshoz az NVLink segítségével –, de ez a dedikált egység kisebb telepítésekhez készült.

Ajánlott videók

Ez a termék mindennél jobban a vállalkozások számára készült, ezért ne számítson arra, hogy a H100 NVL megjelenik a helyi Micro Center polcán. Az Nvidia szerint azonban a vállalati ügyfelek az év második felében láthatják.

A H100 NVL mellett az Nvidia bejelentette az L4 GPU-t is, amely kifejezetten mesterséges intelligencia által generált videók táplálására készült. Az Nvidia szerint 120-szor erősebb az AI által generált videóknál, mint a CPU, és 99%-kal jobb energiahatékonyságot kínál. A generatív mesterséges intelligencia-videón kívül az Nvidia szerint a GPU sportvideó dekódolási és átkódolási képességei is vannak, és kiaknázható a kiterjesztett valósághoz.

Az Nvidia szerint a Google Cloud az elsők között integrálja az L4-et. A Google azt tervezi, hogy a mai napon az L4 példányokat kínálja ügyfeleinek a Vertex AI platformon keresztül. Az Nvidia tájékoztatása szerint a GPU később elérhető lesz a partnerektől, többek között a Lenovo, a Dell, az Asus, a HP, a Gigabyte és a HP-tól.

Szerkesztői ajánlások

  • A legjobb szerzők fizetést követelnek az AI-cégektől munkájuk felhasználásáért
  • GPT-4: hogyan kell használni az AI chatbotot, amely megszégyeníti a ChatGPT-t
  • A Wix a ChatGPT segítségével segít egy teljes webhely gyors felépítésében
  • A ChatGPT-t gyártó OpenAI-t az FTC vizsgálja a fogyasztóvédelmi törvényekkel kapcsolatban
  • A ChatGPT webhely forgalma először csökkent

Frissítse életmódjátA Digital Trends segítségével az olvasók nyomon követhetik a technológia rohanó világát a legfrissebb hírekkel, szórakoztató termékismertetőkkel, éleslátó szerkesztőségekkel és egyedülálló betekintésekkel.