Не, ЦхатГПТ неће изазвати још један недостатак ГПУ-а

ЦхатГПТ експлодира, а окосница његовог АИ модела се ослања на Нвидиа графичке картице. рекао је један аналитичар око 10.000 Нвидиа ГПУ-а је коришћено за обуку ЦхатГПТ-а, а како услуга наставља да се шири, расте и потреба за ГПУ-овима. Свако ко је доживео успон криптовалута 2021. може да осети мирис Недостатак ГПУ-а на хоризонту.

Видео сам неколико новинара како стварају ту тачну везу, али је погрешна. Дани несташице ГПУ-а типа крипто-покренутих су иза нас. Иако ћемо вероватно видети пораст потражње за графичке картице како АИ наставља да расте, та потражња није усмерена ка најбоље графичке картице инсталиран у опрема за игре.

Зашто су Нвидиа ГПУ-ови направљени за АИ

Прво ћемо се позабавити зашто Нвидиа графичке картице су сјајни за АИ. Нвидиа се кладила на вештачку интелигенцију последњих неколико година, и то се исплатило растом цене акција компаније након пораста ЦхатГПТ-а. Два су разлога зашто видите Нвидију у срцу АИ тренинга: тензорска језгра и ЦУДА.

ЦУДА је Нвидијин интерфејс за програмирање апликација (АПИ) који се користи у свему, од најскупљих ГПУ-а у центру података до његових најјефтинији графички процесори за игре. ЦУДА убрзање је подржано у библиотекама за машинско учење као што је ТенсорФлов, знатно убрзавајући тренинг и закључивање. ЦУДА је покретачка снага иза АМД тако далеко заостаје у АИ у поређењу са Нвидијом.

Међутим, немојте бркати ЦУДА са Нвидијиним ЦУДА језграма. ЦУДА је платформа на којој ради мноштво АИ апликација, док су ЦУДА језгра само језгра унутар Нвидиа ГПУ-а. Они деле име, а ЦУДА језгра су боље оптимизована за покретање ЦУДА апликација. Нвидијини графички процесори за игре имају ЦУДА језгра и подржавају ЦУДА апликације.

Тензорска језгра су у основи наменска АИ језгра. Они се баве множењем матрице, што је тајни сос који убрзава обуку вештачке интелигенције. Идеја је овде једноставна. Умножите више скупова података одједном и тренирајте АИ моделе експоненцијално брже генерисањем могућих исхода. Већина процесора обавља задатке на линеарни начин, док Тенсор језгра могу брзо да генеришу сценарије у једном циклусу такта.

Опет, Нвидијини графички процесори за игре попут РТКС 4080 имају Тенсор језгра (а понекад чак и више од скупих ГПУ-ова за дата центар). Међутим, за све спецификације Нвидиа картице морају да убрзају АИ моделе, ниједна од њих није толико важна као меморија. А Нвидијини графички процесори за игре немају много меморије.

Све се своди на сећање

„Величина меморије је најважнија“, каже Џефри Хитон, аутор неколико књига о вештачкој интелигенцији и професор на Универзитету Вашингтон у Сент Луису. „Ако немате довољно ГПУ-а РАМ, ваш модел уклапања/закључивања једноставно престаје.”

Хеатон, који има ИоуТубе канал посвећено томе колико добро АИ модели раде на одређеним ГПУ-има, приметио је да су ЦУДА језгра такође важна, али капацитет меморије је доминантан фактор када је у питању како ГПУ функционише за АИ. Тхе РТКС 4090 има много меморије по стандардима за игре — 24 ГБ ГДДР6Кс — али врло мало у поређењу са ГПУ-ом класе дата центра. На пример, Нвидијин најновији Х100 ГПУ има 80 ГБ ХБМ3 меморије, као и масивну меморијску магистралу од 5.120 бита.

Можете проћи са мање, али вам је и даље потребно много меморије. Хеатон препоручује почетницима да имају не мање од 12 ГБ, док ће типични инжењер машинског учења имати једног или два професионална од 48 ГБ Нвидиа ГПУ-ови. Према Хеатону, „већина оптерећења ће пасти више у распону од једног А100 до осам А100“. Нвидијин А100 ГПУ има 40 ГБ меморија.

Ово скалирање можете видети и на делу. Пугет Системс приказује један А100 са 40 ГБ меморије који ради око два пута брже од једног РТКС 3090 са својих 24 ГБ меморије. И то упркос чињеници да РТКС 3090 има скоро дупло више ЦУДА језгара и скоро исто толико Тенсор језгара.

Меморија је уско грло, а не сирова процесорска снага. То је зато што се модели вештачке интелигенције за обуку ослањају на велике скупове података, и што више тих података можете да ускладиштите у меморији, брже (и прецизније) можете да обучите модел.

Различите потребе, различити умри

Нвидијини графички процесори за игре генерално нису погодни за АИ због тога колико мало видео меморије имају у поређењу са хардвером за предузећа, али и овде постоји посебан проблем. ГПУ-ови Нвидијиних радних станица обично не деле ГПУ матрицу са својим играћим картицама.

На пример, А100 на који је Хеатон поменуо користи ГА100 ГПУ, који је део Нвидијиног Ампере опсега који никада није коришћен на картицама усмереним на игре (укључујући врхунске РТКС 3090 Ти). Слично томе, најновији Нвидијин Х100 користи потпуно другачију архитектуру од РТКС 40 серије, што значи да користи и другачију матрице.

Постоје изузеци. Нвидијин АД102 ГПУ, који се налази унутар РТКС 4090 и РТКС 4080, такође се користи у малом опсегу Ада Ловелаце ГПУ-ова за предузећа (Л40 и РТКС 6000). У већини случајева, међутим, Нвидиа не може само да пренамени гејмерски ГПУ за картицу дата центра. Они су одвојени светови.

Постоје неке фундаменталне разлике између недостатка ГПУ-а који смо видели због крипто рударења и пораста популарности АИ модела. Према Хеатону, ГПТ-3 модел је захтевао преко 1.000 А100 Нвидиа ГПУ-а за возове и око осам за рад. Ови ГПУ-ови такође имају приступ НВЛинк интерконекту високог пропусног опсега, док Нвидијини ГПУ-ови серије РТКС 40 немају. Упоређује максимално 24 ГБ меморије на Нвидијиним играћим картицама са више стотина на ГПУ-овима као што је А100 са НВЛинк-ом.

Постоје и неке друге забринутости, као што су меморијске картице које се додељују за професионалне ГПУ-ове у односу на оне за игре, али дани журбе у ваш локални Мицро Центер или Бест Буи за шансу да пронађете ГПУ на залихама су отишла. Хеатон је то лепо сумирао: „Процењује се да модели великих језика, као што је ЦхатГПТ, захтевају најмање осам ГПУ-а за рад. Такве процене претпостављају врхунске А100 ГПУ-ове. Моја спекулација је да би то могло да изазове недостатак врхунских ГПУ-ова, али можда неће утицати на ГПУ-ове класе за играче, са мање РАМ.”

Препоруке уредника

• Врхунски аутори захтевају плаћање од АИ фирми за коришћење њиховог рада
• Гоогле Бард сада може да говори, али може ли да пригуши ЦхатГПТ?
• Саобраћај на ЦхатГПТ веб локацији је по први пут опао
• 81% сматра да је ЦхатГПТ безбедносни ризик, открива анкета
• Апплеов ЦхатГПТ ривал може аутоматски написати код за вас

Надоградите свој животни стилДигитални трендови помажу читаоцима да прате убрзани свет технологије са свим најновијим вестима, забавним рецензијама производа, проницљивим уводницима и јединственим кратким прегледима.