Как работи Nvidia DLSS 3 и защо FSR не може да навакса засега

Тази история е част от поредицата ReSpec на Джейкъб Роуч, обхващаща света на компютърните игри и хардуера.

на Nvidia RTX 40-серия графични карти пристигат след няколко кратки седмици, но сред всички хардуерни подобрения се крие това, което може да бъде златното яйце на Nvidia: DLSS 3. Това е много повече от просто актуализация на популярната DLSS (Deep Learning Super Sampling) функция на Nvidia и може да се окаже определяне на следващото поколение на Nvidia много повече от самите графични карти.

AMD работи усилено, за да го получи FidelityFX Super Resolution (FSR) наравно с DLSS и през последните няколко месеца беше успешен. DLSS 3 изглежда, че ще промени тази динамика - и този път FSR може да не успее да навакса в скоро време.

Как работи DLSS 3 (и как не)

Ще ви бъде простено да мислите, че DLSS 3 е напълно нова версия на DLSS, но не е. Или поне не е съвсем ново. Гръбнакът на DLSS 3 е същата технология за супер разделителна способност, която е налична в DLSS заглавията днес и Nvidia вероятно ще продължи да я подобрява с нови версии. Nvidia казва, че сега ще видите частта със супер разделителна способност на DLSS 3 като отделна опция в графичните настройки.

Новата част е генериране на рамки. DLSS 3 ще генерира напълно уникален кадър всеки друг кадър, като по същество генерира седем от всеки осем пиксела, които виждате. Можете да видите илюстрация на това в диаграмата по-долу. В случай на 4K вашият GPU изобразява пикселите само за 1080p и използва тази информация не само за текущия кадър, но и за следващия кадър.

Генерирането на кадри, според Nvidia, ще бъде отделен превключвател от супер резолюцията. Това е така, защото генерирането на кадри работи само на графични процесори от серия RTX 40 засега, докато супер резолюцията ще продължи да работи на всички графични карти RTX, дори в игри, които са актуализирани до DLSS 3. Трябва да се разбира, но ако половината от вашите кадри са напълно генерирани, това ще повиши ефективността ви с много.

Генерирането на рамки обаче не е просто някакъв таен сос на AI. в DLSS 2 и инструменти като FSR, векторите на движение са ключов вход за мащабирането. Те описват къде обектите се движат от един кадър към следващия, но векторите на движение се отнасят само за геометрията в сцена. Елементи, които нямат 3D геометрия, като сенки, отражения и частици, традиционно са маскирани от процеса на мащабиране, за да се избегнат визуални артефакти.

Маскирането не е опция, когато AI генерира изцяло уникален кадър, което е мястото, където ускорителят на оптичния поток в RTX 40-серия графични процесори влиза в игра. Това е като вектор на движение, с изключение на това, че графичната карта проследява движението на отделните пиксели от един кадър към следващия. Това оптично поле на потока, заедно с векторите на движение, дълбочината и цвета, допринасят за генерирания от AI кадър.

Звучи като всички предимства, но има голям проблем с кадрите, генерирани от AI: те увеличават латентността. Рамката, генерирана от изкуствения интелект, никога не преминава през вашия компютър — това е „фалшива“ рамка, така че няма да я видите при традиционните показания на fps в игри или инструменти като FRAPS. Така че латентността не намалява въпреки наличието на толкова много допълнителни кадри и поради изчислителните разходи на оптичния поток, латентността всъщност се увеличава. Поради това DLSS 3 изисква Nvidia Reflex за компенсиране на по-високата латентност.

Обикновено вашият процесор съхранява опашка за рендиране за вашата графична карта, за да се увери, че вашият графичен процесор никога не чака да свърши работа (това би причинило заеквания и спадове на честотата на кадрите). Reflex премахва опашката за рендиране и синхронизира GPU и CPU, така че веднага щом CPU може да изпрати инструкции, GPU започва да ги обработва. Когато се прилага върху DLSS 3, Nvidia казва, че Reflex понякога дори може да доведе до намаляване на латентността.

Където AI прави разликата

FSR 2.0 на AMD не използва AI и както писах преди време, това доказва, че можете получите същото качество като DLSS с алгоритми вместо машинно обучение. DLSS 3 променя това с уникалните си възможности за генериране на кадри, както и въвеждането на оптичен поток.

Оптичният поток не е нова идея – той съществува от десетилетия и има приложения във всичко – от приложения за редактиране на видео до самоуправляващи се автомобили. Въпреки това, изчисляване на оптичен поток с машинно обучение е сравнително нов поради увеличаването на наборите от данни за обучение на AI модели. Причината, поради която бихте искали да използвате AI, е проста: той произвежда по-малко визуални грешки при достатъчно обучение и няма толкова големи разходи по време на изпълнение.

DLSS се изпълнява по време на изпълнение. Възможно е да се разработи алгоритъм, без машинно обучение, за да се оцени как всеки пиксел се движи от един кадър към следващото, но е скъпо от изчислителна гледна точка, което противоречи на целия смисъл на суперизвадката в първия място. С AI модел, който не изисква много конски сили и достатъчно данни за обучение - и бъдете сигурни, Nvidia има много данни за обучение, с които да работите — можете да постигнете оптичен поток, който е с високо качество и може да се изпълнява при време на изпълнение.

Това води до подобряване на честотата на кадрите дори в игри с ограничен процесор. Суперсемплирането се прилага само за вашата разделителна способност, която почти изцяло зависи от вашия GPU. С нов кадър, който заобикаля обработката на процесора, DLSS 3 може да удвои скоростта на кадрите в игрите, дори ако имате пълна CPU bottleneck. Това е впечатляващо и в момента е възможно само с AI.

Защо FSR 2.0 не може да навакса (засега)

AMD наистина направи невъзможното с FSR 2.0. Изглежда фантастично, а фактът, че е агностик на марката, е още по-добър. Бях готов да изхвърлете DLSS за FSR 2.0 откакто го видях за първи път Deathloop. Но колкото и да харесвам FSR 2.0 и да мисля, че това е страхотна част от комплекта на AMD, скоро няма да настигне DLSS 3.

Като за начало разработването на алгоритъм, който може да проследява всеки пиксел между рамки без артефакти, е достатъчно трудно, особено в 3D среда с плътни фини детайли (Киберпънк 2077 е отличен пример). Възможно е, но трудно. По-големият проблем обаче е колко раздут трябва да бъде този алгоритъм. Проследяване на всеки пиксел през 3D пространство, извършване на изчисление на оптичния поток, генериране на рамка и почистване на всички злополуки, които се случват по пътя - изисква се много.

Да го накарате да работи, докато играта се изпълнява и все пак да осигурите подобрение на честотата на кадрите на нивото на FSR 2.0 или DLSS, това е още повече. Nvidia, дори със специални процесори и обучен модел, все още трябва да използва Reflex, за да компенсира по-високата латентност, наложена от оптичния поток. Без този хардуер или софтуер FSR вероятно ще търгува с твърде много латентност, за да генерира кадри.

Не се съмнявам, че AMD и други разработчици в крайна сметка ще стигнат дотам – или ще намерят друг начин за заобикаляне на проблема – но това може да стане след няколко години. Трудно е да се каже точно сега.

Лесно е да се каже, че DLSS 3 изглежда много вълнуващо. Разбира се, ще трябва да изчакаме, докато стане тук, за да потвърдим твърденията за производителност на Nvidia и да видим как се задържа качеството на изображението. Засега имаме само кратко видео от Digital Foundry, показващо DLSS 3 кадри (по-горе), което горещо препоръчвам да гледате, докато не видим допълнителни тестове от трети страни. От сегашната ни гледна точка обаче DLSS 3 определено изглежда обещаващо.

Тази статия е част от ReSpec – текуща двуседмична колона, която включва дискусии, съвети и задълбочени доклади за технологиите зад компютърните игри.

Препоръки на редакторите

• Защо Nvidia RTX 4060 Ti просто не е достатъчна за 2023 г
• Ето как да получите Redfall Bite Back Edition безплатно от Nvidia
• Преминах на AMD GPU за един месец — ето защо Nvidia не ми липсва
• Ако твърденията на AMD за RX 7900 XTX са верни, Nvidia може да има големи проблеми
• AMD разкъсва топящия се адаптер RTX 4090, докато Nvidia е изправена пред колективен иск