Ako funguje Nvidia DLSS 3 a prečo FSR zatiaľ nestíha

príslušný obrázok 2
Tento príbeh je súčasťou série ReSpec od Jacoba Roacha, ktorá pokrýva svet počítačových hier a hardvéru.

od spoločnosti Nvidia Grafické karty radu RTX 40 prídu o niekoľko týždňov, ale medzi všetkými vylepšeniami hardvéru je to, čo by mohlo byť zlatým vajcom Nvidie: DLSS 3. Je to oveľa viac než len aktualizácia obľúbenej funkcie DLSS (Deep Learning Super Sampling) spoločnosti Nvidia a môže to skončiť definovať budúcu generáciu Nvidie oveľa viac ako samotné grafické karty.

Obsah

  • Ako DLSS 3 funguje (a ako nefunguje)
  • Kde AI robí rozdiel
  • Prečo FSR 2.0 nemôže dobehnúť (zatiaľ)

Odporúčané videá

AMD tvrdo pracovalo na jeho získaní FidelityFX Super Resolution (FSR) na rovnakej úrovni ako DLSS a za posledných niekoľko mesiacov bola úspešná. DLSS 3 vyzerá, že túto dynamiku zmení – a tentoraz sa FSR možno v dohľadnej dobe nepodarí dobehnúť.

Ako DLSS 3 funguje (a ako nefunguje)

Graf znázorňujúci, ako funguje technológia Nvidia DLSS 3.
Nvidia

Bolo by vám odpustené, keby ste si mysleli, že DLSS 3 je úplne nová verzia DLSS, ale nie je. Alebo aspoň nie je úplne nový. Základom DLSS 3 je rovnaká technológia s vysokým rozlíšením, ktorá je dnes k dispozícii v tituloch DLSS a Nvidia ju bude pravdepodobne naďalej vylepšovať novými verziami. Nvidia hovorí, že časť DLSS 3 v super rozlíšení teraz uvidíte ako samostatnú možnosť v nastaveniach grafiky.

Súvisiace

  • Nvidia nepredáva grafické karty – predáva DLSS
  • Pohľad prehliadača Chrome na Nvidia DLSS je pripravený na spustenie, ale zatiaľ ho nemôžete používať
  • Tu je dôvod, prečo strely spoločnosti Nvidia proti ovládačom AMD jednoducho neprispievajú

Novou časťou je generovanie rámu. DLSS 3 vygeneruje úplne jedinečný snímok každý druhý snímok, v podstate generuje sedem z každých ôsmich pixelov, ktoré vidíte. Ilustráciu toho môžete vidieť vo vývojovom diagrame nižšie. V prípade 4K váš GPU vykresľuje iba pixely pre 1080p a používa tieto informácie nielen pre aktuálnu snímku, ale aj pre nasledujúcu snímku.

Graf znázorňujúci, ako DLSS 3 rekonštruuje snímky.
Nvidia

Generovanie snímok bude podľa Nvidie samostatným prepínačom od super rozlíšenia. Je to preto, že generovanie snímok zatiaľ funguje iba na GPU série RTX 40, zatiaľ čo super rozlíšenie bude naďalej fungovať na všetkých grafických kartách RTX, dokonca aj v hrách, ktoré boli aktualizované na DLSS 3. Malo by to byť samozrejmé, ale ak je polovica vašich snímok úplne vygenerovaná, zvýši sa tým váš výkon veľa.

Generovanie rámcov však nie je len tajná omáčka AI. In DLSS 2 a nástroje ako FSR, pohybové vektory sú kľúčovým vstupom pre zvýšenie veľkosti. Popisujú, kde sa objekty pohybujú z jedného záberu do druhého, ale pohybové vektory sa vzťahujú len na geometriu v scéne. Prvky, ktoré nemajú 3D geometriu, ako sú tiene, odrazy a častice, boli tradične maskované z procesu upscalingu, aby sa predišlo vizuálnym artefaktom.

Graf pohybujúci sa cez Nvidia DLSS 3.
Nvidia

Maskovanie nie je možné, keď AI generuje úplne jedinečný rámec, čo je miesto, kde vstupuje do hry optický akcelerátor toku v GPU série RTX 40. Je to ako pohybový vektor, s výnimkou toho, že grafická karta sleduje pohyb jednotlivých pixelov z jedného záberu do druhého. Toto pole optického toku spolu s pohybovými vektormi, hĺbkou a farbou prispievajú k rámcu generovanému AI.

Znie to ako všetky výhody, ale so snímkami generovanými AI je veľký problém: zvyšujú latenciu. Snímka vygenerovaná AI nikdy neprejde cez váš počítač – je to „falošný“ rámec, takže ho neuvidíte na tradičných odčítaniach snímok za sekundu v hrách alebo nástrojoch, ako je FRAPS. Takže latencia neklesá napriek tomu, že má toľko snímok navyše, a kvôli výpočtovej réžii optického toku sa latencia skutočne zvyšuje. Z tohto dôvodu vyžaduje DLSS 3 Nvidia Reflex na kompenzáciu vyššej latencie.

Za normálnych okolností váš procesor ukladá front vykresľovania pre vašu grafickú kartu, aby ste sa uistili, že váš GPU nikdy nečaká na prácu (to by spôsobilo zasekávanie a pokles snímkovej frekvencie). Reflex odstráni front vykresľovania a synchronizuje váš GPU a CPU, takže akonáhle váš CPU môže odoslať pokyny, GPU ich začne spracovávať. Pri aplikácii na vrch DLSS 3 Nvidia hovorí, že Reflex môže niekedy dokonca viesť k zníženiu latencie.

Kde AI robí rozdiel

Microsoft Flight Simulator | NVIDIA DLSS 3 – exkluzívny prvý pohľad

AMD FSR 2.0 nepoužíva AI a ako som už pred časom písal, dokazuje, že môžete získať rovnakú kvalitu ako DLSS s algoritmami namiesto strojového učenia. DLSS 3 to mení svojimi jedinečnými možnosťami generovania snímok, ako aj zavedením optického toku.

Optický tok nie je nový nápad – existuje už desaťročia a má uplatnenie vo všetkom, od aplikácií na úpravu videa až po samoriadiace autá. však výpočet optického toku pomocou strojového učenia je relatívne nový kvôli nárastu súborov údajov na trénovanie modelov AI. Dôvod, prečo by ste chceli používať AI, je jednoduchý: produkuje menej vizuálnych chýb pri dostatočnom tréningu a nemá takú réžiu počas behu.

DLSS sa spúšťa za behu. Je možné vyvinúť algoritmus bez strojového učenia na odhadnutie toho, ako sa každý pixel pohybuje z jedného rámca do druhého. ďalšie, ale je to výpočtovo drahé, čo je v rozpore s celým bodom supervzorkovania v prvom miesto. S modelom AI, ktorý nevyžaduje veľa konských síl a dostatok tréningových údajov – a buďte si istí, Nvidia má veľa tréningových dát, s ktorými môžete pracovať – môžete dosiahnuť optický tok, ktorý je vysoko kvalitný a môže sa vykonávať pri beh programu.

To vedie k zlepšeniu snímkovej frekvencie aj v hrách, ktoré sú obmedzené procesorom. Supersampling sa vzťahuje len na vaše rozlíšenie, ktoré je takmer výlučne závislé od vášho GPU. S novým rámcom, ktorý obchádza spracovanie CPU, môže DLSS 3 zdvojnásobiť snímkovú frekvenciu v hrách, aj keď máte Úzke hrdlo CPU. To je pôsobivé a momentálne je to možné len s AI.

Prečo FSR 2.0 nemôže dobehnúť (zatiaľ)

Porovnanie kvality obrazu FSR a DLSS v God of War.

AMD skutočne dokázalo nemožné s FSR 2.0. Vyzerá fantasticky a skutočnosť, že je agnostika na značku, je ešte lepšia. Bol som na to pripravený priekopa DLSS pre FSR 2.0 odkedy som to prvýkrát videl Deathloop. Ale aj keď sa mi páči FSR 2.0 a myslím si, že je to skvelá súprava od AMD, tak skoro nedobehne DLSS 3.

Pre začiatočníkov je vývoj algoritmu, ktorý dokáže sledovať každý pixel medzi snímkami bez artefaktov, dostatočne náročný, najmä v 3D prostredí s hustými jemnými detailmi (Cyberpunk 2077 je ukážkovým príkladom). Je to možné, ale náročné. Väčším problémom však je, ako nafúknutý by tento algoritmus musel byť. Sledovanie každého pixelu v 3D priestore, výpočet optického toku, generovanie snímky a čistenie všetkých nehôd, ktoré sa počas toho stanú – je toho veľa, na čo sa treba pýtať.

Aby to fungovalo počas spustenia hry a stále poskytovalo zlepšenie snímkovej frekvencie na úrovni FSR 2.0 alebo DLSS, to je ešte viac, čo si treba pýtať. Nvidia, dokonca aj s dedikovanými procesormi a vyškoleným modelom, musí stále používať Reflex na kompenzáciu vyššej latencie spôsobenej optickým tokom. Bez tohto hardvéru alebo softvéru by FSR pravdepodobne obchodovalo príliš veľa latencie na generovanie snímok.

Nepochybujem o tom, že AMD a ďalší vývojári sa tam nakoniec dostanú – alebo nájdu iný spôsob, ako problém obísť – ale to môže trvať niekoľko rokov. Ťažko teraz povedať.

Už čoskoro – upútavka prvého pohľadu na GeForce RTX 4090 DLSS 3

Je ľahké povedať, že DLSS 3 vyzerá veľmi vzrušujúco. Samozrejme, budeme musieť počkať, kým to bude tu, aby sme overili výkonové tvrdenia Nvidie a uvidíme, ako sa udrží kvalita obrazu. Zatiaľ máme len krátke video od Digital Foundry, ktoré ukazuje zábery DLSS 3 (vyššie), ktoré by som veľmi odporučil sledovať, kým neuvidíme ďalšie testovanie treťou stranou. Z nášho súčasného pohľadu však DLSS 3 určite vyzerá sľubne.

Tento článok je súčasťou ReSpec – priebežný dvojtýždenný stĺpec, ktorý obsahuje diskusie, rady a podrobné správy o technológiách, ktoré stoja za hraním počítačových hier.

Odporúčania redaktorov

  • Prečo Nvidia RTX 4060 Ti jednoducho nestačí na rok 2023
  • Tu je návod, ako bezplatne získať Redfall Bite Back Edition od spoločnosti Nvidia
  • Na mesiac som prešiel na AMD GPU – tu je dôvod, prečo mi Nvidia nechýba
  • Ak sú tvrdenia AMD RX 7900 XTX pravdivé, Nvidia by mohla mať veľké problémy
  • AMD roztrhne topiaci sa adaptér RTX 4090, keď Nvidia čelí skupinovej žalobe