Kuidas Nvidia DLSS 3 töötab ja miks FSR ei jõua praegu järele

See lugu on osa Jacob Roachi ReSpec sarjast, mis hõlmab arvutimängude ja riistvara maailma.

Nvidia oma RTX 40-seeria graafikakaardid saabuvad mõne lühikese nädala pärast, kuid kõigi riistvaratäiustuste hulgas on see, mis võiks olla Nvidia kuldmuna: DLSS 3. See on palju enamat kui lihtsalt Nvidia populaarse DLSS-i (Deep Learning Super Sampling) funktsiooni värskendus ja see võib lõppeda Nvidia järgmise põlvkonna määratlemine palju rohkem kui graafikakaardid ise.

AMD on selle hankimiseks kõvasti tööd teinud FidelityFX Super Resolution (FSR) DLSS-iga võrdne ja viimased mitu kuud on see olnud edukas. Näib, et DLSS 3 muudab seda dünaamikat – ja seekord ei pruugi FSR niipea järele jõuda.

Kuidas DLSS 3 töötab (ja kuidas see ei tööta)

Teile antakse andeks, kui arvate, et DLSS 3 on täiesti uus versioon DLSS, aga ei ole. Või vähemalt pole see täiesti uus. DLSS 3 selgroog on sama ülieraldusvõimega tehnoloogia, mis on täna saadaval DLSS-i pealkirjades, ja arvatavasti jätkab Nvidia selle täiustamist uute versioonidega. Nvidia ütleb, et näete nüüd DLSS 3 ülieraldusvõimega osa graafikaseadetes eraldi valikuna.

Uus osa on raami genereerimine. DLSS 3 loob iga teise kaadri täiesti ainulaadse kaadri, genereerides sisuliselt seitse igast kaheksast pikslist, mida näete. Selle illustratsiooni näete allolevas vooskeemis. 4K puhul renderdab teie GPU pikslid ainult 1080p jaoks ja kasutab seda teavet mitte ainult praeguse, vaid ka järgmise kaadri jaoks.

Nvidia sõnul on raami genereerimine supereraldusvõimest eraldi lüliti. Selle põhjuseks on asjaolu, et kaadri genereerimine töötab praegu ainult RTX 40-seeria GPU-del, samas kui ülieraldusvõime töötab jätkuvalt kõigil RTX-graafikakaartidel, isegi mängudes, mis on värskendatud versioonile DLSS 3. See peaks olema ütlematagi selge, kuid kui pooled teie kaadritest on täielikult loodud, suurendab see teie jõudlust palju.

Kaadri genereerimine ei ole aga lihtsalt AI salakaste. sisse DLSS 2 ja sellised tööriistad nagu FSR, on liikumisvektorid ülesskaleerimise võtmesisend. Need kirjeldavad, kus objektid liiguvad ühest kaadrist teise, kuid liikumisvektorid kehtivad ainult stseeni geomeetriale. Elemendid, millel pole 3D-geomeetriat, nagu varjud, peegeldused ja osakesed, on visuaalsete artefaktide vältimiseks tavapäraselt maskeeritud ülesskaleerimisest.

Maskeerimine ei ole valik, kui tehisintellekt loob täiesti unikaalse kaadri, mis on koht, kus RTX 40-seeria GPU-de optiline voo kiirendi tuleb mängu. See on nagu liikumisvektor, välja arvatud see, et graafikakaart jälgib üksikute pikslite liikumist ühest kaadrist teise. See optiline vooluväli koos liikumisvektorite, sügavuse ja värvidega aitavad kaasa AI-ga loodud kaadrile.

See kõlab nagu kõik plussid, kuid tehisintellekti loodud kaadrites on suur probleem: need suurendavad latentsust. Tehisintellekti loodud kaader ei läbi kunagi teie arvutit – see on "võlts" kaader, nii et te ei näe seda mängude või selliste tööriistade nagu FRAPS tavapärastel fps-näitudel. Seega latentsusaeg ei vähene vaatamata sellele, et teil on nii palju lisakaadreid, ja optilise voo arvutusliku ülekoormuse tõttu latentsusaeg tegelikult suureneb. Seetõttu nõuab DLSS 3 Nvidia Reflex suurema latentsuse kompenseerimiseks.

Tavaliselt salvestab teie protsessor teie graafikakaardi jaoks renderdusjärjekorra, et veenduda, et teie GPU ei oota kunagi tööd (see võib põhjustada kokutamist ja kaadrisageduse langust). Reflex eemaldab renderdusjärjekorra ning sünkroonib teie GPU ja CPU, nii et niipea, kui teie protsessor saab juhiseid saata, hakkab GPU neid töötlema. Kui DLSS 3 peale rakendatakse, võib Nvidia sõnul Reflex mõnikord isegi latentsusaega vähendada.

Kus AI muudab

AMD FSR 2.0 ei kasuta AI-d ja nagu ma mõni aeg tagasi kirjutasin, tõestab see, et saate saada sama kvaliteeti kui DLSS masinõppe asemel algoritmidega. DLSS 3 muudab seda oma ainulaadsete kaadri genereerimise võimalustega, aga ka optilise voo kasutuselevõtuga.

Optiline voog ei ole uus idee – see on olnud kasutusel aastakümneid ja sellel on rakendusi alates videotöötlusrakendustest kuni isejuhtivate autodeni. Kuid, optilise voo arvutamine masinõppega on suhteliselt uus, kuna tehisintellektimudelite koolitamiseks kasutatavate andmekogumite arv on suurenenud. Põhjus, miks soovite AI-d kasutada, on lihtne: piisava koolituse korral tekitab see vähem visuaalseid vigu ja käitusajal ei ole nii palju üldkulusid.

DLSS käivitub käitusajal. Võimalik on välja töötada masinõppeta algoritm, et hinnata, kuidas iga piksel ühest kaadrist teise liigub. järgmine, kuid see on arvutuslikult kallis, mis läheb vastuollu kogu esimese supersamplimise mõttega koht. Tehisintellekti mudeliga, mis ei nõua palju hobujõude ja piisavalt treeningandmeid – ja võite olla kindel, on Nvidia palju treeningandmeid, millega töötada – saate saavutada kvaliteetse optilise voo, mida saab täita käitusaeg.

See toob kaasa kaadrisageduse paranemise isegi piiratud protsessoriga mängudes. Supersampling kehtib ainult teie eraldusvõimele, mis sõltub peaaegu eranditult teie GPU-st. Tänu uuele kaadrile, mis möödub protsessori töötlemisest, suudab DLSS 3 mängudes kaadrisagedust kahekordistada isegi siis, kui teil on täielik CPU pudelikael. See on muljetavaldav ja praegu võimalik ainult AI-ga.

Miks FSR 2.0 järele ei jõua (praegu)

AMD on FSR 2.0-ga tõepoolest teinud võimatut. See näeb fantastiline välja ja asjaolu, et see on brändiagnostiline, on veelgi parem. Olen olnud selleks valmis kraavi DLSS FSR 2.0 jaoks sellest ajast, kui ma seda esimest korda nägin Deathloop. Kuid nii palju kui mulle meeldib FSR 2.0 ja arvan, et see on suurepärane AMD komplekt, ei jõua see niipea DLSS 3-le järele.

Alustuseks on algoritmi väljatöötamine, mis suudab jälgida iga pikslit kaadrite vahel ilma artefaktideta, piisavalt raske, eriti tihedate peente detailidega 3D-keskkonnas (Küberpunk 2077 on suurepärane näide). See on võimalik, kuid raske. Suurem probleem on aga see, kui palju see algoritm peaks olema. Iga piksli jälgimine läbi 3D-ruumi, optilise voo arvutamine, kaadri loomine ja teel juhtuvate äparduste kõrvaldamine – seda on palju küsida.

Seda on veelgi rohkem küsida, kui soovite seda mängu ajal käivitada ja FSR 2.0 või DLSS-i tasemel kaadrisagedust siiski parandada. Nvidia, isegi spetsiaalsete protsessorite ja koolitatud mudeliga, peab optilise voolu põhjustatud suurema latentsusaja tasakaalustamiseks siiski kasutama Reflexi. Ilma selle riist- või tarkvarata kaupleks FSR tõenäoliselt kaadrite genereerimiseks liiga palju latentsust.

Mul pole kahtlust, et AMD ja teised arendajad jõuavad lõpuks sinna – või leiavad probleemist mõne muu võimaluse –, kuid see võib olla mõne aasta pärast. Praegu on raske öelda.

Lihtne on öelda, et DLSS 3 näeb väga põnev välja. Muidugi peame ootama, kuni see on käes, et kinnitada Nvidia jõudlusnõudeid ja vaadata, kuidas pildikvaliteet püsib. Seni on meil Digital Foundryst vaid lühike video, mis näitab DLSS 3 kaadreid (ülal), mida soovitan väga vaadata, kuni näeme edasisi kolmandate osapoolte katsetusi. Meie praegusest vaatenurgast tundub DLSS 3 aga kindlasti paljulubav.

See artikkel on osa ReSpec – iga kahe nädala tagant jooksev veerg, mis sisaldab arutelusid, nõuandeid ja põhjalikku aruandlust arvutimängude taga oleva tehnoloogia kohta.

Toimetajate soovitused

• Miks Nvidia RTX 4060 Ti lihtsalt 2023. aastaks ei piisa
• Redfall Bite Back Editioni Nvidiast tasuta hankimiseks tehke järgmist
• Vahetasin kuuks ajaks AMD GPU-le – siin on põhjus, miks ma Nvidiast puudust ei tunne
• Kui AMD RX 7900 XTX väited vastavad tõele, võib Nvidia olla suurtes probleemides
• AMD rebib ära sulava RTX 4090 adapteri, kuna Nvidia seisab silmitsi ühishagiga