Kaip veikia „Nvidia DLSS 3“ ir kodėl FSR kol kas negali pasivyti

Ši istorija yra Jacob Roach ReSpec serijos dalis, apimanti kompiuterinių žaidimų ir aparatinės įrangos pasaulį.

Nvidia RTX 40 serijos vaizdo plokštės atvyks per kelias trumpas savaites, tačiau tarp visų techninės įrangos patobulinimų yra tai, kas galėtų būti „Nvidia“ auksinis kiaušinis: DLSS 3. Tai yra daug daugiau nei tik populiariosios Nvidia DLSS (Deep Learning Super Sampling) funkcijos atnaujinimas, ir tai gali baigtis apibrėžiantis naujos kartos Nvidia daug daugiau nei pačios vaizdo plokštės.

AMD sunkiai dirbo, kad ją gautų „FidelityFX Super Resolution“ (FSR) prilygsta DLSS ir pastaruosius kelis mėnesius buvo sėkmingas. Atrodo, kad DLSS 3 pakeis tą dinamiką – ir šį kartą FSR gali greitai nepasivyti.

Kaip veikia DLSS 3 (ir kaip ne)

Jums būtų atleista, jei galvojate, kad DLSS 3 yra visiškai nauja versija DLSS, bet taip nėra. Arba bent jau tai nėra visiškai nauja. DLSS 3 pagrindas yra ta pati itin didelės raiškos technologija, kuri šiandien pasiekiama DLSS pavadinimuose, ir tikėtina, kad „Nvidia“ toliau tobulins ją su naujomis versijomis. „Nvidia“ teigia, kad dabar grafikos nustatymuose matysite didelės raiškos DLSS 3 dalį kaip atskirą parinktį.

Nauja dalis – rėmelių generavimas. DLSS 3 sugeneruos visiškai unikalų kadrą kas antrame kadre, iš esmės generuodamas septynis iš aštuonių matomų pikselių. To iliustraciją galite pamatyti toliau pateiktoje srautų diagramoje. 4K atveju jūsų GPU pateikia tik 1080p pikselius ir naudoja šią informaciją ne tik dabartiniam, bet ir kitam kadrui.

„Nvidia“ teigimu, kadrų generavimas bus atskiras perjungimas nuo super raiškos. Taip yra todėl, kad kadrų generavimas kol kas veikia tik RTX 40 serijos GPU, o super skiriamoji geba ir toliau veiks visose RTX vaizdo plokštėse, net ir žaidimuose, kurie atnaujinti į DLSS 3. Turėtų būti savaime suprantama, bet jei pusė jūsų kadrų bus visiškai sugeneruota, tai padidins jūsų našumą daug.

Tačiau kadrų generavimas nėra tik slaptas AI padažas. Į DLSS 2 ir įrankiai, tokie kaip FSR, judesio vektoriai yra pagrindinė įvestis didinant mastelį. Jie aprašo, kur objektai juda iš vieno kadro į kitą, tačiau judesio vektoriai taikomi tik scenos geometrijai. Elementai, neturintys 3D geometrijos, pvz., šešėliai, atspindžiai ir dalelės, tradiciškai buvo užmaskuoti didinant mastelį, kad būtų išvengta vaizdinių artefaktų.

Užmaskuoti negalima, kai dirbtinis intelektas generuoja visiškai unikalų kadrą, o būtent čia pradeda veikti RTX 40 serijos GPU optinio srauto greitintuvas. Tai tarsi judesio vektorius, išskyrus tai, kad vaizdo plokštė seka atskirų pikselių judėjimą iš vieno kadro į kitą. Šis optinis srauto laukas kartu su judesio vektoriais, gyliu ir spalvomis prisideda prie dirbtinio intelekto sukurto kadro.

Atrodo, kad viskas yra teigiama, tačiau yra didelė problema, susijusi su AI generuojamais kadrais: jie padidina delsą. Dirbtinio intelekto sugeneruotas kadras niekada nepereina per jūsų kompiuterį – tai „netikras“ kadras, todėl jo nematysite tradiciniuose fps rodmenyse žaidimuose ar tokiuose įrankiuose kaip FRAPS. Taigi delsa nesumažėja, nepaisant tiek daug papildomų kadrų, o dėl optinio srauto skaičiavimo papildomos sąnaudos delsa iš tikrųjų didėja. Dėl to reikia DLSS 3 Nvidia refleksas kompensuoti didesnį delsą.

Paprastai jūsų procesorius išsaugo grafikos plokštės atvaizdavimo eilę, kad įsitikintų, jog GPU niekada nelaukia, kol bus atliktas darbas (dėl to gali sumažėti mikčiojimas ir sumažėti kadrų dažnis). „Reflex“ pašalina atvaizdavimo eilę ir sinchronizuoja GPU ir CPU, kad kai tik jūsų procesorius galėtų išsiųsti instrukcijas, GPU pradėtų jas apdoroti. Naudojant DLSS 3 viršų, „Nvidia“ teigia, kad „Reflex“ kartais netgi gali sumažinti delsą.

Kur AI daro skirtumą

AMD FSR 2.0 nenaudoja AI, ir, kaip jau kurį laiką rašiau, tai įrodo, kad galite gauti tokią pačią kokybę kaip DLSS su algoritmais, o ne mašininiu mokymusi. DLSS 3 tai pakeičia savo unikaliomis kadrų generavimo galimybėmis, taip pat optinio srauto įdiegimu.

Optinis srautas nėra nauja idėja – ji gyvuoja dešimtmečius ir yra pritaikyta viskam, pradedant vaizdo įrašų redagavimo programomis ir baigiant savarankiškai važiuojančiais automobiliais. Tačiau optinio srauto apskaičiavimas naudojant mašininį mokymąsi yra palyginti naujas, nes padaugėjo duomenų rinkinių, skirtų dirbtinio intelekto modeliams mokyti. Priežastis, kodėl norėtumėte naudoti dirbtinį intelektą, yra paprasta: pakankamai treniruojantis jis sukuria mažiau vizualinių klaidų ir vykdymo metu neturi tiek daug papildomų išlaidų.

DLSS vykdomas vykdymo metu. Galima sukurti algoritmą be mašininio mokymosi, kad būtų galima įvertinti, kaip kiekvienas pikselis juda iš vieno kadro į kitą, bet tai brangiai kainuoja, o tai prieštarauja visai supersamplingo esmei pirmajame vieta. Su AI modeliu, kuriam nereikia daug arklio galių ir pakankamai treniruočių duomenų – ir būkite tikri, „Nvidia“ daug treniruočių duomenų, su kuriais reikia dirbti – galite pasiekti aukštos kokybės optinį srautą, kurį galima atlikti vykdymo laikas.

Tai pagerina kadrų dažnį net žaidimuose, kuriuose yra ribotas procesorius. Supersampling taikoma tik jūsų skyrai, kuri beveik išimtinai priklauso nuo jūsų GPU. Su nauju kadru, kuris apeina procesoriaus apdorojimą, DLSS 3 gali padvigubinti kadrų dažnį žaidimuose, net jei turite visą CPU kliūtis. Tai įspūdinga ir šiuo metu įmanoma tik naudojant AI.

Kodėl FSR 2.0 negali pasivyti (kol kas)

AMD tikrai padarė neįmanomą su FSR 2.0. Tai atrodo fantastiškai, o tai, kad jis yra prekės ženklo agnostikas, yra dar geriau. Aš buvau pasiruošęs griovys DLSS, skirtas FSR 2.0 nuo tada, kai pirmą kartą pamačiau Deathloop. Kad ir kaip man patinka FSR 2.0 ir manau, kad tai puikus AMD rinkinys, jis greitai nepasieks DLSS 3.

Pradedantiesiems sukurti algoritmą, galintį sekti kiekvieną pikselį tarp kadrų be artefaktų, yra pakankamai sudėtinga, ypač 3D aplinkoje su daugybe smulkių detalių (Cyberpunk 2077 yra puikus pavyzdys). Tai įmanoma, bet sunku. Tačiau didesnė problema yra ta, kiek šis algoritmas turėtų būti išpūstas. Kiekvieno pikselio stebėjimas 3D erdvėje, optinio srauto skaičiavimas, kadro generavimas ir bet kokių pakeliui įvykusių nesklandumų pašalinimas – labai daug klausti.

Jei norite, kad jis būtų paleistas, kol žaidimas vykdomas, ir vis tiek pagerintų kadrų dažnį, lyginant su FSR 2.0 arba DLSS lygiu, to reikia dar daugiau. „Nvidia“, net su tam skirtais procesoriais ir apmokytu modeliu, vis tiek turi naudoti „Reflex“, kad kompensuotų didesnį optinio srauto sukeltą delsą. Be šios aparatinės ar programinės įrangos FSR greičiausiai pakeistų per daug delsos, kad sukurtų kadrus.

Neabejoju, kad AMD ir kiti kūrėjai galiausiai pasieks – arba suras kitą problemos sprendimo būdą – bet tai gali užtrukti kelerius metus. Sunku pasakyti dabar.

Lengva pasakyti, kad DLSS 3 atrodo labai įdomiai. Žinoma, turėsime palaukti, kol jis bus čia, kad patvirtintume „Nvidia“ našumo teiginius ir pamatytume, kaip išliks vaizdo kokybė. Kol kas turime tik trumpą „Digital Foundry“ vaizdo įrašą, kuriame rodoma DLSS 3 medžiaga (aukščiau), kurią labai rekomenduoju žiūrėti, kol pamatysime tolesnius trečiųjų šalių bandymus. Tačiau iš mūsų dabartinės perspektyvos DLSS 3 tikrai atrodo daug žadantis.

Šis straipsnis yra dalis ReSpec – kas dvi savaites nuolatinis stulpelis, kuriame pateikiamos diskusijos, patarimai ir išsamios ataskaitos apie kompiuterinių žaidimų technologijas.

Redaktorių rekomendacijos

• Kodėl Nvidia RTX 4060 Ti tiesiog neužtenka 2023 m
• Štai kaip nemokamai gauti „Redfall Bite Back Edition“ iš „Nvidia“.
• Mėnesiui pakeičiau AMD GPU – štai kodėl aš nepasigendu Nvidia
• Jei AMD teiginiai apie RX 7900 XTX yra teisingi, Nvidia gali turėti didelių problemų
• AMD nuplėšia tirpstantį RTX 4090 adapterį, nes „Nvidia“ susiduria su kolektyviniu ieškiniu