Kako radi Nvidia DLSS 3 i zašto FSR za sada ne može sustići

respekt dt prikazana slika 2
Ova je priča dio serije ReSpec Jacoba Roacha koja pokriva svijet PC igara i hardvera.

Nvidijin RTX 40-serija grafičkih kartica stižu za nekoliko tjedana, ali među svim hardverskim poboljšanjima leži ono što bi moglo biti Nvidijino zlatno jaje: DLSS 3. To je puno više od ažuriranja Nvidijine popularne značajke DLSS (Deep Learning Super Sampling) i moglo bi završiti definiranje Nvidijine sljedeće generacije mnogo više od samih grafičkih kartica.

Sadržaj

  • Kako DLSS 3 radi (a kako ne)
  • Gdje AI čini razliku
  • Zašto FSR 2.0 ne može sustići (za sada)

Preporučeni videozapisi

AMD je naporno radio da ga dobije FidelityFX Super Resolution (FSR) ravnopravno s DLSS-om, a posljednjih je nekoliko mjeseci bio uspješan. Čini se da će DLSS 3 promijeniti tu dinamiku — a ovaj put FSR možda neće moći sustići u skorije vrijeme.

Kako DLSS 3 radi (a kako ne)

Grafikon koji prikazuje kako radi Nvidijina DLSS 3 tehnologija.
Nvidia

Oprostilo bi vam se ako mislite da je DLSS 3 potpuno nova verzija DLSS, ali nije. Ili barem nije posve novo. Okosnica DLSS 3 je ista tehnologija super-razlučivosti koja je danas dostupna u DLSS naslovima, a Nvidia će je vjerojatno nastaviti poboljšavati s novim verzijama. Nvidia kaže da ćete dio DLSS-a 3 u super rezoluciji sada vidjeti kao zasebnu opciju u postavkama grafike.

Povezano

  • Nvidia ne prodaje grafičke kartice - ona prodaje DLSS
  • Chromeov pristup Nvidia DLSS-u je spreman za pokretanje, ali ga još ne možete koristiti
  • Evo zašto se Nvidijine šanse protiv AMD drajvera jednostavno ne zbrajaju

Novi dio je generiranje okvira. DLSS 3 će generirati potpuno jedinstven okvir svaki drugi okvir, u biti generirajući sedam od svakih osam piksela koje vidite. Ilustraciju toga možete vidjeti u dijagramu toka u nastavku. U slučaju 4K, vaš GPU renderira piksele samo za 1080p i koristi te informacije ne samo za trenutni okvir, već i za sljedeći okvir.

Grafikon koji prikazuje kako DLSS 3 rekonstruira okvire.
Nvidia

Generiranje okvira, prema Nvidiji, bit će odvojeno od super rezolucije. To je zato što generacija okvira za sada radi samo na GPU-ovima serije RTX 40, dok će super rezolucija nastaviti raditi na svim RTX grafičkim karticama, čak i u igrama koje su ažurirane na DLSS 3. Trebalo bi se podrazumijevati, ali ako je polovica vaših okvira potpuno generirana, to će povećati vašu izvedbu za puno.

Međutim, generiranje okvira nije samo neki AI tajni umak. U DLSS 2 i alati poput FSR, vektori kretanja ključni su input za povećanje veličine. Oni opisuju gdje se objekti pomiču iz jednog okvira u drugi, ali vektori kretanja primjenjuju se samo na geometriju u sceni. Elementi koji nemaju 3D geometriju, poput sjena, odraza i čestica, tradicionalno su maskirani iz procesa povećanja veličine kako bi se izbjegli vizualni artefakti.

Kretanje grafikona kroz Nvidijin DLSS 3.
Nvidia

Maskiranje nije opcija kada umjetna inteligencija generira potpuno jedinstveni okvir, a tu u igru ​​ulazi Akcelerator optičkog protoka u GPU-ovima serije RTX 40. To je poput vektora kretanja, osim što grafička kartica prati kretanje pojedinačnih piksela od jednog okvira do drugog. Ovo optičko polje protoka, zajedno s vektorima gibanja, dubinom i bojom, pridonose kadru generiranom umjetnom inteligencijom.

Zvuči kao dobra strana, ali postoji veliki problem s okvirima koje generira AI: oni povećavaju latenciju. Okvir koji generira AI nikada ne prolazi kroz vaše računalo — to je "lažni" okvir, tako da ga nećete vidjeti na tradicionalnim očitanjima fps-a u igrama ili alatima kao što je FRAPS. Dakle, latencija se ne smanjuje unatoč tolikom broju dodatnih okvira, a zbog računalnog opterećenja optičkog protoka, latencija zapravo raste. Zbog toga DLSS 3 zahtijeva Nvidia Reflex kako bi se nadoknadila veća latencija.

Obično vaš CPU pohranjuje red čekanja za renderiranje za vašu grafičku karticu kako bi bio siguran da vaš GPU nikada ne čeka da obavi posao (to bi uzrokovalo zastajkivanje i padove broja sličica u sekundi). Reflex uklanja red čekanja za renderiranje i sinkronizira vaš GPU i CPU tako da čim vaš CPU može poslati upute, GPU ih počinje obrađivati. Kada se primijeni preko DLSS-a 3, Nvidia kaže da Reflex ponekad čak može dovesti do smanjenja latencije.

Gdje AI čini razliku

Microsoftov simulator letenja | NVIDIA DLSS 3 - Ekskluzivni prvi pogled

AMD-ov FSR 2.0 ne koristi AI, a kao što sam pisao prije nekog vremena, dokazuje da možete dobiti istu kvalitetu kao DLSS s algoritmima umjesto strojnog učenja. DLSS 3 to mijenja svojim jedinstvenim mogućnostima generiranja okvira, kao i uvođenjem optičkog protoka.

Optički protok nije nova ideja - postoji već desetljećima i ima primjenu u svemu, od aplikacija za uređivanje videa do samovozećih automobila. Međutim, izračunavanje optičkog protoka sa strojnim učenjem je relativno nov zbog porasta skupova podataka na kojima se mogu trenirati AI modeli. Razlog zašto biste htjeli koristiti AI je jednostavan: proizvodi manje vizualnih pogrešaka uz dovoljno obuke i nema toliko opterećenja tijekom izvođenja.

DLSS se izvršava tijekom izvođenja. Moguće je razviti algoritam, bez strojnog učenja, za procjenu kako se svaki piksel kreće od jednog okvira do sljedeći, ali je računski skup, što je u suprotnosti s cijelom poantom superuzorkovanja u prvom mjesto. S AI modelom koji ne zahtijeva puno konjskih snaga i dovoljno podataka za obuku - i budite uvjereni, Nvidia ima mnogo podataka za obuku s kojima možete raditi — možete postići optički protok koji je visoke kvalitete i može se izvoditi vrijeme izvođenja.

To dovodi do poboljšanja u broju sličica u sekundi čak iu igrama koje su ograničene procesorom. Supersampling se primjenjuje samo na vašu razlučivost, koja gotovo isključivo ovisi o vašem GPU-u. S novim okvirom koji zaobilazi CPU obradu, DLSS 3 može udvostručiti broj sličica u igrici čak i ako imate potpunu CPU usko grlo. To je impresivno i trenutno je moguće samo s AI.

Zašto FSR 2.0 ne može sustići (za sada)

FSR i DLSS usporedba kvalitete slike u igri God of War.

AMD je doista učinio nemoguće s FSR 2.0. Izgleda fantastično, a činjenica da ne ovisi o robnoj marki još je bolja. Bio sam spreman odbaci DLSS za FSR 2.0 otkako sam ga prvi put vidio u Deathloop. Ali koliko god uživam u FSR 2.0 i mislim da je to izvrstan AMD-ov komplet, neće uskoro dostići DLSS 3.

Za početak, dovoljno je teško razviti algoritam koji može pratiti svaki piksel između okvira bez artefakata, posebno u 3D okruženju s gustim finim detaljima (Cyberpunk 2077 je glavni primjer). Moguće je, ali teško. Međutim, veće je pitanje koliko bi taj algoritam trebao biti napuhan. Praćenje svakog piksela kroz 3D prostor, izračun optičkog protoka, generiranje okvira i uklanjanje svih nesreća koje se dogode usput - puno je toga što se traži.

Omogućiti da se to izvodi dok se igra izvodi i još uvijek pruža poboljšanje broja sličica u sekundi na razini FSR 2.0 ili DLSS, to je još više za tražiti. Nvidia, čak i s namjenskim procesorima i uvježbanim modelom, još uvijek mora koristiti Reflex kako bi nadoknadila veću latenciju koju nameće optički protok. Bez tog hardvera ili softvera, FSR bi vjerojatno zamijenio previše latencije za generiranje okvira.

Ne sumnjam da će AMD i drugi programeri na kraju doći do toga - ili pronaći drugi način za rješavanje problema - ali to bi moglo biti za nekoliko godina kasnije. Teško je sada reći.

Uskoro - prvi najava za GeForce RTX 4090 DLSS 3

Ono što je lako reći je da DLSS 3 izgleda vrlo uzbudljivo. Naravno, morat ćemo pričekati dok ne bude ovdje da potvrdimo Nvidijine tvrdnje o performansama i vidimo koliko se kvaliteta slike drži. Za sada imamo samo kratki video iz Digital Foundryja koji prikazuje DLSS 3 snimke (iznad), koje toplo preporučujem da pogledate dok ne vidimo daljnje testiranje treće strane. Međutim, s naše trenutne točke gledišta, DLSS 3 svakako izgleda obećavajuće.

Ovaj je članak dio ReSpec – dvotjedna kolumna u tijeku koja uključuje rasprave, savjete i detaljna izvješća o tehnologiji koja stoji iza PC igara.

Preporuke urednika

  • Zašto Nvidia RTX 4060 Ti jednostavno nije dovoljna za 2023
  • Evo kako besplatno dobiti Redfall Bite Back Edition od Nvidije
  • Prešao sam na AMD GPU na mjesec dana — evo zašto mi ne nedostaje Nvidia
  • Ako su AMD-ove tvrdnje o RX 7900 XTX istinite, Nvidia bi mogla biti u velikim problemima
  • AMD kida adapter RTX 4090 koji se topi dok se Nvidia suočava sa kolektivnom tužbom