Hvordan Nvidia DLSS 3 fungerer, og hvorfor FSR ikke kan ta igjen foreløpig

Denne historien er en del av Jacob Roachs ReSpec-serie, som dekker verden av PC-spilling og maskinvare.

Nvidia sin RTX 40-serien grafikkort kommer om noen korte uker, men blant alle maskinvareforbedringene ligger det som kan være Nvidias gullegg: DLSS 3. Det er mye mer enn bare en oppdatering av Nvidias populære DLSS-funksjon (Deep Learning Super Sampling), og det kan ende opp definerer Nvidias neste generasjon mye mer enn selve grafikkortene.

AMD har jobbet hardt for å få det FidelityFX Super Resolution (FSR) på nivå med DLSS, og de siste månedene har det vært vellykket. DLSS 3 ser ut til at den vil endre den dynamikken - og denne gangen kan det hende at FSR ikke kan ta det igjen når som helst snart.

Hvordan DLSS 3 fungerer (og hvordan det ikke fungerer)

Du vil bli tilgitt for å tro at DLSS 3 er en helt ny versjon av DLSS, men det er det ikke. Eller i det minste, det er ikke helt nytt. Ryggraden i DLSS 3 er den samme superoppløsningsteknologien som er tilgjengelig i DLSS-titler i dag, og Nvidia vil antagelig fortsette å forbedre den med nye versjoner. Nvidia sier at du vil se superoppløsningsdelen av DLSS 3 som et eget alternativ i grafikkinnstillingene nå.

Den nye delen er rammegenerering. DLSS 3 vil generere en helt unik ramme annenhver ramme, i hovedsak generere syv av hver åtte piksler du ser. Du kan se en illustrasjon av det i flytskjemaet nedenfor. Når det gjelder 4K, gjengir GPU-en bare pikslene for 1080p og bruker den informasjonen for ikke bare gjeldende bilde, men også neste bilde.

Rammegenerering, ifølge Nvidia, vil være en separat veksling fra superoppløsning. Det er fordi rammegenerering bare fungerer på RTX 40-seriens GPUer foreløpig, mens superoppløsningen vil fortsette å fungere på alle RTX-grafikkort, selv i spill som har oppdatert til DLSS 3. Det burde være en selvfølge, men hvis halvparten av rammene dine er fullstendig generert, vil det øke ytelsen din med mye.

Rammegenerering er imidlertid ikke bare en hemmelig AI-saus. I DLSS 2 og verktøy som FSR, bevegelsesvektorer er en nøkkelinngang for oppskaleringen. De beskriver hvor objekter beveger seg fra en ramme til den neste, men bevegelsesvektorer gjelder kun for geometri i en scene. Elementer som ikke har 3D-geometri, som skygger, refleksjoner og partikler, har tradisjonelt blitt maskert ut av oppskaleringsprosessen for å unngå visuelle artefakter.

Maskering er ikke et alternativ når en AI genererer en helt unik ramme, og det er her den optiske strømningsakseleratoren i RTX 40-seriens GPUer kommer inn i bildet. Det er som en bevegelsesvektor, bortsett fra at grafikkortet sporer bevegelsen til individuelle piksler fra en ramme til den neste. Dette optiske flytfeltet, sammen med bevegelsesvektorer, dybde og farge, bidrar til den AI-genererte rammen.

Det høres ut som alle fordeler, men det er et stort problem med rammer generert av AI: de øker ventetiden. Rammen generert av AI går aldri gjennom PC-en din – det er en "falsk" ramme, så du vil ikke se den på tradisjonelle fps-avlesninger i spill eller verktøy som FRAPS. Så latens går ikke ned til tross for at man har så mange ekstra rammer, og på grunn av beregningsmessig overhead av optisk flyt, går ventetiden faktisk opp. På grunn av det krever DLSS 3 Nvidia refleks for å oppveie den høyere ventetiden.

Vanligvis lagrer CPU-en en gjengivelseskø for grafikkortet ditt for å sørge for at GPU-en din aldri venter på arbeid (det vil føre til hakking og fall i bildefrekvensen). Reflex fjerner gjengivelseskøen og synkroniserer GPU og CPU slik at så snart CPUen kan sende instruksjoner, begynner GPUen å behandle dem. Når den brukes over toppen av DLSS 3, sier Nvidia at Reflex noen ganger til og med kan resultere i en latensreduksjon.

Hvor AI gjør en forskjell

AMDs FSR 2.0 bruker ikke AI, og som jeg skrev om for en stund tilbake, beviser det at du kan få samme kvalitet som DLSS med algoritmer i stedet for maskinlæring. DLSS 3 endrer det med sine unike rammegenereringsevner, samt introduksjonen av optisk flyt.

Optisk flyt er ikke en ny idé – den har eksistert i flere tiår og har applikasjoner i alt fra videoredigeringsapplikasjoner til selvkjørende biler. Derimot, beregne optisk flyt med maskinlæring er relativt ny på grunn av en økning i datasett å trene AI-modeller på. Grunnen til at du vil bruke AI er enkel: den produserer færre visuelle feil gitt nok trening og den har ikke så mye overhead under kjøring.

DLSS kjører under kjøring. Det er mulig å utvikle en algoritme, fri for maskinlæring, for å estimere hvordan hver piksel beveger seg fra én ramme til den neste, men den er beregningsmessig dyr, noe som strider mot hele poenget med supersampling i den første plass. Med en AI-modell som ikke krever mye hestekrefter og nok treningsdata – og vær sikker, har Nvidia rikelig med treningsdata å jobbe med — du kan oppnå optisk flyt som er av høy kvalitet og kan utføres på kjøretid.

Det fører til en forbedring i bildefrekvens selv i spill som er CPU-begrenset. Supersampling gjelder kun for oppløsningen din, som nesten utelukkende er avhengig av din GPU. Med en ny ramme som omgår CPU-behandling, kan DLSS 3 doble bildefrekvensene i spill selv om du har en komplett CPU-flaskehals. Det er imponerende og foreløpig bare mulig med AI.

Hvorfor FSR 2.0 ikke kan ta igjen (foreløpig)

AMD har virkelig gjort det umulige med FSR 2.0. Det ser fantastisk ut, og det faktum at det er merkevareagnostisk er enda bedre. jeg har vært klar til grøft DLSS for FSR 2.0 siden jeg så den første gang Deathloop. Men så mye som jeg liker FSR 2.0 og synes det er et flott stykke sett fra AMD, kommer det ikke til å ta igjen DLSS 3 med det første.

For det første er det vanskelig nok å utvikle en algoritme som kan spore hver piksel mellom bilder uten artefakter, spesielt i et 3D-miljø med tette fine detaljer (Cyberpunk 2077 er et godt eksempel). Det er mulig, men tøft. Det større problemet er imidlertid hvor oppblåst den algoritmen må være. Å spore hver piksel gjennom 3D-rom, gjøre den optiske flytberegningen, generere en ramme og rydde opp i eventuelle uhell som skjer underveis – det er mye å spørre om.

Å få det til å kjøre mens et spill kjøres og fortsatt gi en bildefrekvensforbedring på nivået til FSR 2.0 eller DLSS, det er enda mer å spørre om. Nvidia, selv med dedikerte prosessorer og en trent modell, må fortsatt bruke Reflex for å kompensere for den høyere ventetiden pålagt av optisk flyt. Uten den maskinvaren eller programvaren ville FSR sannsynligvis byttet for mye ventetid for å generere rammer.

Jeg er ikke i tvil om at AMD og andre utviklere vil komme dit til slutt - eller finne en annen vei rundt problemet - men det kan være noen år på veien. Det er vanskelig å si akkurat nå.

Det som er lett å si er at DLSS 3 ser veldig spennende ut. Selvfølgelig må vi vente til det er her for å validere Nvidias ytelseskrav og se hvordan bildekvaliteten holder seg. Så langt har vi bare en kort video fra Digital Foundry som viser frem DLSS 3-opptak (over), som jeg anbefaler å se til vi ser ytterligere tredjepartstesting. Fra vårt nåværende utsiktspunkt ser imidlertid DLSS 3 absolutt lovende ut.

Denne artikkelen er en del av ReSpec – en pågående toukentlig spalte som inkluderer diskusjoner, råd og dybderapportering om teknologien bak PC-spilling.

Redaktørenes anbefalinger

• Hvorfor Nvidia RTX 4060 Ti rett og slett ikke er nok for 2023
• Slik får du Redfall Bite Back Edition gratis fra Nvidia
• Jeg byttet til en AMD GPU i en måned - her er grunnen til at jeg ikke savner Nvidia
• Hvis AMDs RX 7900 XTX-påstander er sanne, kan Nvidia være i store problemer
• AMD river smeltende RTX 4090-adapter mens Nvidia møter gruppesøksmål