Hur Nvidia DLSS 3 fungerar och varför FSR inte kan komma ikapp just nu

Den här historien är en del av Jacob Roachs ReSpec-serie, som täcker en värld av PC-spel och hårdvara.

Nvidias RTX 40-seriens grafikkort kommer om några korta veckor, men bland alla hårdvaruförbättringar ligger vad som kan vara Nvidias guldägg: DLSS 3. Det är mycket mer än bara en uppdatering av Nvidias populära DLSS-funktion (Deep Learning Super Sampling), och det kan sluta definierar Nvidias nästa generation mycket mer än själva grafikkorten.

AMD har jobbat hårt för att få det FidelityFX Super Resolution (FSR) i paritet med DLSS, och under de senaste månaderna har det varit framgångsrikt. DLSS 3 ser ut som att den kommer att förändra den dynamiken - och den här gången kanske FSR inte kommer ikapp när som helst snart.

Hur DLSS 3 fungerar (och hur det inte fungerar)

Du skulle bli förlåten för att tro att DLSS 3 är en helt ny version av DLSS, men det är inte. Eller åtminstone, det är inte helt nytt. Ryggraden i DLSS 3 är samma superupplösningsteknik som är tillgänglig i DLSS-titlar idag, och Nvidia kommer förmodligen att fortsätta att förbättra den med nya versioner. Nvidia säger att du kommer att se superupplösningsdelen av DLSS 3 som ett separat alternativ i grafikinställningarna nu.

Den nya delen är frame generation. DLSS 3 kommer att generera en helt unik bildruta varannan bildruta, i princip sju av var åtta pixlar du ser. Du kan se en illustration av det i flödesschemat nedan. När det gäller 4K, återger din GPU bara pixlarna för 1080p och använder den informationen för inte bara den aktuella bildrutan utan även nästa bildruta.

Frame generation, enligt Nvidia, kommer att vara en separat växel från superupplösning. Det beror på att ramgenerering bara fungerar på RTX 40-seriens GPU: er för närvarande, medan superupplösningen kommer att fortsätta att fungera på alla RTX-grafikkort, även i spel som har uppdaterats till DLSS 3. Det borde vara självklart, men om hälften av dina bildrutor är helt genererade, kommer det att öka din prestation med mycket.

Ramgenerering är dock inte bara någon hemlig AI-sås. I DLSS 2 och verktyg som FSR, rörelsevektorer är en viktig ingång för uppskalningen. De beskriver var objekt rör sig från en bildruta till nästa, men rörelsevektorer gäller bara för geometri i en scen. Element som inte har 3D-geometri, som skuggor, reflektioner och partiklar, har traditionellt maskerats ur uppskalningsprocessen för att undvika visuella artefakter.

Maskering är inte ett alternativ när en AI genererar en helt unik ram, vilket är där den optiska flödesacceleratorn i RTX 40-seriens GPU: er kommer in i bilden. Det är som en rörelsevektor, förutom att grafikkortet spårar rörelsen av enskilda pixlar från en bildruta till nästa. Detta optiska flödesfält, tillsammans med rörelsevektorer, djup och färg, bidrar till den AI-genererade ramen.

Det låter som alla fördelar, men det finns ett stort problem med ramar som genereras av AI: de ökar latensen. Ramen som genereras av AI: n passerar aldrig genom din dator - det är en "falsk" ram, så du kommer inte att se den på traditionella fps-avläsningar i spel eller verktyg som FRAPS. Så, latensen går inte ner trots att det har så många extra ramar, och på grund av beräkningskostnaden för optiskt flöde går latensen faktiskt upp. På grund av det kräver DLSS 3 Nvidia reflex för att kompensera för den högre latensen.

Normalt lagrar din CPU en renderingskö för ditt grafikkort för att se till att din GPU aldrig väntar på att arbetet ska göras (det skulle orsaka stamningar och bildhastighetsfall). Reflex tar bort renderingskön och synkroniserar din GPU och CPU så att så snart din CPU kan skicka instruktioner börjar GPU: n bearbeta dem. När den appliceras över toppen av DLSS 3, säger Nvidia att Reflex ibland till och med kan resultera i en latensreduktion.

Där AI gör skillnad

AMD: s FSR 2.0 använder inte AI, och som jag skrev om för ett tag sedan bevisar det att du kan få samma kvalitet som DLSS med algoritmer istället för maskininlärning. DLSS 3 förändrar det med sina unika ramgenereringsmöjligheter, såväl som införandet av optiskt flöde.

Optiskt flöde är ingen ny idé – det har funnits i decennier och har tillämpningar i allt från videoredigeringsprogram till självkörande bilar. Dock, beräkna optiskt flöde med maskininlärning är relativt nytt på grund av en ökning av datamängder att träna AI-modeller på. Anledningen till att du vill använda AI är enkel: den ger färre visuella fel med tillräcklig träning och den har inte så mycket overhead under körning.

DLSS körs under körning. Det är möjligt att utveckla en algoritm, fri från maskininlärning, för att uppskatta hur varje pixel rör sig från en bildruta till nästa, men det är beräkningsmässigt dyrt, vilket strider mot hela poängen med supersampling i den första plats. Med en AI-modell som inte kräver mycket hästkrafter och tillräckligt med träningsdata – och var säker, Nvidia har massor av träningsdata att arbeta med — du kan uppnå optiskt flöde som är av hög kvalitet och kan utföras vid körning.

Det leder till en förbättring av bildfrekvens även i spel som är CPU-begränsade. Supersampling gäller bara din upplösning, som nästan uteslutande är beroende av din GPU. Med en ny ram som kringgår CPU-bearbetning kan DLSS 3 fördubbla bildhastigheten i spel även om du har en komplett CPU flaskhals. Det är imponerande och för närvarande endast möjligt med AI.

Varför FSR 2.0 inte kan komma ikapp (för nu)

AMD har verkligen gjort det omöjliga med FSR 2.0. Det ser fantastiskt ut, och det faktum att det är varumärkesagnostiskt är ännu bättre. Jag har varit redo att dike DLSS för FSR 2.0 sedan jag såg den första gången Deathloop. Men så mycket som jag tycker om FSR 2.0 och tycker att det är ett fantastiskt kit från AMD, kommer det inte att hinna med DLSS 3 snart.

Till att börja med är det svårt nog att utveckla en algoritm som kan spåra varje pixel mellan bildrutor utan artefakter, särskilt i en 3D-miljö med täta fina detaljer (Cyberpunk 2077 är ett utmärkt exempel). Det är möjligt, men tufft. Den större frågan är dock hur uppsvälld den algoritmen skulle behöva vara. Att spåra varje pixel genom 3D-rymden, göra den optiska flödesberäkningen, generera en bildruta och rensa upp eventuella missöden som händer längs vägen – det är mycket att fråga.

Att få det att köra medan ett spel körs och fortfarande ge en bildhastighetsförbättring på nivån FSR 2.0 eller DLSS, det är ännu mer att fråga. Nvidia, även med dedikerade processorer och en tränad modell, måste fortfarande använda Reflex för att kompensera för den högre latens som det optiska flödet påför. Utan den hårdvaran eller mjukvaran skulle FSR sannolikt byta ut för mycket latens för att generera ramar.

Jag tvivlar inte på att AMD och andra utvecklare kommer att komma dit så småningom - eller hitta en annan väg runt problemet - men det kan vara några år på vägen. Det är svårt att säga just nu.

Det som är lätt att säga är att DLSS 3 ser väldigt spännande ut. Naturligtvis måste vi vänta tills det är här för att validera Nvidias prestandapåståenden och se hur bildkvaliteten håller. Hittills har vi bara en kort video från Digital Foundry som visar upp DLSS 3-filmer (ovan), som jag starkt rekommenderar att du tittar på tills vi ser ytterligare tester från tredje part. Från vår nuvarande utsiktspunkt ser dock DLSS 3 verkligen lovande ut.

Denna artikel är en del av ReSpec – en pågående kolumn varannan vecka som innehåller diskussioner, råd och djupgående rapportering om tekniken bakom PC-spel.

Redaktörens rekommendationer

• Varför Nvidia RTX 4060 Ti helt enkelt inte räcker för 2023
• Så här får du Redfall Bite Back Edition gratis från Nvidia
• Jag bytte till en AMD GPU i en månad - det är därför jag inte saknar Nvidia
• Om AMD: s RX 7900 XTX-påståenden är sanna kan Nvidia vara i stora problem
• AMD river sönder smältande RTX 4090-adapter när Nvidia står inför grupptalan