Hvordan Nvidia DLSS 3 virker, og hvorfor FSR ikke kan indhente det lige nu

Denne historie er en del af Jacob Roachs ReSpec-serie, der dækker verden af ​​pc-spil og hardware.

Nvidias RTX 40-seriens grafikkort ankommer om et par korte uger, men blandt alle hardwareforbedringer ligger, hvad der kunne være Nvidias gyldne æg: DLSS 3. Det er meget mere end blot en opdatering til Nvidias populære DLSS (Deep Learning Super Sampling) funktion, og det kan ende med at definerer Nvidias næste generation meget mere end selve grafikkortene.

AMD har arbejdet hårdt på at få det FidelityFX Super Resolution (FSR) på niveau med DLSS, og i de sidste mange måneder har det været en succes. DLSS 3 ser ud til, at den vil ændre den dynamik - og denne gang kan FSR muligvis ikke indhente det foreløbig.

Hvordan DLSS 3 virker (og hvordan virker det ikke)

Du ville blive tilgivet for at tro, at DLSS 3 er en helt ny version af DLSS, men det er det ikke. Eller det er i hvert fald ikke helt nyt. Rygraden i DLSS 3 er den samme superopløsningsteknologi, som er tilgængelig i DLSS-titler i dag, og Nvidia vil formentlig fortsætte med at forbedre den med nye versioner. Nvidia siger, at du vil se superopløsningsdelen af ​​DLSS 3 som en separat mulighed i grafikindstillingerne nu.

Den nye del er frame generation. DLSS 3 vil generere en helt unik frame hver anden frame, i det væsentlige generere syv ud af hver otte pixels, du ser. Du kan se en illustration af det i flowdiagrammet nedenfor. I tilfælde af 4K gengiver din GPU kun pixels til 1080p og bruger denne information til ikke kun den aktuelle frame, men også den næste frame.

Frame generation, ifølge Nvidia, vil være et separat skifte fra super opløsning. Det skyldes, at frame-generering kun virker på RTX 40-seriens GPU'er indtil videre, mens superopløsningen vil fortsætte med at fungere på alle RTX-grafikkort, selv i spil, der er opdateret til DLSS 3. Det burde være en selvfølge, men hvis halvdelen af ​​dine frames er fuldstændig genereret, vil det øge din præstation med en masse.

Rammegenerering er dog ikke kun en hemmelig AI-sauce. I DLSS 2 og værktøjer som FSR, bevægelsesvektorer er et nøgleinput til opskaleringen. De beskriver, hvor objekter bevæger sig fra et billede til det næste, men bevægelsesvektorer gælder kun for geometri i en scene. Elementer, der ikke har 3D-geometri, såsom skygger, refleksioner og partikler, er traditionelt blevet maskeret ud af opskaleringsprocessen for at undgå visuelle artefakter.

Maskering er ikke en mulighed, når en AI genererer en helt unik ramme, og det er her den optiske flowaccelerator i RTX 40-seriens GPU'er kommer i spil. Det er som en bevægelsesvektor, bortset fra at grafikkortet sporer bevægelsen af ​​individuelle pixels fra en ramme til den næste. Dette optiske flowfelt bidrager sammen med bevægelsesvektorer, dybde og farve til den AI-genererede ramme.

Det lyder som alle fordele, men der er et stort problem med frames genereret af AI: de øger latency. Rammen genereret af AI passerer aldrig gennem din pc - det er en "falsk" ramme, så du vil ikke se den på traditionelle fps-udlæsninger i spil eller værktøjer som FRAPS. Så latency falder ikke på trods af at der er så mange ekstra frames, og på grund af den beregningsmæssige overhead af optisk flow, går latensen faktisk op. På grund af det kræver DLSS 3 Nvidia refleks for at udligne den højere latenstid.

Normalt gemmer din CPU en gengivelseskø til dit grafikkort for at sikre, at din GPU aldrig venter på, at arbejdet skal udføres (det ville forårsage hakken og billedhastighedsfald). Reflex fjerner gengivelseskøen og synkroniserer din GPU og CPU, så snart din CPU kan sende instruktioner, begynder GPU'en at behandle dem. Når det anvendes over toppen af ​​DLSS 3, siger Nvidia, at Reflex nogle gange endda kan resultere i en latensreduktion.

Hvor AI gør en forskel

AMDs FSR 2.0 bruger ikke AI, og som jeg skrev om for et stykke tid tilbage, beviser det, at du kan få samme kvalitet som DLSS med algoritmer i stedet for maskinlæring. DLSS 3 ændrer det med sine unikke frame-genereringsevner samt introduktionen af ​​optisk flow.

Optisk flow er ikke en ny idé - det har eksisteret i årtier og har applikationer i alt fra videoredigeringsapplikationer til selvkørende biler. Imidlertid, beregning af optisk flow med maskinlæring er relativt ny på grund af en stigning i datasæt at træne AI-modeller på. Grunden til, at du gerne vil bruge kunstig intelligens, er enkel: den producerer færre visuelle fejl, givet nok træning, og den har ikke så meget overhead under kørsel.

DLSS kører under kørsel. Det er muligt at udvikle en algoritme, fri for maskinlæring, til at estimere, hvordan hver pixel bevæger sig fra en frame til det næste, men det er beregningsmæssigt dyrt, hvilket strider mod hele pointen med supersampling i den første placere. Med en AI-model, der ikke kræver mange hestekræfter og nok træningsdata - og rolig, Nvidia har masser af træningsdata at arbejde med — du kan opnå optisk flow, der er af høj kvalitet og kan udføres på køretid.

Det fører til en forbedring i billedhastighed, selv i spil, der er CPU-begrænsede. Supersampling gælder kun for din opløsning, som næsten udelukkende afhænger af din GPU. Med en ny ramme, der omgår CPU-behandling, kan DLSS 3 fordoble billedhastigheder i spil, selvom du har en komplet CPU flaskehals. Det er imponerende og i øjeblikket kun muligt med AI.

Hvorfor FSR 2.0 ikke kan hamle op (for nu)

AMD har virkelig gjort det umulige med FSR 2.0. Det ser fantastisk ud, og det faktum, at det er mærkeagnostisk, er endnu bedre. jeg har været klar til grøft DLSS til FSR 2.0 siden jeg så det første gang Deathloop. Men lige så meget som jeg nyder FSR 2.0 og synes, det er et fantastisk stykke kit fra AMD, vil det ikke indhente DLSS 3 i den nærmeste fremtid.

For det første er det svært nok at udvikle en algoritme, der kan spore hver pixel mellem billeder uden artefakter, især i et 3D-miljø med tætte fine detaljer (Cyberpunk 2077 er et godt eksempel). Det er muligt, men hårdt. Det større problem er imidlertid, hvor oppustet den algoritme skal være. Sporing af hver pixel gennem 3D-rum, lav den optiske flowberegning, generering af en ramme og rydde op i eventuelle uheld, der sker undervejs - det er meget at forlange.

At få det til at køre, mens et spil køres og stadig giver en billedhastighedsforbedring på niveau med FSR 2.0 eller DLSS, det er endnu mere at spørge. Nvidia, selv med dedikerede processorer og en trænet model, skal stadig bruge Reflex til at udligne den højere latenstid, som optisk flow pålægger. Uden den hardware eller software ville FSR sandsynligvis handle for meget latens til at generere frames.

Jeg er ikke i tvivl om, at AMD og andre udviklere vil komme dertil med tiden - eller finde en anden vej rundt om problemet - men det kan være et par år hen ad vejen. Det er svært at sige lige nu.

Det, der er nemt at sige, er, at DLSS 3 ser meget spændende ud. Selvfølgelig bliver vi nødt til at vente, indtil det er her for at validere Nvidias præstationskrav og se, hvordan billedkvaliteten holder. Indtil videre har vi kun en kort video fra Digital Foundry, der viser DLSS 3-optagelser (ovenfor), som jeg varmt vil anbefale at se, indtil vi ser yderligere tredjepartstest. Fra vores nuværende udsigtspunkt ser DLSS 3 dog bestemt lovende ud.

Denne artikel er en del af ReSpec – en løbende klumme hver anden uge, der inkluderer diskussioner, råd og dybdegående rapportering om teknologien bag pc-spil.

Redaktørens anbefalinger

• Hvorfor Nvidia RTX 4060 Ti simpelthen ikke er nok til 2023
• Sådan får du Redfall Bite Back Edition gratis fra Nvidia
• Jeg skiftede til en AMD GPU i en måned - her er grunden til, at jeg ikke savner Nvidia
• Hvis AMD's RX 7900 XTX påstande er sande, kan Nvidia være i store problemer
• AMD river smeltende RTX 4090-adapter, da Nvidia står over for gruppesøgsmål