Hoe Nvidia DLSS 3 werkt en waarom FSR voorlopig niet kan inhalen

Nvidia's RTX 40-serie grafische kaarten komen over een paar weken aan, maar tussen alle hardwareverbeteringen ligt wat het gouden ei van Nvidia zou kunnen zijn: DLSS 3. Het is veel meer dan alleen een update van de populaire DLSS-functie (Deep Learning Super Sampling) van Nvidia, en het zou kunnen eindigen het definiëren van de volgende generatie van Nvidia veel meer dan de grafische kaarten zelf.

AMD heeft hard gewerkt om zijn FidelityFX Superresolutie (FSR) vergelijkbaar met DLSS, en de afgelopen maanden is het succesvol geweest. DLSS 3 ziet eruit alsof het die dynamiek zal veranderen - en deze keer kan FSR misschien niet snel inhalen.

Hoe DLSS 3 werkt (en hoe het niet werkt)

Het zou je vergeven zijn als je denkt dat DLSS 3 een compleet nieuwe versie is van

DLSS, maar dat is het niet. Of het is in ieder geval niet helemaal nieuw. De ruggengraat van DLSS 3 is dezelfde superresolutietechnologie die tegenwoordig beschikbaar is in DLSS-titels, en Nvidia zal deze waarschijnlijk blijven verbeteren met nieuwe versies. Nvidia zegt dat je het superresolutiegedeelte van DLSS 3 nu als een aparte optie in de grafische instellingen zult zien.

Het nieuwe onderdeel is framegeneratie. DLSS 3 genereert om het andere frame een geheel uniek frame, in wezen zeven van elke acht pixels die u ziet. In onderstaand stroomschema ziet u daar een illustratie van. In het geval van 4K geeft je GPU alleen de pixels weer voor 1080p en gebruikt die informatie niet alleen voor het huidige frame, maar ook voor het volgende frame.

Framegeneratie zal volgens Nvidia een aparte schakelaar zijn van superresolutie. Dat komt omdat framegeneratie voorlopig alleen werkt op RTX 40-serie GPU's, terwijl de superresolutie blijft werken op alle RTX grafische kaarten, zelfs in games die zijn geüpdatet naar DLSS 3. Het zou vanzelfsprekend moeten zijn, maar als de helft van je frames volledig is gegenereerd, zal dat je prestaties een boost geven veel.

Het genereren van frames is echter niet zomaar een geheime AI-saus. In DLSS 2 en tools zoals FSR, bewegingsvectoren zijn een belangrijke input voor de opschaling. Ze beschrijven waar objecten van het ene frame naar het volgende bewegen, maar bewegingsvectoren zijn alleen van toepassing op geometrie in een scène. Elementen die geen 3D-geometrie hebben, zoals schaduwen, reflecties en deeltjes, worden traditioneel uit het opschalingsproces gemaskeerd om visuele artefacten te voorkomen.

Maskeren is geen optie wanneer een AI een geheel uniek frame genereert, en dat is waar de Optical Flow Accelerator in RTX 40-serie GPU's een rol speelt. Het is als een bewegingsvector, behalve dat de grafische kaart de beweging van individuele pixels van het ene frame naar het andere volgt. Dit optische stroomveld draagt ​​samen met bewegingsvectoren, diepte en kleur bij aan het door AI gegenereerde frame.

Het klinkt als alle voordelen, maar er is een groot probleem met frames die door de AI worden gegenereerd: ze verhogen de latentie. Het frame dat door de AI wordt gegenereerd, gaat nooit door je pc - het is een "nep" frame, dus je zult het niet zien op traditionele fps-uitlezingen in games of tools zoals FRAPS. De latentie neemt dus niet af, ondanks dat er zoveel extra frames zijn, en vanwege de rekenkundige overhead van optische stroom gaat de latentie zelfs omhoog. Daarom vereist DLSS 3 Nvidia-reflex om de hogere latentie te compenseren.

Normaal gesproken slaat uw CPU een weergavewachtrij op voor uw grafische kaart om ervoor te zorgen dat uw GPU nooit wacht op werk om te doen (dat zou stotteren en dalende framesnelheid veroorzaken). Reflex verwijdert de renderwachtrij en synchroniseert uw GPU en CPU, zodat zodra uw CPU instructies kan verzenden, de GPU deze begint te verwerken. Wanneer toegepast over DLSS 3, zegt Nvidia dat Reflex soms zelfs kan resulteren in een vermindering van de latentie.

Waar AI het verschil maakt

AMD's FSR 2.0 maakt geen gebruik van AI, en zoals ik een tijdje geleden schreef, bewijst het dat je dat kunt krijg dezelfde kwaliteit als DLSS met algoritmen in plaats van machine learning. DLSS 3 brengt daar verandering in met zijn unieke mogelijkheden voor het genereren van frames en de introductie van optische stroom.

Optische stroom is geen nieuw idee - het bestaat al tientallen jaren en heeft toepassingen in alles, van videobewerkingstoepassingen tot zelfrijdende auto's. Echter, optische stroom berekenen met machine learning is relatief nieuw vanwege een toename van datasets om AI-modellen op te trainen. De reden waarom u AI zou willen gebruiken, is simpel: het produceert minder visuele fouten bij voldoende training en het heeft tijdens runtime niet zoveel overhead.

DLSS wordt tijdens runtime uitgevoerd. Het is mogelijk om een ​​algoritme te ontwikkelen, vrij van machine learning, om te schatten hoe elke pixel zich van het ene frame naar het andere verplaatst de volgende, maar het is rekenkundig duur, wat indruist tegen het hele punt van supersampling in de eerste plaats. Met een AI-model dat niet veel pk's en voldoende trainingsgegevens vereist - en wees gerust, Nvidia heeft dat veel trainingsgegevens om mee te werken - u kunt een optische stroom bereiken die van hoge kwaliteit is en die u kunt uitvoeren looptijd.

Dat leidt tot een verbetering van de framesnelheid, zelfs in games die CPU-beperkt zijn. Supersampling is alleen van toepassing op uw resolutie, die bijna uitsluitend afhankelijk is van uw GPU. Met een nieuw frame dat de CPU-verwerking omzeilt, kan DLSS 3 de framerates in games verdubbelen, zelfs als je een complete hebt CPU-bottleneck. Dat is indrukwekkend en momenteel alleen mogelijk met AI.

Waarom FSR 2.0 (voorlopig) geen inhaalslag kan maken

AMD heeft echt het onmogelijke gedaan met FSR 2.0. Het ziet er fantastisch uit, en het feit dat het merkonafhankelijk is, is nog beter. Ik ben er klaar voor geweest gooi DLSS weg voor FSR 2.0 sinds ik het voor het eerst zag Deathloop. Maar hoezeer ik ook geniet van FSR 2.0 en denk dat het een geweldig stuk kit van AMD is, het zal DLSS 3 niet snel inhalen.

Om te beginnen is het al moeilijk genoeg om een ​​algoritme te ontwikkelen dat elke pixel tussen frames kan volgen zonder artefacten, vooral in een 3D-omgeving met zeer fijne details (Cyberpunk 2077 is een goed voorbeeld). Het is mogelijk, maar moeilijk. Het grotere probleem is echter hoe opgeblazen dat algoritme zou moeten zijn. Het volgen van elke pixel door de 3D-ruimte, het uitvoeren van de optische stroomberekening, het genereren van een frame en het opruimen van eventuele ongelukken die onderweg gebeuren - het is veel gevraagd.

Dat laten draaien terwijl een game wordt uitgevoerd en toch een verbetering van de framesnelheid bieden op het niveau van FSR 2.0 of DLSS, dat is nog meer gevraagd. Nvidia moet, zelfs met speciale processors en een getraind model, nog steeds Reflex gebruiken om de hogere latentie die wordt opgelegd door optische stroom te compenseren. Zonder die hardware of software zou FSR waarschijnlijk te veel latentie inruilen om frames te genereren.

Ik twijfel er niet aan dat AMD en andere ontwikkelaars er uiteindelijk zullen komen - of een andere manier zullen vinden om het probleem te omzeilen - maar dat kan een paar jaar later zijn. Het is nu moeilijk te zeggen.

Wat gemakkelijk te zeggen is, is dat DLSS 3 er erg opwindend uitziet. Natuurlijk zullen we moeten wachten tot het hier is om de prestatieclaims van Nvidia te valideren en te zien hoe de beeldkwaliteit standhoudt. Tot nu toe hebben we slechts een korte video van Digital Foundry met DLSS 3-beelden (hierboven), die ik ten zeerste zou aanbevelen om te bekijken totdat we verdere tests van derden zien. Vanuit ons huidige gezichtspunt ziet DLSS 3 er echter zeker veelbelovend uit.

Dit artikel is onderdeel van ReSpec - een doorlopende tweewekelijkse column met discussies, advies en diepgaande rapportage over de technologie achter pc-gaming.

Aanbevelingen van de redactie

• Waarom de Nvidia RTX 4060 Ti simpelweg niet genoeg is voor 2023
• Hier leest u hoe u Redfall Bite Back Edition gratis kunt krijgen van Nvidia
• Ik schakelde een maand over op een AMD GPU - dit is waarom ik Nvidia niet mis
• Als AMD's RX 7900 XTX-claims waar zijn, zou Nvidia in grote problemen kunnen komen
• AMD scheurt smeltende RTX 4090-adapter terwijl Nvidia wordt geconfronteerd met een class action-rechtszaak