Nvidia RTX DLSS: allt du behöver veta

Nvidia har två enastående funktioner på sin RTX 30-serien och RTX 40-serien grafikkort: ray tracing och DLSS. PlayStation 5 och Xbox Series X har båda gjort ett bra jobb med att introducera de flesta människor till ray tracing, men DLSS är fortfarande lite oklar. Det är lite komplicerat, men det låter dig spela ett spel med en virtualiserad högre upplösning och bibehålla större detaljer och högre bildfrekvens utan att belasta ditt grafikkort lika mycket. Det ger dig det bästa av alla världar genom att utnyttja kraften i maskininlärning, och med introduktionen av DLSS 3, tekniken blev bara ännu kraftfullare.

Men det finns lite mer i historien än så. Här är allt du behöver veta om DLSS, hur det fungerar och vad det kan göra för dina PC-spel.

Vad är DLSS?

DLSS står för deep learning supersampling. "Supersampling"-biten hänvisar till en kantutjämningsmetod som jämnar ut de taggiga kanterna som visas på renderad grafik. Utöver andra former av kantutjämning fungerar dock SSAA (supersampling kantutjämning) genom att rendera bilden med en mycket högre upplösning och använda dessa data för att fylla i luckorna vid den ursprungliga upplösningen.

Den "djupa inlärningsdelen" är Nvidias hemliga sås. Med hjälp av kraften i maskininlärning kan Nvidia träna AI-modeller med högupplösta skanningar. Sedan kan anti-aliasingmetoden använda AI-modellen för att fylla i den saknade informationen. Detta är viktigt, eftersom SSAA vanligtvis kräver att du renderar den högre upplösta bilden lokalt. Nvidia gör det offline, borta från din dator, vilket ger fördelarna med supersampling utan datorkostnader.

Allt detta är möjligt tack vare Nvidias Tensor-kärnor, som endast är tillgängliga i RTX GPU: er (utanför datacenterlösningar, som t.ex. Nvidia A100). Även om GPU: er i RTX 20-serien har Tensor-kärnor inuti, kommer RTX 3060, 3060 Ti, 3070, 3080 och 3090 med Nvidias andra generationens Tensor-kärnor, som erbjuder bättre prestanda per kärna.

Nvidias senaste grafikkort från RTX 40-serien tar upp Tensor-kärnorna till sin fjärde generation. Detta gör DLSS-boosten ännu mer kraftfull. Tack vare den nya 8-bitars flytpunktstensormotorn har kärnornas genomströmning ökat med så mycket som fem gånger jämfört med föregående generation.

Nvidia leder satsningen på detta område, även om AMD är nytt FidelityFX Super Resolution-funktion kan ge hård konkurrens. Även Intel har sin egen supersamplingsteknik som kallas Intel XeSS, eller Intel Xe Super Sampling. Mer om det senare.

Vad gör DLSS egentligen?

DLSS är resultatet av en uttömmande process för att lära Nvidias AI-algoritm för att generera snyggare spel. Efter att ha renderat spelet med en lägre upplösning, härleder DLSS information från sin kunskapsbas om superupplöst bildträning för att generera en bild som fortfarande ser ut att köras på en högre nivå upplösning. Tanken är att få spel som renderats i 1440p att se ut som om de körs i 4K- eller 1080p-spel för att se ut som 1440p. DLSS 2.0 erbjuder fyra gånger så hög upplösning, vilket gör att du kan rendera spel i 1080p samtidigt som du matar ut dem i 4K.

Mer traditionella superupplösningstekniker kan leda till artefakter och buggar i den eventuella bilden, men DLSS är utformad för att arbeta med dessa fel för att skapa en ännu snyggare bild. Under de rätta omständigheterna kan den leverera betydande prestandahöjningar utan att påverka utseendet och känslan av ett spel; tvärtom kan det få spelet att se ännu bättre ut.

Där tidiga DLSS-spel gillar Final Fantasy XV levererade blygsamma bildhastighetsförbättringar på bara 5 bilder per sekund (fps) till 15 fps, nyare versioner har sett mycket större förbättringar. Med spel som Befria oss månen och Wolfenstein: Youngblood, introducerade Nvidia en ny AI-motor för DLSS, som vi får höra förbättrar bildkvaliteten, särskilt vid lägre upplösningar som 1080p, och kan öka bildhastigheten i vissa fall med över 50 %.

Med den senaste versionen av DLSS 3 kan ökningen av bildhastigheten bli ännu mer betydande tack vare den nya bildgenereringsfunktionen. Tidigare implementeringar av DLSS hade bara Tensor-kärnorna som fick ramarna att se bättre ut, men nu kan ramar renderas med bara AI. Vi kommer att diskutera DLSS 3 mer detaljerat senare.

Det finns också nya kvalitetsjusteringslägen som DLSS-användare kan göra, välja mellan prestanda, Balanserad och kvalitet, var och en fokuserar RTX GPU: s Tensor core hästkrafter på en annan aspekt av DLSS.

Hur fungerar DLSS?

DLSS tvingar ett spel att rendera med en lägre upplösning (vanligtvis 1440p) och använder sedan sin tränade AI-algoritm för att sluta sig till hur det skulle se ut om det renderades med en högre (vanligtvis 4K). Det gör det genom att använda vissa kantutjämningseffekter (troligen Nvidias egen TAA) och en del automatiserad skärpning. Visuella artefakter som inte skulle finnas i högre upplösningar stryks också ut och används till och med för att sluta sig till detaljerna som borde finnas i en bild.

Som Eurogamer förklarar, AI-algoritmen är tränad att titta på vissa spel med extremt höga upplösningar (förmodligen 64x supersampling) och destilleras ner till något som bara är några megabyte i storlek innan det läggs till i de senaste Nvidia-drivrutinerna och görs tillgängligt för spelare över hela värld. Ursprungligen var Nvidia tvungen att gå igenom denna process spel för spel. I DLSS 2.0 tillhandahåller Nvidia en generell lösning, så AI-modellen behöver inte längre tränas för varje spel.

I själva verket är DLSS en realtidsversion av Nvidias skärmbildsförbättrande Ansel-teknik. Den återger bilden med en lägre upplösning för att ge en prestandaökning, och applicerar sedan olika effekter för att leverera en relativt jämförbar total effekt för att höja upplösningen.

Resultatet kan bli blandat, men i allmänhet leder det till högre bildhastigheter utan en betydande förlust av visuell trohet. Nvidia hävdar att bildhastigheter kan förbättras med så mycket som 75 % i Remedy Entertainments Kontrollera när du använder både DLSS och ray tracing. Det är vanligtvis mindre uttalat än så, och alla är inte fan av det slutliga utseendet på ett DLSS-spel, men alternativet är verkligen där för dem som vill försköna sina spel utan kostnaden för att köra på en högre upplösning.

I Death Stranding, vi såg betydande förbättringar vid 1440p jämfört med inbyggd rendering. Prestandaläget förlorade några av de finare detaljerna på bakpaketet, särskilt i tejpen. Kvalitetsläget bibehöll det mesta av detaljerna samtidigt som det jämnade ut några av de grova kanterna på den ursprungliga renderingen. Vår "DLSS off"-skärmdump visar kvaliteten utan någon kantutjämning. Även om DLSS inte upprätthåller den kvalitetsnivån, är det mycket effektivt för att bekämpa aliasing samtidigt som det behåller de flesta detaljerna.

Vi såg ingen överskärpning Death Stranding, men det är något du kan stöta på när du använder DLSS.

Bättre med tiden

DLSS har potential att ge spelare som inte riktigt kan nå bekväma bildhastigheter vid upplösningar över 1080p möjligheten att göra det med slutledning. DLSS är verkligen en av de mest kraftfulla funktionerna hos RTX GPU: er. De är inte så kraftfulla som vi kanske hade hoppats, och strålspårningseffekterna är vackra men tenderar att ha en ansenlig påverka prestanda, men DLSS ger oss det bästa av två världar: snyggare spel som också presterar bättre.

Ursprungligen verkade det som att DLSS skulle vara en nischfunktion för low-end grafikkort, men så är inte fallet. Istället har DLSS aktiverat spel som Cyberpunk 2077 och Kontrollera att driva visuell trohet på avancerad hårdvara utan att göra spelen ospelbara. DLSS lyfter low-end hårdvara samtidigt som den ger en inblick i framtiden för high-end hårdvara.

Nvidia har visat RTX 3090-renderingsspel som Wolfenstein: YoungBlood vid 8K med ray tracing och DLSS påslagen. Även om bred användning av 8K fortfarande är långt borta, blir 4K-skärmar allt vanligare. Istället för att rendera i inbyggt 4K och hoppas på att hålla sig runt 50 fps till 60 fps, kan spelare rendera i 1080p eller 1440p och använda DLSS för att fylla i den saknade informationen. Resultatet är högre bildfrekvens utan märkbar förlust i bildkvalitet.

DLSS förbättras hela tiden också, och den får regelbundna uppdateringar i ett försök att förbättra AI-algoritmen. Det gör det nu möjligt att använda rörelsevektorer på ett smartare sätt, vilket i huvudsak hjälper till att förbättra hur objekt ser ut när de rör sig. Uppdateringen minskar också spökbilder, gör att partikeleffekter ser tydligare ut och förbättrar tidsstabiliteten. DLSS 2 är nu ganska allmänt antagen, och 216 spel stöder det från och med september 2022.

Förbättringarna slutar dock inte där. Faktum är att saker och ting kommer att bli mycket mer intressanta med introduktionen av DLSS 3.

DLSS 3 återuppfinner tekniken genom att rendera ramar istället för pixlar

Den 20 september under sin GTC 2022 keynote, Nvidia tillkännagav DLSS 3 — den senaste versionen av tekniken som kommer att vara tillgänglig för ägarna av RTX 40-seriens grafikkort. Till skillnad från några av de tidigare, mindre uppdateringarna är förändringarna av DLSS stora den här gången, och de har potential att erbjuda en enorm ökning av prestanda med tillägg av AI-genererade ramar, som skapas med de verkliga ramarna som en GPU återger. Det här skiljer sig mycket från DLSS och DLSS 2, som just tog upp riktiga bildrutor med AI-driven uppskalning.

Det finns för närvarande fyra GPU: er som stöder DLSS 3:

• RTX 4090
• RTX 4080
• RTX 4070 Ti
• RTX 4070

I vår RTX 4090 recension, fann vi att DLSS 3 kunde leverera betydligt högre bildhastigheter än DLSS 2. I Cyberpunk 2077 vid 4K med strålspårning inställd på max, gav aktivering av DLSS 3 nästan 50 % fler bildrutor än att bara använda DLSS 2; jämfört med att inte använda DLSS alls, hade DLSS 3 över tre gånger så hög bildfrekvens. I denna aspekt levererar DLSS 3 exakt som Nvidia lovade.

Det finns dock några tekniska begränsningar med DLSS 3. I grund och botten infogar DLSS en AI-genererad ram mellan två verkliga ramar, och den AI-ramen ritas upp baserat på skillnaderna mellan de två riktiga ramarna. Naturligtvis betyder detta att GPU: n inte kan visa dig den andra riktiga ramen innan du ser den AI-genererade ramen, vilket är anledningen till att latensen är så mycket högre med DLSS 3. Detta är anledningen Nvidia reflex måste också vara aktiverat för att DLSS 3 ska fungera.

Den andra stora begränsningen för DLSS 3 beror helt enkelt på att AI-genererade ramar har misstag och konstiga visuella buggar. I våra tester fann vi att det var en generell kvalitetsminskning när DLSS 3 aktiverades, vilket är lätt att förbise när bildhastighetsökningarna är så höga, men vissa kvalitetsproblem är svåra att ignorera. Speciellt UI- eller HUD-element blir förvrängda i de AI-genererade ramarna, förmodligen för att AI: n är inriktad på 3D-miljöer och inte 2D-text som ligger ovanpå själva spelet. DLSS 2 har inte det här problemet eftersom användargränssnittet renderas oberoende av 3D-elementen, till skillnad från DLSS 3.

Nedan är en skärmdump från Cyberpunk 2077 jämför DLSS 3, DLSS 2 och inbyggd upplösning från vänster till höger. När det kommer till miljön är båda implementeringarna av DLSS bättre än de ursprungliga, men du kan se också att i DLSS 3-skärmdumpen till vänster är uppdragsmarkören förvrängd och texten är oläslig. Detta är vanligtvis vad som händer i AI-genererade ramar i spel som har DLSS 3.

Å ena sidan skjuter DLSS 3 fram ramar ännu högre och har vanligtvis inte mycket sämre visuell kvalitet än DLSS 2. Men å andra sidan, att aktivera DLSS 3 gör att latensen blir mycket hög i förhållande till bildhastigheten och kan introducera konstiga visuella buggar, särskilt på UI- och HUD-element. Att sänka latensen och minska visuella artefakter kommer utan tvekan att vara en utmaning för Nvidia eftersom dessa är grundläggande kompromisser som kommer med DLSS 3. För en första generationens teknik är det dock ett bra första försök, och förhoppningsvis kommer Nvidia att kunna förbättra saker med framtida iterationer av DLSS 3.

DLSS 3 är sakta på väg in i fler spel. Här är titlarna som för närvarande stöder DLSS 3:

• A Plague Tale: Requiem
• Atomiskt hjärta
• Ljust minne: Oändligt
• Tjernobyliten
• Conqueror's Blade
• Cyberpunk 2077
• Befria oss Mars
• Förstör alla människor 2
• Döende ljus 2
• F1 22
• NÄVE: Forged in Shadow Torch
• Hitman 3
• Arvet från Hogwarts
• Ikaros
• Jurassic World Evolution 2
• Rättvisa
• Loopmancer
• Marodörer
• Marvels Spider-Man remastrad
• Microsoft Flight Simulator
• Midnattsspökjakt
• Mount and Blade 2 Bannerlord
• Naraka Bladepoiint
• Portal RTX
• Slita ut
• The Witcher 3 Wild Hunt
• Warhammer 40 000 Darktide

DLSS kontra FSR kontra RSR kontra XeSS

AMD är Nvidias största konkurrent när det kommer till grafikteknik. För att konkurrera med DLSS, AMD släppt FidelityFX Super Resolution (FSR) år 2021. Även om det uppnår samma mål att förbättra grafiken samtidigt som den höjer bildhastigheten, fungerar FSR helt annorlunda än DLSS. FSR renderar bildrutor med lägre upplösning och använder sedan en rumslig uppskalningsalgoritm med öppen källkod för att få spelet att se ut som om det körs med en högre upplösning och inte tar hänsyn till rörelsevektor data. DLSS använder en AI-algoritm för att leverera samma resultat, men denna teknik stöds endast av Nvidias egna RTX GPU: er. FSR, å andra sidan, kan fungera på nästan vilken GPU som helst.

Förutom FSR har AMD även Radeon Super Resolution (RSR), som är en spatial uppskalningsteknik som använder sig av AI. Även om detta låter som DLSS, finns det skillnader. RSR är byggt med samma algoritm som FidelityFX Super Resolution (FSR) och är en drivrutinsbaserad funktion som levereras via AMD: s Adrenalin-mjukvara. RSR syftar till att fylla luckan där FSR inte är tillgängligt, eftersom det senare måste implementeras direkt i specifika spel. I huvudsak borde RSR fungera i nästan alla spel, eftersom det inte kräver utvecklare att implementera det. Noterbart är att FSR är tillgängligt över nyare Nvidia och AMD GPU: er, och RSR, å andra sidan, är endast kompatibel med AMD: s RDNA-kort, som inkluderar Radeon RX 5000 och RX 6000-serien. Snart kommer den lineupen att utökas till att omfatta RDNA 3 och dess Radeon RX 7000-serie GPU: er.

Intel har också arbetat på sin egen supersamplingsteknik som kallas Xe Super Sampling (XeSS), och till skillnad från med FSR eller DLSS, finns det två olika versioner tillgängliga. Den första använder sig av XMX matrix matematiska enheter, som finns i sin nya Arc Alchemist GPU: er; dessa XMX-enheter tar hand om all AI-bearbetning på hårdvarusidan. Den andra versionen använder den allmänt accepterade instruktionen med fyra element vektorpunktprodukt (DP4a), tar därmed bort beroendet från Intels egen hårdvara och låter XeSS fungera på Nvidia och AMD GPU: er.

Redaktörens rekommendationer

• Fixade Nvidia just RTX 4090:s smältande strömkontakter?
• RTX 4060 Ti 16GB lanseras 18 juli mitt i desperata prissänkningar
• Vad är RAM? Här är allt du behöver veta
• Vad är GDDR7? Allt du behöver veta om nästa generations VRAM
• Jag testade Nvidias nya RTX 4060 mot RX 7600 - och den är inte snygg