Kuinka Nvidia DLSS 3 toimii ja miksi FSR ei pääse kiinni toistaiseksi

Tämä tarina on osa Jacob Roachin ReSpec-sarjaa, joka kattaa PC-pelien ja -laitteistojen maailman.

Nvidian RTX 40-sarjan näytönohjaimet saapuvat muutaman viikon sisällä, mutta kaikkien laitteistoparannusten joukossa voi olla Nvidian kultainen muna: DLSS 3. Se on paljon enemmän kuin pelkkä päivitys Nvidian suosittuun DLSS-ominaisuuteen (Deep Learning Super Sampling), ja se voi päätyä määrittää Nvidian seuraavan sukupolven paljon enemmän kuin itse näytönohjaimet.

AMD on tehnyt kovasti töitä saadakseen sen FidelityFX Super Resolution (FSR) DLSS: n tasolla, ja viimeisten kuukausien aikana se on onnistunut. DLSS 3 näyttää muuttavan tätä dynamiikkaa - ja tällä kertaa FSR ei ehkä pysty saavuttamaan lähiaikoina.

Miten DLSS 3 toimii (ja miten se ei)

Saat anteeksi, jos luulet, että DLSS 3 on täysin uusi versio DLSS, mutta se ei ole. Tai ainakaan se ei ole täysin uusi. DLSS 3:n selkäranka on sama superresoluutiotekniikka, joka on saatavilla DLSS-nimikkeissä tänään, ja Nvidia todennäköisesti jatkaa sen parantamista uusilla versioilla. Nvidia sanoo, että näet nyt DLSS 3:n superresoluutio-osan erillisenä vaihtoehtona grafiikka-asetuksissa.

Uusi osa on kehyssukupolvi. DLSS 3 luo täysin ainutlaatuisen kehyksen joka toinen kehys, käytännössä seitsemän jokaisesta kahdeksasta näkemästäsi pikselistä. Voit nähdä esimerkin siitä alla olevasta vuokaaviosta. 4K: n tapauksessa GPU renderöi vain 1080p: n pikselit ja käyttää näitä tietoja nykyisen kehyksen lisäksi myös seuraavaan kehykseen.

Nvidian mukaan kehysten luominen on erillinen kytkin superresoluutiosta. Tämä johtuu siitä, että kehysten luominen toimii toistaiseksi vain RTX 40 -sarjan GPU: illa, kun taas superresoluutio toimii edelleen kaikissa RTX-näytönohjainkorteissa, jopa peleissä, jotka on päivitetty DLSS 3:een. On sanomattakin selvää, mutta jos puolet kehyksistäsi on luotu kokonaan, se parantaa suorituskykyäsi paljon.

Kehyksen sukupolvi ei kuitenkaan ole vain tekoälyn salainen kastike. Sisään DLSS 2 ja työkalut, kuten FSR, liikevektorit ovat avainsyöte skaalaukseen. Ne kuvaavat, missä kohteet liikkuvat kehyksestä toiseen, mutta liikevektorit koskevat vain kohtauksen geometriaa. Elementit, joilla ei ole 3D-geometriaa, kuten varjot, heijastukset ja hiukkaset, on perinteisesti peitetty pois skaalausprosessista visuaalisten artefaktien välttämiseksi.

Peittäminen ei ole vaihtoehto, kun tekoäly luo täysin ainutlaatuisen kehyksen, jolloin RTX 40 -sarjan GPU: iden Optical Flow Accelerator tulee käyttöön. Se on kuin liikevektori, paitsi että näytönohjain seuraa yksittäisten pikselien liikettä kehyksestä toiseen. Tämä optinen virtauskenttä sekä liikevektorit, syvyys ja värit vaikuttavat tekoälyn luomaan kehykseen.

Se kuulostaa kaikilta positiiviselta, mutta tekoälyn luomissa kehyksissä on suuri ongelma: ne lisäävät latenssia. Tekoälyn luoma kehys ei koskaan kulje tietokoneesi läpi – se on "väärennetty" kehys, joten et näe sitä perinteisissä fps-lukemissa peleissä tai työkaluissa, kuten FRAPS. Joten latenssi ei laske, vaikka ylimääräisiä kehyksiä on niin paljon, ja optisen virran laskennallisen ylimääräisen rasituksen vuoksi latenssi itse asiassa kasvaa. Tästä syystä DLSS 3 vaatii Nvidia Reflex kompensoimaan korkeampaa latenssia.

Normaalisti suorittimesi tallentaa grafiikkasuorittimellesi renderöintijonon varmistaakseen, että grafiikkasuoritin ei koskaan odota työskentelyä (mikä aiheuttaisi pätkimistä ja kuvanopeuden laskua). Reflex poistaa renderöintijonon ja synkronoi GPU: n ja CPU: n, jotta GPU alkaa käsitellä niitä heti, kun CPU voi lähettää ohjeita. Kun sitä käytetään DLSS 3:n päälle, Nvidia sanoo, että Reflex voi joskus jopa vähentää latenssia.

Missä tekoäly vaikuttaa

AMD: n FSR 2.0 ei käytä tekoälyä, ja kuten kirjoitin vähän aikaa sitten, se osoittaa, että voit saada sama laatu kuin DLSS algoritmeilla koneoppimisen sijaan. DLSS 3 muuttaa tilanteen ainutlaatuisilla kehysten luontiominaisuuksilla sekä optisen virtauksen käyttöönotolla.

Optinen virtaus ei ole uusi idea – se on ollut olemassa vuosikymmeniä ja sillä on sovelluksia kaikkeen videoeditointisovelluksista itseajaviin autoihin. Kuitenkin, optisen virtauksen laskeminen koneoppimisen avulla on suhteellisen uusi, koska tietojoukot lisääntyvät AI-mallien kouluttamiseen. Syy siihen, miksi haluat käyttää tekoälyä, on yksinkertainen: se tuottaa vähemmän visuaalisia virheitä riittävällä harjoittelulla, eikä sillä ole yhtä paljon ylimääräisiä kustannuksia ajon aikana.

DLSS suoritetaan suorituksen aikana. On mahdollista kehittää koneoppimisesta vapaa algoritmi, joka arvioi, kuinka kukin pikseli liikkuu kehyksestä toiseen seuraava, mutta se on laskennallisesti kallis, mikä on vastoin koko supersamplingin tarkoitusta ensimmäisessä paikka. Tekoälymallilla, joka ei vaadi paljon hevosvoimia ja riittävästi harjoitustietoja – ja voit olla varma, Nvidia on runsaasti harjoitustietoa käytettäväksi – voit saavuttaa korkealaatuisen optisen virtauksen, joka voidaan suorittaa suoritusaika.

Tämä johtaa parannukseen kuvanopeudessa jopa peleissä, joissa on rajoitettu suoritin. Supersampling koskee vain resoluutiotasi, joka riippuu lähes yksinomaan grafiikkasuorittimestasi. Uuden kehyksen ansiosta, joka ohittaa suorittimen käsittelyn, DLSS 3 voi kaksinkertaistaa kuvanopeudet peleissä, vaikka sinulla olisi täydellinen CPU pullonkaula. Se on vaikuttavaa ja tällä hetkellä mahdollista vain tekoälyllä.

Miksi FSR 2.0 ei saa kiinni (toistaiseksi)

AMD on todella tehnyt mahdotonta FSR 2.0:lla. Se näyttää fantastiselta, ja se, että se on merkkiagnostikko, on vielä parempi. olen ollut valmis DLSS FSR 2.0:lle siitä lähtien kun näin sen ensimmäisen kerran Deathloop. Mutta vaikka pidänkin FSR 2.0:sta ja pidän sitä loistavana AMD: n pakettina, se ei saavuta DLSS 3:a lähiaikoina.

Ensinnäkin sellaisen algoritmin kehittäminen, joka pystyy seuraamaan jokaista pikseliä kehysten välillä ilman artefakteja, on riittävän vaikeaa, varsinkin 3D-ympäristössä, jossa on tiheitä hienoja yksityiskohtia (Cyberpunk 2077 on hyvä esimerkki). Se on mahdollista, mutta vaikeaa. Isompi ongelma on kuitenkin se, kuinka paisunut algoritmin pitäisi olla. Jokaisen pikselin seuraaminen 3D-avaruudessa, optisen virtauslaskelman tekeminen, kehyksen luominen ja mahdollisten matkan varrella tapahtuvien onnettomuuksien siivoaminen – on paljon kysyttävä.

Sitä on vielä enemmän kysyttävä, jos haluat saada sen toimimaan pelin ollessa käynnissä ja silti parantamaan kuvanopeutta FSR 2.0:n tai DLSS: n tasolle. Nvidian, jopa erillisillä prosessoreilla ja koulutetulla mallilla, on silti käytettävä Reflexiä kompensoidakseen optisen virtauksen aiheuttamaa korkeampaa latenssia. Ilman tätä laitteistoa tai ohjelmistoa FSR todennäköisesti vaihtaisi liikaa viivettä kehysten luomiseen.

Minulla ei ole epäilystäkään siitä, että AMD ja muut kehittäjät pääsevät sinne lopulta - tai löytävät toisen tavan kiertää ongelma - mutta se voi kestää muutaman vuoden. Vaikea sanoa juuri nyt.

Helppo sanoa, että DLSS 3 näyttää erittäin jännittävältä. Tietenkin meidän on odotettava, kunnes se on täällä, vahvistaaksemme Nvidian suorituskykyvaatimukset ja nähdäksemme, kuinka kuvanlaatu kestää. Toistaiseksi meillä on vain lyhyt video Digital Foundrysta, jossa esitellään DLSS 3 -materiaalia (yllä), jota suosittelen katsomaan, kunnes näemme lisää kolmannen osapuolen testauksia. Nykyisestä näkökulmastamme DLSS 3 näyttää kuitenkin varmasti lupaavalta.

Tämä artikkeli on osa ReSpec – jatkuva kahdesti viikossa ilmestyvä kolumni, joka sisältää keskusteluja, neuvoja ja perusteellista raportointia PC-pelaamisen taustalla olevasta tekniikasta.

Toimittajien suositukset

• Miksi Nvidia RTX 4060 Ti ei yksinkertaisesti riitä vuodelle 2023
• Näin saat Redfall Bite Back Editionin ilmaiseksi Nvidiasta
• Vaihdoin AMD GPU: hun kuukaudeksi – tästä syystä en kaipaa Nvidiaa
• Jos AMD: n RX 7900 XTX -väitteet pitävät paikkansa, Nvidia voi olla suurissa vaikeuksissa
• AMD repii sulavan RTX 4090 -sovittimen, kun Nvidia joutuu ryhmäkanteen