Cum funcționează Nvidia DLSS 3 și de ce FSR nu poate ajunge din urmă pentru moment

ale Nvidia Placi grafice RTX seria 40 sosesc în câteva săptămâni scurte, dar printre toate îmbunătățirile hardware se află ceea ce ar putea fi oul de aur al Nvidia: DLSS 3. Este mult mai mult decât o actualizare a caracteristicii populare DLSS (Deep Learning Super Sampling) de la Nvidia și ar putea ajunge definind următoarea generație a Nvidia mult mai mult decât plăcile grafice în sine.

AMD a muncit din greu pentru a-l obține Super Rezoluție FidelityFX (FSR) la egalitate cu DLSS și, în ultimele câteva luni, a avut succes. DLSS 3 pare că va schimba această dinamică – și de data aceasta, este posibil ca FSR să nu poată prinde din urmă în curând.

Cum funcționează DLSS 3 (și cum nu)

Ai fi iertat să crezi că DLSS 3 este o versiune complet nouă a

DLSS, dar nu este. Sau cel puțin, nu este complet nou. Coloana vertebrală a DLSS 3 este aceeași tehnologie de super-rezoluție care este disponibilă astăzi în titlurile DLSS și, probabil, Nvidia va continua să o îmbunătățească cu noi versiuni. Nvidia spune că veți vedea acum partea de super-rezoluție a DLSS 3 ca o opțiune separată în setările grafice.

Noua parte este generarea cadrelor. DLSS 3 va genera un cadru complet unic la fiecare alt cadru, generând în esență șapte din fiecare opt pixeli pe care îi vedeți. Puteți vedea o ilustrare a acesteia în diagrama de mai jos. În cazul 4K, GPU-ul dvs. redă pixelii doar pentru 1080p și utilizează aceste informații nu numai pentru cadrul curent, ci și pentru următorul cadru.

Generarea cadrelor, conform Nvidia, va fi o comutare separată de super rezoluție. Asta pentru că generarea cadrelor funcționează deocamdată doar pe GPU-urile din seria RTX 40, în timp ce super-rezoluția va continua să funcționeze pe toate plăcile grafice RTX, chiar și în jocurile care au fost actualizate la DLSS 3. Ar trebui să fie de la sine înțeles, dar dacă jumătate din cadrele tale sunt complet generate, asta îți va crește performanța prin mult.

Generarea de cadre nu este doar un sos secret AI, totuși. În DLSS 2 și instrumente precum FSR, vectorii de mișcare sunt o intrare cheie pentru upscaling. Ele descriu locul în care obiectele se mișcă de la un cadru la altul, dar vectorii de mișcare se aplică numai geometriei dintr-o scenă. Elementele care nu au geometrie 3D, cum ar fi umbrele, reflexiile și particulele, au fost în mod tradițional mascate în afara procesului de upscaling pentru a evita artefactele vizuale.

Mascarea nu este o opțiune atunci când o inteligență artificială generează un cadru cu totul unic, care este locul în care intră în joc Acceleratorul de flux optic din GPU-urile din seria RTX 40. Este ca un vector de mișcare, cu excepția faptului că placa grafică urmărește mișcarea pixelilor individuali de la un cadru la altul. Acest câmp de flux optic, împreună cu vectorii de mișcare, adâncimea și culoarea, contribuie la cadrul generat de AI.

Sună ca toate avantajele, dar există o mare problemă cu cadrele generate de AI: măresc latența. Cadrul generat de AI nu trece niciodată prin PC - este un cadru „fals”, așa că nu îl veți vedea pe citirile fps tradiționale în jocuri sau instrumente precum FRAPS. Deci, latența nu scade, în ciuda faptului că are atât de multe cadre suplimentare și, din cauza supraîncărcării de calcul a fluxului optic, latența crește de fapt. Din acest motiv, DLSS 3 necesită Nvidia Reflex pentru a compensa latența mai mare.

În mod normal, procesorul dvs. stochează o coadă de randare pentru placa dvs. grafică pentru a vă asigura că GPU-ul dvs. nu așteaptă niciodată munca de făcut (care ar cauza bâlbâituri și scăderi ale ratei cadrelor). Reflex elimină coada de randare și sincronizează GPU-ul și CPU-ul, astfel încât, de îndată ce CPU-ul poate trimite instrucțiuni, GPU-ul începe să le proceseze. Când este aplicat peste DLSS 3, Nvidia spune că Reflex poate duce uneori chiar la o reducere a latenței.

Unde AI face diferența

FSR 2.0 de la AMD nu folosește AI și, așa cum am scris cu ceva timp în urmă, demonstrează că poți obține aceeași calitate ca DLSS cu algoritmi în loc de învățare automată. DLSS 3 schimbă acest lucru cu capacitățile sale unice de generare a cadrelor, precum și cu introducerea fluxului optic.

Fluxul optic nu este o idee nouă - există de zeci de ani și are aplicații în orice, de la aplicații de editare video până la mașini cu conducere autonomă. In orice caz, calcularea fluxului optic cu machine learning este relativ nou datorită creșterii seturilor de date pentru a antrena modele AI. Motivul pentru care ați dori să utilizați AI este simplu: produce mai puține erori vizuale dacă aveți suficientă pregătire și nu are atât de multă suprasarcină în timpul execuției.

DLSS se execută în timpul execuției. Este posibil să se dezvolte un algoritm, fără învățare automată, pentru a estima modul în care fiecare pixel se mișcă de la un cadru la următorul, dar este costisitor din punct de vedere computațional, ceea ce contravine întregului punct de supraeșantionare în primul loc. Cu un model AI care nu necesită mulți cai putere și suficiente date de antrenament - și fiți siguri, Nvidia are o mulțime de date de antrenament cu care să lucrați — puteți obține un flux optic de înaltă calitate și care poate fi executat timpul de rulare.

Acest lucru duce la o îmbunătățire a ratei de cadre chiar și în jocurile care sunt limitate de procesor. Supereșantionarea se aplică doar rezoluției dvs., care depinde aproape exclusiv de GPU-ul dvs. Cu un nou cadru care ocolește procesarea CPU, DLSS 3 poate dubla ratele de cadre în jocuri, chiar dacă aveți o blocaj CPU. Este impresionant și în prezent este posibil doar cu AI.

De ce FSR 2.0 nu poate ajunge din urmă (deocamdată)

AMD a făcut cu adevărat imposibilul cu FSR 2.0. Arată fantastic, iar faptul că este agnostic de marcă este și mai bun. Am fost gata șanț DLSS pentru FSR 2.0 de când l-am văzut prima dată în Deathloop. Dar, oricât de mult îmi place FSR 2.0 și cred că este o piesă grozavă de kit de la AMD, nu va ajunge la DLSS 3 prea curând.

Pentru început, dezvoltarea unui algoritm care poate urmări fiecare pixel între cadre fără artefacte este destul de dificilă, mai ales într-un mediu 3D cu detalii fine dense (Cyberpunk 2077 este un prim exemplu). Este posibil, dar greu. Problema mai mare, însă, este cât de umflat ar trebui să fie acel algoritm. Urmărirea fiecărui pixel prin spațiul 3D, calculul fluxului optic, generarea unui cadru și curățarea oricăror accidente care se întâmplă pe parcurs - este mult de cerut.

A face ca acesta să ruleze în timp ce un joc se execută și oferind în continuare o îmbunătățire a ratei de cadre la nivelul FSR 2.0 sau DLSS, asta este și mai mult de cerut. Nvidia, chiar și cu procesoare dedicate și un model antrenat, trebuie să folosească Reflex pentru a compensa latența mai mare impusă de fluxul optic. Fără acel hardware sau software, FSR ar tranzacționa probabil prea multă latență pentru a genera cadre.

Nu am nicio îndoială că AMD și alți dezvoltatori vor ajunge acolo în cele din urmă - sau vor găsi o altă cale de a ocoli problema - dar asta ar putea dura câțiva ani mai târziu. Este greu de spus acum.

Ceea ce este ușor de spus este că DLSS 3 arată foarte interesant. Desigur, va trebui să așteptăm până când este aici pentru a valida afirmațiile de performanță ale Nvidia și pentru a vedea cum se menține calitatea imaginii. Până acum, avem doar un scurt videoclip de la Digital Foundry care arată înregistrările DLSS 3 (mai sus), pe care vă recomand cu căldură să îl vizionați până când vom vedea noi teste terțe. Din punctul nostru de vedere actual, totuși, DLSS 3 pare cu siguranță promițător.

Acest articol face parte din Respec – o coloană bisăptămânală care include discuții, sfaturi și rapoarte aprofundate despre tehnologia din spatele jocurilor pe computer.

Recomandările editorilor

• De ce Nvidia RTX 4060 Ti pur și simplu nu este suficient pentru 2023
• Iată cum puteți obține Redfall Bite Back Edition gratuit de la Nvidia
• Am trecut la un GPU AMD timp de o lună - iată de ce nu îmi lipsește Nvidia
• Dacă afirmațiile AMD RX 7900 XTX sunt adevărate, Nvidia ar putea avea mari probleme
• AMD dezactivează adaptorul RTX 4090 care se topește în timp ce Nvidia se confruntă cu un proces colectiv