Kā darbojas Nvidia DLSS 3 un kāpēc FSR pagaidām nevar panākt

dt piedāvātajam attēlam 2
Šis stāsts ir daļa no Džeikoba Roča ReSpec sērijas, kas aptver datoru spēļu un aparatūras pasauli.

Nvidia RTX 40 sērijas grafiskās kartes ieradīsies pēc dažām nedēļām, taču starp visiem aparatūras uzlabojumiem ir tas, kas varētu būt Nvidia zelta ola: DLSS 3. Tas ir daudz vairāk nekā tikai Nvidia populārās DLSS (Deep Learning Super Sampling) funkcijas atjauninājums, un tas var beigties definējot Nvidia nākamo paaudzi daudz vairāk nekā pašas grafiskās kartes.

Saturs

  • Kā darbojas DLSS 3 (un kā tas nedarbojas)
  • Kur AI rada atšķirību
  • Kāpēc FSR 2.0 nevar panākt (pagaidām)

Ieteiktie videoklipi

AMD ir smagi strādājis, lai to iegūtu FidelityFX Super Resolution (FSR) līdzvērtīgi DLSS, un pēdējos vairākus mēnešus tas ir bijis veiksmīgs. Šķiet, ka DLSS 3 mainīs šo dinamiku — un šoreiz FSR, iespējams, drīzumā nespēs panākt.

Kā darbojas DLSS 3 (un kā tas nedarbojas)

Diagramma, kurā parādīts, kā darbojas Nvidia DLSS 3 tehnoloģija.
Nvidia

Jums tiks piedots, ja domājat, ka DLSS 3 ir pilnīgi jauna versija DLSS, bet tā nav. Vai vismaz tas nav pilnīgi jauns. DLSS 3 mugurkauls ir tā pati superizšķirtspējas tehnoloģija, kas šodien ir pieejama DLSS nosaukumos, un Nvidia, iespējams, turpinās to uzlabot ar jaunām versijām. Nvidia saka, ka tagad grafikas iestatījumos redzēsit DLSS 3 superizšķirtspējas daļu kā atsevišķu opciju.

Saistīts

  • Nvidia nepārdod grafiskās kartes — tā pārdod DLSS
  • Ir iestatīts palaist pārlūkā Chrome pieejamo Nvidia DLSS versiju, taču jūs to vēl nevarat izmantot
  • Lūk, kāpēc Nvidia sitieni pret AMD draiveriem vienkārši nesakrīt

Jaunā daļa ir rāmja paaudze. DLSS 3 ģenerēs pilnīgi unikālu kadru katrā otrajā kadrā, būtībā ģenerējot septiņus no katriem astoņiem redzētajiem pikseļiem. Tālāk esošajā plūsmas diagrammā varat redzēt tā ilustrāciju. 4K gadījumā jūsu GPU atveido tikai 1080p pikseļus un izmanto šo informāciju ne tikai pašreizējam kadram, bet arī nākamajam kadram.

Diagramma, kurā parādīts, kā DLSS 3 rekonstruē kadrus.
Nvidia

Kadru ģenerēšana, saskaņā ar Nvidia, būs atsevišķa pārslēgšanās no super izšķirtspējas. Tas ir tāpēc, ka kadru ģenerēšana pašlaik darbojas tikai RTX 40 sērijas GPU, savukārt superizšķirtspēja turpinās darboties visās RTX grafikas kartēs, pat spēlēs, kas atjauninātas uz DLSS 3. Pats par sevi saprotams, bet, ja puse no jūsu kadriem ir pilnībā ģenerēta, tas uzlabos jūsu veiktspēju, daudz.

Tomēr kadru ģenerēšana nav tikai AI slepenā mērce. In DLSS 2 un tādi rīki kā FSR, kustības vektori ir galvenais mērogošanas ievads. Tie apraksta, kur objekti pārvietojas no viena kadra uz nākamo, bet kustības vektori attiecas tikai uz ainas ģeometriju. Elementi, kuriem nav 3D ģeometrijas, piemēram, ēnas, atspulgi un daļiņas, tradicionāli ir maskēti no palielināšanas procesa, lai izvairītos no vizuāliem artefaktiem.

Diagrammas kustība, izmantojot Nvidia DLSS 3.
Nvidia

Maskēšana nav iespējama, ja mākslīgais intelekts ģenerē pilnīgi unikālu kadru, kur tiek izmantots RTX 40. sērijas GPU optiskais plūsmas paātrinātājs. Tas ir kā kustības vektors, izņemot to, ka grafikas karte izseko atsevišķu pikseļu kustībai no viena kadra uz nākamo. Šis optiskais plūsmas lauks, kā arī kustības vektori, dziļums un krāsa veicina AI radīto kadru.

Tas izklausās kā visas priekšrocības, taču pastāv liela problēma ar AI ģenerētajiem kadriem: tie palielina latentumu. AI ģenerētais rāmis nekad neiziet cauri jūsu datoram — tas ir “viltus” rāmis, tāpēc jūs to neredzēsit tradicionālajos fps nolasījumos spēlēs vai rīkos, piemēram, FRAPS. Tātad latentums nesamazinās, lai gan ir tik daudz papildu kadru, un optiskās plūsmas skaitļošanas pārslodzes dēļ latentums faktiski palielinās. Tāpēc DLSS 3 ir nepieciešams Nvidia Reflex lai kompensētu lielāku latentumu.

Parasti jūsu centrālais procesors izveido grafiskās kartes renderēšanas rindu, lai pārliecinātos, ka GPU nekad negaida, kad būs jāpaveic darbs (tas varētu izraisīt stostīšanos un kadru ātruma samazināšanos). Reflex noņem renderēšanas rindu un sinhronizē jūsu GPU un centrālo procesoru, lai, tiklīdz jūsu CPU var nosūtīt instrukcijas, GPU sāktu tos apstrādāt. Lietojot DLSS 3 augšpusē, Nvidia saka, ka Reflex dažreiz var pat samazināt latentumu.

Kur AI rada atšķirību

Microsoft Flight Simulator | NVIDIA DLSS 3 — ekskluzīvs pirmais izskats

AMD FSR 2.0 neizmanto AI, un, kā jau kādu laiku iepriekš rakstīju, tas pierāda, ka varat iegūstiet tādu pašu kvalitāti kā DLSS ar algoritmiem, nevis mašīnmācīšanos. DLSS 3 to maina ar savām unikālajām kadru ģenerēšanas iespējām, kā arī optiskās plūsmas ieviešanu.

Optiskā plūsma nav jauna ideja — tā pastāv jau vairākus gadu desmitus, un tai ir pielietojums visās jomās, sākot no video rediģēšanas lietojumprogrammām un beidzot ar pašbraucošām automašīnām. tomēr optiskās plūsmas aprēķināšana ar mašīnmācīšanos ir salīdzinoši jauns, jo ir palielināts datu kopu skaits AI modeļu apmācībai. Iemesls, kāpēc vēlaties izmantot AI, ir vienkāršs: tas rada mazāk vizuālu kļūdu ar pietiekamu apmācību, un izpildes laikā tam nav tik daudz papildu izdevumu.

DLSS tiek izpildīts izpildlaikā. Ir iespējams izstrādāt algoritmu bez mašīnmācīšanās, lai novērtētu, kā katrs pikselis pārvietojas no viena kadra uz nākamais, taču tas ir skaitļošanas ziņā dārgs, un tas ir pretrunā visai superizlases jēgai pirmajā vieta. Izmantojot AI modeli, kuram nav nepieciešams daudz zirgspēku un pietiekami daudz apmācības datu — un esiet drošs, Nvidia ir daudz apmācības datu, ar kuriem strādāt — varat sasniegt augstas kvalitātes optisko plūsmu, ko var izpildīt izpildlaiks.

Tas uzlabo kadru ātrumu pat spēlēs, kurām ir ierobežots CPU. Superiztveršana attiecas tikai uz jūsu izšķirtspēju, kas gandrīz pilnībā ir atkarīga no jūsu GPU. Ar jaunu kadru, kas apiet CPU apstrādi, DLSS 3 var dubultot kadru ātrumu spēlēs, pat ja jums ir pilns CPU sašaurinājums. Tas ir iespaidīgi un pašlaik iespējams tikai ar AI.

Kāpēc FSR 2.0 nevar panākt (pagaidām)

FSR un DLSS attēla kvalitātes salīdzinājums programmā God of War.

AMD patiešām ir paveicis neiespējamo ar FSR 2.0. Tas izskatās fantastiski, un tas, ka tas ir zīmola agnostiķis, ir vēl labāks. Esmu bijis gatavs grāvis DLSS FSR 2.0 kopš es to pirmo reizi redzēju Deathloop. Taču, lai arī man patīk FSR 2.0 un es uzskatu, ka tas ir lielisks AMD komplekts, tas drīzumā nesasniegs DLSS 3.

Iesācējiem ir pietiekami grūti izstrādāt algoritmu, kas var izsekot katram pikselim starp kadriem bez artefaktiem, jo ​​īpaši 3D vidē ar blīvām smalkām detaļām (Kiberpanks 2077 ir lielisks piemērs). Tas ir iespējams, bet grūti. Tomēr lielāka problēma ir tā, cik šim algoritmam vajadzētu būt uzpūstam. Katra pikseļa izsekošana 3D telpā, optiskās plūsmas aprēķins, kadra ģenerēšana un jebkādu neveiksmju novēršana — tas ir daudz jautā.

Lai to palaistu spēles izpildes laikā un joprojām nodrošinātu kadru ātruma uzlabojumu FSR 2.0 vai DLSS līmenī, tas ir vēl vairāk. Nvidia pat ar īpašiem procesoriem un apmācītu modeli joprojām ir jāizmanto Reflex, lai kompensētu optiskās plūsmas noteikto lielāku latentumu. Bez šīs aparatūras vai programmatūras FSR, iespējams, tirgotu pārāk daudz latentuma, lai ģenerētu kadrus.

Man nav šaubu, ka AMD un citi izstrādātāji galu galā nokļūs vai atradīs citu veidu, kā novērst problēmu, taču tas varētu notikt pēc dažiem gadiem. Šobrīd grūti pateikt.

Drīzumā — GeForce RTX 4090 DLSS 3 pirmā izskata reklāmas treileris

Ir viegli pateikt, ka DLSS 3 izskatās ļoti aizraujoši. Protams, mums būs jāgaida, līdz tas būs šeit, lai apstiprinātu Nvidia veiktspējas prasības un redzētu, kā attēla kvalitāte saglabājas. Pagaidām mums ir tikai īss video no Digital Foundry, kurā parādīts DLSS 3 materiāls (iepriekš), kuru es ļoti iesaku noskatīties, līdz mēs redzēsim turpmāku trešās puses testēšanu. Tomēr no mūsu pašreizējā viedokļa DLSS 3 noteikti izskatās daudzsološs.

Šis raksts ir daļa no ReSpec – pastāvīga sleja, kas tiek rādīta reizi divos nedēļās, un tajā ir iekļautas diskusijas, padomi un padziļināti ziņojumi par datorspēļu tehnoloģijām.

Redaktoru ieteikumi

  • Kāpēc ar Nvidia RTX 4060 Ti vienkārši nepietiek 2023. gadam
  • Lūk, kā no Nvidia bez maksas iegūt Redfall Bite Back Edition
  • Es uz mēnesi pārgāju uz AMD GPU — lūk, kāpēc man nepietrūkst Nvidia
  • Ja AMD apgalvojumi par RX 7900 XTX ir patiesi, Nvidia varētu nonākt lielās nepatikšanās
  • AMD saplēš kūstošo RTX 4090 adapteri, jo Nvidia saskaras ar tiesas prāvu