Come funziona Nvidia DLSS 3 e perché FSR non riesce a recuperare per ora

di Nvidia Schede grafiche serie RTX 40 arriveranno tra poche settimane, ma tra tutti i miglioramenti hardware c'è quello che potrebbe essere l'uovo d'oro di Nvidia: DLSS 3. È molto più di un semplice aggiornamento della popolare funzionalità DLSS (Deep Learning Super Sampling) di Nvidia e potrebbe finire definendo la prossima generazione di Nvidia molto più delle stesse schede grafiche.

AMD ha lavorato duramente per ottenerlo FidelityFX Super risoluzione (FSR) alla pari con DLSS e negli ultimi mesi ha avuto successo. Sembra che DLSS 3 cambierà quella dinamica e questa volta FSR potrebbe non essere in grado di recuperare presto.

Come funziona DLSS 3 (e come non funziona)

Saresti perdonato se pensi che DLSS 3 sia una versione completamente nuova di

DLSS, ma non lo è. O almeno, non è del tutto nuovo. La spina dorsale di DLSS 3 è la stessa tecnologia di super risoluzione disponibile oggi nei titoli DLSS e Nvidia presumibilmente continuerà a migliorarla con nuove versioni. Nvidia afferma che ora vedrai la porzione di super-risoluzione di DLSS 3 come opzione separata nelle impostazioni grafiche.

La parte nuova è la generazione del telaio. DLSS 3 genererà un fotogramma completamente unico ogni altro fotogramma, generando essenzialmente sette su ogni otto pixel che vedi. Puoi vedere un'illustrazione di ciò nel diagramma di flusso qui sotto. Nel caso di 4K, la tua GPU esegue il rendering dei pixel solo per 1080p e utilizza tali informazioni non solo per il fotogramma corrente ma anche per il fotogramma successivo.

La generazione dei frame, secondo Nvidia, sarà un passaggio separato dalla super risoluzione. Questo perché per ora la generazione di frame funziona solo sulle GPU della serie RTX 40, mentre la super risoluzione continuerà a funzionare su tutte le schede grafiche RTX, anche nei giochi che sono stati aggiornati a DLSS 3. Dovrebbe essere ovvio, ma se la metà dei tuoi frame è completamente generata, le tue prestazioni aumenteranno di molto.

Tuttavia, la generazione di frame non è solo una salsa segreta AI. In DLSS 2 e strumenti come FSR, i vettori di movimento sono un input chiave per l'upscaling. Descrivono dove gli oggetti si muovono da un fotogramma all'altro, ma i vettori di movimento si applicano solo alla geometria in una scena. Gli elementi che non hanno una geometria 3D, come ombre, riflessi e particelle, sono stati tradizionalmente esclusi dal processo di upscaling per evitare artefatti visivi.

Il mascheramento non è un'opzione quando un'intelligenza artificiale sta generando un frame completamente unico, ed è qui che entra in gioco l'acceleratore di flusso ottico nelle GPU della serie RTX 40. È come un vettore di movimento, tranne per il fatto che la scheda grafica tiene traccia del movimento dei singoli pixel da un fotogramma all'altro. Questo campo di flusso ottico, insieme a vettori di movimento, profondità e colore, contribuisce al fotogramma generato dall'intelligenza artificiale.

Sembrano tutti vantaggi, ma c'è un grosso problema con i frame generati dall'intelligenza artificiale: aumentano la latenza. Il frame generato dall'intelligenza artificiale non passa mai attraverso il tuo PC: è un frame "falso", quindi non lo vedrai nelle tradizionali letture fps in giochi o strumenti come FRAPS. Quindi, la latenza non diminuisce nonostante ci siano così tanti frame extra e, a causa del sovraccarico computazionale del flusso ottico, la latenza aumenta effettivamente. Per questo motivo, DLSS 3 richiede Nvidia Reflex per compensare la maggiore latenza.

Normalmente, la tua CPU memorizza una coda di rendering per la tua scheda grafica per assicurarsi che la tua GPU non sia mai in attesa di lavoro (che causerebbe balbuzie e cali di frame rate). Reflex rimuove la coda di rendering e sincronizza GPU e CPU in modo che non appena la CPU può inviare istruzioni, la GPU inizi a elaborarle. Se applicato sopra il DLSS 3, Nvidia afferma che Reflex a volte può anche portare a una riduzione della latenza.

Dove l'intelligenza artificiale fa la differenza

L'FSR 2.0 di AMD non utilizza l'intelligenza artificiale e, come ho scritto qualche tempo fa, dimostra che puoi ottenere la stessa qualità di DLSS con algoritmi invece che con l'apprendimento automatico. DLSS 3 cambia la situazione con le sue esclusive capacità di generazione di frame e l'introduzione del flusso ottico.

Il flusso ottico non è un'idea nuova: esiste da decenni e ha applicazioni in tutto, dalle applicazioni di editing video alle auto a guida autonoma. Tuttavia, calcolo del flusso ottico con machine learning è relativamente nuovo a causa di un aumento dei set di dati su cui addestrare i modelli di intelligenza artificiale. Il motivo per cui vorresti utilizzare l'intelligenza artificiale è semplice: produce meno errori visivi con una formazione sufficiente e non ha un sovraccarico in fase di esecuzione.

DLSS è in esecuzione in fase di esecuzione. È possibile sviluppare un algoritmo, privo di apprendimento automatico, per stimare come ogni pixel si sposta da un fotogramma a il successivo, ma è computazionalmente costoso, il che va contro l'intero punto del supercampionamento nel primo posto. Con un modello di intelligenza artificiale che non richiede molta potenza e dati di addestramento sufficienti, e state tranquilli, Nvidia ce l'ha molti dati di addestramento con cui lavorare: puoi ottenere un flusso ottico di alta qualità e in grado di eseguire tempo di esecuzione.

Ciò porta a un miglioramento del frame rate anche nei giochi con CPU limitata. Il supersampling si applica solo alla tua risoluzione, che dipende quasi esclusivamente dalla tua GPU. Con un nuovo frame che bypassa l'elaborazione della CPU, DLSS 3 può raddoppiare i frame rate nei giochi anche se hai un frame rate completo Collo di bottiglia della CPU. È impressionante e attualmente possibile solo con l'IA.

Perché FSR 2.0 non riesce a recuperare il ritardo (per ora)

AMD ha davvero fatto l'impossibile con FSR 2.0. Sembra fantastico e il fatto che sia indipendente dal marchio è ancora meglio. Sono stato pronto a abbandonare DLSS per FSR 2.0 da quando l'ho visto per la prima volta Ciclo mortale. Ma per quanto mi piaccia FSR 2.0 e penso che sia un ottimo kit di AMD, non raggiungerà presto DLSS 3.

Per cominciare, lo sviluppo di un algoritmo in grado di tracciare ogni pixel tra i fotogrammi senza artefatti è abbastanza difficile, specialmente in un ambiente 3D con dettagli fini e densi (Cyberpunk 2077 è un ottimo esempio). È possibile, ma difficile. Il problema più grande, tuttavia, è quanto dovrebbe essere gonfio quell'algoritmo. Tracciare ogni pixel attraverso lo spazio 3D, eseguire il calcolo del flusso ottico, generare un fotogramma e ripulire eventuali incidenti che si verificano lungo il percorso: è molto da chiedere.

Farlo funzionare mentre un gioco è in esecuzione e fornire comunque un miglioramento del frame rate a livello di FSR 2.0 o DLSS, è ancora di più da chiedere. Nvidia, anche con processori dedicati e un modello addestrato, deve comunque utilizzare Reflex per compensare la maggiore latenza imposta dal flusso ottico. Senza quell'hardware o software, FSR probabilmente scambierebbe troppa latenza per generare frame.

Non ho dubbi che AMD e altri sviluppatori alla fine ci arriveranno - o troveranno un altro modo per aggirare il problema - ma potrebbero volerci alcuni anni lungo la strada. È difficile dirlo adesso.

Quello che è facile dire è che DLSS 3 sembra molto eccitante. Ovviamente, dovremo aspettare fino a quando non sarà qui per convalidare le affermazioni sulle prestazioni di Nvidia e vedere come regge la qualità dell'immagine. Finora, abbiamo solo un breve video del Digital Foundry che mostra i filmati DLSS 3 (sopra), che consiglio vivamente di guardare fino a quando non vedremo ulteriori test di terze parti. Dal nostro attuale punto di vista, tuttavia, il DLSS 3 sembra certamente promettente.

Questo articolo fa parte di Rispec – una colonna bisettimanale in corso che include discussioni, consigli e rapporti approfonditi sulla tecnologia alla base dei giochi per PC.

Raccomandazioni della redazione

• Perché la Nvidia RTX 4060 Ti semplicemente non è sufficiente per il 2023
• Ecco come ottenere gratuitamente Redfall Bite Back Edition da Nvidia
• Sono passato a una GPU AMD per un mese: ecco perché non mi manca Nvidia
• Se le affermazioni sulla RX 7900 XTX di AMD sono vere, Nvidia potrebbe trovarsi in grossi guai
• AMD strappa l'adattatore RTX 4090 che si sta sciogliendo mentre Nvidia affronta un'azione legale collettiva