Como o Nvidia DLSS 3 funciona e por que o FSR não pode alcançá-lo por enquanto

Esta história faz parte da série ReSpec de Jacob Roach, cobrindo o mundo dos jogos e hardware para PC.

Nvidia Placas gráficas da série RTX 40 chegarão em poucas semanas, mas entre todas as melhorias de hardware está o que pode ser o ovo de ouro da Nvidia: DLSS 3. É muito mais do que apenas uma atualização do popular recurso DLSS (Deep Learning Super Sampling) da Nvidia, e pode acabar definindo a próxima geração da Nvidia muito mais do que as próprias placas gráficas.

A AMD tem trabalhado arduamente para obter FidelityFX Super Resolução (FSR) a par do DLSS e, nos últimos meses, tem sido bem-sucedido. O DLSS 3 parece que vai mudar essa dinâmica - e, desta vez, o FSR pode não conseguir alcançá-lo tão cedo.

Como o DLSS 3 funciona (e como não funciona)

Você seria perdoado por pensar que o DLSS 3 é uma versão completamente nova do DLSS, Mas isso não. Ou, pelo menos, não é totalmente novo. A espinha dorsal do DLSS 3 é a mesma tecnologia de super-resolução que está disponível nos títulos DLSS hoje, e a Nvidia presumivelmente continuará a melhorá-la com novas versões. A Nvidia diz que você verá a parte de super-resolução do DLSS 3 como uma opção separada nas configurações gráficas agora.

A parte nova é a geração de quadros. O DLSS 3 gerará um quadro totalmente único a cada dois quadros, gerando essencialmente sete de cada oito pixels que você vê. Você pode ver uma ilustração disso no fluxograma abaixo. No caso de 4K, sua GPU renderiza apenas os pixels para 1080p e usa essas informações não apenas para o quadro atual, mas também para o próximo quadro.

A geração de quadros, de acordo com a Nvidia, será uma alternância separada da super resolução. Isso porque a geração de quadros funciona apenas em GPUs da série RTX 40 por enquanto, enquanto a super resolução continuará funcionando em todas as placas gráficas RTX, mesmo em jogos atualizados para DLSS 3. Nem é preciso dizer, mas se metade dos seus quadros forem gerados completamente, isso aumentará seu desempenho em bastante.

A geração de quadros não é apenas um molho secreto de IA. Em DLSS 2 e ferramentas como FSR, os vetores de movimento são uma entrada chave para o aumento de escala. Eles descrevem onde os objetos estão se movendo de um quadro para o outro, mas os vetores de movimento só se aplicam à geometria em uma cena. Elementos que não possuem geometria 3D, como sombras, reflexos e partículas, são tradicionalmente mascarados do processo de aumento de escala para evitar artefatos visuais.

O mascaramento não é uma opção quando uma IA está gerando um quadro totalmente exclusivo, que é onde o Optical Flow Accelerator nas GPUs da série RTX 40 entra em ação. É como um vetor de movimento, exceto que a placa gráfica está rastreando o movimento de pixels individuais de um quadro para o próximo. Esse campo de fluxo óptico, junto com vetores de movimento, profundidade e cor, contribui para o quadro gerado por IA.

Parece tudo de bom, mas há um grande problema com os quadros gerados pela IA: eles aumentam a latência. O quadro gerado pela IA nunca passa pelo seu PC – é um quadro “falso”, então você não o verá nas leituras tradicionais de fps em jogos ou ferramentas como o FRAPS. Portanto, a latência não diminui apesar de ter tantos quadros extras e, devido à sobrecarga computacional do fluxo óptico, a latência na verdade aumenta. Por causa disso, o DLSS 3 requer Nvidia Reflex para compensar a latência mais alta.

Normalmente, sua CPU armazena uma fila de renderização para sua placa gráfica para garantir que sua GPU nunca esteja esperando o trabalho ser feito (isso causaria interrupções e quedas na taxa de quadros). Reflex remove a fila de renderização e sincroniza sua GPU e CPU para que, assim que sua CPU possa enviar instruções, a GPU comece a processá-las. Quando aplicado sobre o DLSS 3, a Nvidia diz que o Reflex pode às vezes resultar em uma redução de latência.

Onde a IA faz a diferença

O FSR 2.0 da AMD não usa IA e, como escrevi há algum tempo, ele prova que você pode obtenha a mesma qualidade que o DLSS com algoritmos em vez de aprendizado de máquina. O DLSS 3 muda isso com seus recursos exclusivos de geração de quadros, bem como a introdução de fluxo óptico.

O fluxo óptico não é uma ideia nova - existe há décadas e tem aplicações em tudo, desde aplicativos de edição de vídeo até carros autônomos. No entanto, calculando o fluxo óptico com aprendizado de máquina é relativamente novo devido a um aumento nos conjuntos de dados para treinar modelos de IA. A razão pela qual você deseja usar IA é simples: produz menos erros visuais com treinamento suficiente e não tem tanta sobrecarga em tempo de execução.

O DLSS está sendo executado em tempo de execução. É possível desenvolver um algoritmo, livre de aprendizado de máquina, para estimar como cada pixel se move de um quadro para outro. o próximo, mas é computacionalmente caro, o que vai contra todo o ponto de supersampling no primeiro lugar. Com um modelo de IA que não requer muita potência e dados de treinamento suficientes - e fique tranquilo, a Nvidia tem muitos dados de treinamento para trabalhar - você pode obter um fluxo óptico de alta qualidade e pode executar em tempo de execução.

Isso leva a uma melhoria na taxa de quadros, mesmo em jogos com limitação de CPU. A superamostragem se aplica apenas à sua resolução, que depende quase exclusivamente da sua GPU. Com um novo quadro que ignora o processamento da CPU, o DLSS 3 pode dobrar as taxas de quadros em jogos, mesmo se você tiver um gargalo da CPU. Isso é impressionante e atualmente só é possível com IA.

Por que o FSR 2.0 não pode alcançá-lo (por enquanto)

A AMD realmente fez o impossível com o FSR 2.0. Parece fantástico, e o fato de ser independente de marca é ainda melhor. eu estive pronto para abandone o DLSS para FSR 2.0 desde que o vi pela primeira vez em Deathloop. Mas, por mais que eu goste do FSR 2.0 e ache que é um ótimo kit da AMD, ele não alcançará o DLSS 3 tão cedo.

Para começar, desenvolver um algoritmo que possa rastrear cada pixel entre os quadros livre de artefatos é bastante difícil, especialmente em um ambiente 3D com detalhes finos e densos (Cyberpunk 2077 é um excelente exemplo). É possível, mas difícil. O maior problema, no entanto, é o quão inchado esse algoritmo precisaria ser. Rastrear cada pixel pelo espaço 3D, fazer o cálculo do fluxo óptico, gerar um quadro e limpar qualquer contratempo que aconteça ao longo do caminho - é pedir muito.

Conseguir que isso funcione enquanto um jogo está sendo executado e ainda fornecer uma melhoria na taxa de quadros no nível de FSR 2.0 ou DLSS, isso é ainda mais para pedir. A Nvidia, mesmo com processadores dedicados e um modelo treinado, ainda precisa usar o Reflex para compensar a maior latência imposta pelo fluxo óptico. Sem esse hardware ou software, o FSR provavelmente trocaria muita latência para gerar quadros.

Não tenho dúvidas de que a AMD e outros desenvolvedores chegarão lá eventualmente - ou encontrarão outra maneira de contornar o problema - mas isso pode levar alguns anos. É difícil dizer agora.

O que é fácil de dizer é que o DLSS 3 parece muito empolgante. Claro, teremos que esperar até que esteja aqui para validar as reivindicações de desempenho da Nvidia e ver como a qualidade da imagem se mantém. Até agora, temos apenas um pequeno vídeo da Digital Foundry mostrando as imagens do DLSS 3 (acima), que eu recomendo assistir até vermos mais testes de terceiros. Do nosso ponto de vista atual, porém, o DLSS 3 certamente parece promissor.

Este artigo faz parte ReSpec – uma coluna quinzenal contínua que inclui discussões, conselhos e relatórios detalhados sobre a tecnologia por trás dos jogos para PC.

Recomendações dos editores

• Por que a Nvidia RTX 4060 Ti simplesmente não é suficiente para 2023
• Veja como obter o Redfall Bite Back Edition gratuitamente da Nvidia
• Mudei para uma GPU AMD por um mês - eis porque não sinto falta da Nvidia
• Se as alegações do RX 7900 XTX da AMD forem verdadeiras, a Nvidia pode estar em apuros
• AMD rasga adaptador RTX 4090 derretido enquanto Nvidia enfrenta ação coletiva