Nvidia DLSS 3의 작동 방식 및 FSR이 현재 따라잡지 못하는 이유

이 이야기는 PC 게임 및 하드웨어의 세계를 다루는 Jacob Roach의 ReSpec 시리즈의 일부입니다.

엔비디아의 RTX 40 시리즈 그래픽 카드 짧은 몇 주 안에 도착하지만 모든 하드웨어 개선 중에는 Nvidia의 황금 알이 될 수 있는 것이 있습니다. DLSS 3. Nvidia의 인기 있는 DLSS(Deep Learning Super Sampling) 기능에 대한 업데이트 그 이상이며 결국에는 Nvidia의 차세대 정의 그래픽 카드 자체보다 훨씬 더.

AMD는 이를 얻기 위해 열심히 노력해 왔습니다. FidelityFX 수퍼 레졸루션(FSR) DLSS와 동등하며 지난 몇 달 동안 성공적이었습니다. DLSS 3는 그 역학을 바꿀 것으로 보입니다. 이번에는 FSR이 곧 따라잡지 못할 수도 있습니다.

DLSS 3의 작동 방식(및 작동하지 않는 방식)

DLSS 3가 완전히 새로운 버전이라고 생각하면 용서받을 것입니다. DLSS하지만 그렇지 않습니다. 또는 적어도 완전히 새로운 것은 아닙니다. DLSS 3의 근간은 현재 DLSS 타이틀에서 사용할 수 있는 것과 동일한 초해상도 기술이며 Nvidia는 아마도 새 버전으로 이를 계속 개선할 것입니다. Nvidia는 이제 그래픽 설정에서 별도의 옵션으로 DLSS 3의 초고해상도 부분을 볼 수 있다고 말합니다.

새로운 부분은 프레임 생성입니다. DLSS 3는 프레임 걸러마다 완전히 고유한 프레임을 생성하며 기본적으로 눈에 보이는 8픽셀 중 7픽셀을 생성합니다. 아래 흐름도에서 그 예를 볼 수 있습니다. 4K의 경우 GPU는 1080p용 픽셀만 렌더링하고 해당 정보를 현재 프레임뿐만 아니라 다음 프레임에도 사용합니다.

Nvidia에 따르면 프레임 생성은 초고해상도와는 별개의 토글이 될 것입니다. 프레임 생성은 현재 RTX 40 시리즈 GPU에서만 작동하는 반면 초고해상도는 DLSS 3으로 업데이트된 게임에서도 모든 RTX 그래픽 카드에서 계속 작동하기 때문입니다. 말할 필요도 없지만 프레임의 절반이 완전히 생성되면 다음과 같이 성능이 향상됩니다. 많이.

하지만 프레임 생성은 단순한 AI 비밀 소스가 아닙니다. ~ 안에 DLSS 2 및 FSR과 같은 도구, 모션 벡터는 업스케일링의 핵심 입력입니다. 개체가 한 프레임에서 다음 프레임으로 이동하는 위치를 설명하지만 모션 벡터는 장면의 형상에만 적용됩니다. 그림자, 반사 및 입자와 같이 3D 형상이 없는 요소는 전통적으로 시각적 아티팩트를 방지하기 위해 업스케일링 프로세스에서 가려졌습니다.

마스킹은 AI가 RTX 40 시리즈 GPU의 광학 흐름 가속기가 작동하는 완전히 고유한 프레임을 생성할 때 옵션이 아닙니다. 그래픽 카드가 한 프레임에서 다음 프레임으로 개별 픽셀의 움직임을 추적한다는 점을 제외하면 모션 벡터와 같습니다. 모션 벡터, 깊이 및 색상과 함께 이 광학 흐름 필드는 AI 생성 프레임에 기여합니다.

모든 것이 긍정적인 것처럼 들리지만 AI가 생성한 프레임에는 큰 문제가 있습니다. 바로 대기 시간이 증가한다는 것입니다. AI가 생성한 프레임은 절대 PC를 통과하지 않습니다. "가짜" 프레임이므로 게임이나 FRAPS와 같은 도구의 기존 fps 판독값에서는 볼 수 없습니다. 따라서 여분의 프레임이 너무 많아도 대기 시간이 줄어들지 않고 광 흐름의 계산 오버헤드로 인해 실제로 대기 시간이 늘어납니다. 그렇기 때문에 DLSS 3에는 엔비디아 반사 더 높은 대기 시간을 상쇄합니다.

일반적으로 CPU는 그래픽 카드에 대한 렌더링 대기열을 저장하여 GPU가 작업을 기다리지 않도록 합니다(버벅거림 및 프레임 속도 저하 발생). Reflex는 렌더링 대기열을 제거하고 GPU와 CPU를 동기화하여 CPU가 명령을 보낼 수 있는 즉시 GPU가 명령을 처리하기 시작합니다. DLSS 3 위에 적용할 때 Nvidia는 Reflex가 때때로 대기 시간 감소를 초래할 수 있다고 말합니다.

AI가 차이를 만드는 곳

AMD의 FSR 2.0은 AI를 사용하지 않으며 얼마 전에 쓴 것처럼 DLSS와 동일한 품질을 얻을 수 있습니다. 기계 학습 대신 알고리즘으로. DLSS 3는 고유한 프레임 생성 기능과 광학 흐름의 도입으로 이를 변경합니다.

옵티컬 플로우는 새로운 아이디어가 아닙니다. 수십 년 동안 사용되어 왔으며 비디오 편집 응용 프로그램에서 자율 주행 자동차에 이르기까지 모든 응용 프로그램을 보유하고 있습니다. 하지만, 기계 학습으로 광학 흐름 계산 AI 모델을 교육하기 위한 데이터 세트의 증가로 인해 비교적 새롭습니다. AI를 사용하려는 이유는 간단합니다. 충분한 교육을 받으면 시각적 오류가 적고 런타임에 오버헤드가 많지 않습니다.

DLSS는 런타임에 실행 중입니다. 기계 학습 없이 알고리즘을 개발하여 각 픽셀이 한 프레임에서 다른 프레임으로 어떻게 이동하는지 추정할 수 있습니다. 하지만 계산 비용이 많이 들기 때문에 첫 번째 슈퍼샘플링의 전체 지점과 상반됩니다. 장소. 많은 마력과 충분한 교육 데이터가 필요하지 않고 안심할 수 있는 AI 모델을 통해 Nvidia는 작업할 수 있는 많은 교육 데이터 — 고품질의 광학 흐름을 달성하고 실행 시간.

CPU가 제한된 게임에서도 프레임 속도가 향상됩니다. 수퍼샘플링은 GPU에 거의 전적으로 의존하는 해상도에만 적용됩니다. CPU 처리를 우회하는 새로운 프레임을 통해 DLSS 3는 완전한 프레임이 있더라도 게임에서 프레임 속도를 두 배로 높일 수 있습니다. CPU 병목 현상. 그것은 인상적이며 현재 AI로만 가능합니다.

FSR 2.0이 따라잡지 못하는 이유(당분간)

AMD는 FSR 2.0으로 진정 불가능한 일을 해냈습니다. 환상적으로 보이며 브랜드에 구애받지 않는다는 사실이 훨씬 좋습니다. 준비했습니다 FSR 2.0용 DLSS 버리기 에서 처음 본 이후로 데스루프. 그러나 내가 FSR 2.0을 즐기고 그것이 AMD의 훌륭한 키트라고 생각하는 한, 그것은 곧 DLSS 3을 따라잡지 못할 것입니다.

우선 아티팩트가 없는 프레임 사이의 각 픽셀을 추적할 수 있는 알고리즘을 개발하는 것은 특히 조밀하고 미세한 디테일이 있는 3D 환경에서 충분히 어렵습니다.사이버펑크 2077 대표적인 예입니다). 가능하지만 어렵습니다. 그러나 더 큰 문제는 해당 알고리즘이 얼마나 부풀려져야 하는가입니다. 3D 공간을 통해 각 픽셀을 추적하고, 광학 흐름 계산을 수행하고, 프레임을 생성하고, 그 과정에서 발생하는 모든 사고를 정리하는 것은 많은 질문입니다.

게임이 실행되는 동안 이를 실행하고 여전히 FSR 2.0 또는 DLSS 수준에서 프레임 속도 개선을 제공하는 것은 더 많은 것을 요구합니다. Nvidia는 전용 프로세서와 훈련된 모델이 있더라도 여전히 Reflex를 사용하여 광 흐름에 의해 부과되는 더 높은 대기 시간을 상쇄해야 합니다. 해당 하드웨어나 소프트웨어가 없으면 FSR은 프레임을 생성하기 위해 너무 많은 대기 시간을 교환할 수 있습니다.

나는 AMD와 다른 개발자들이 결국 거기에 도달하거나 문제를 해결할 다른 방법을 찾을 것이라는 데 의심의 여지가 없지만 몇 년이 걸릴 수 있습니다. 지금 당장 말하기는 어렵습니다.

쉽게 말할 수 있는 것은 DLSS 3가 매우 흥미로워 보인다는 것입니다. 물론 Nvidia의 성능 주장을 검증하고 이미지 품질이 어떻게 유지되는지 확인하려면 여기까지 기다려야 합니다. 지금까지 Digital Foundry에서 DLSS 3 푸티지(위)를 보여주는 짧은 비디오가 있습니다. 추가 타사 테스트를 볼 때까지 시청하는 것이 좋습니다. 그러나 현재 시점에서 DLSS 3는 확실히 유망해 보입니다.

이 글은 ReSpec – PC 게임 이면의 기술에 대한 토론, 조언 및 심층 보고가 포함된 격주 칼럼입니다.

편집자 추천

• Nvidia RTX 4060 Ti가 2023년에 충분하지 않은 이유
• Nvidia에서 Redfall Bite Back Edition을 무료로 받는 방법은 다음과 같습니다.
• 한 달 동안 AMD GPU로 전환했습니다. Nvidia가 그리워지지 않는 이유는 다음과 같습니다.
• AMD의 RX 7900 XTX 주장이 사실이라면 Nvidia는 큰 문제에 처할 수 있습니다.
• Nvidia가 집단 소송에 직면함에 따라 AMD는 녹는 RTX 4090 어댑터를 찢어 버립니다.