Wie Nvidia DLSS 3 funktioniert und warum FSR vorerst nicht aufholen kann

Nvidias Grafikkarten der RTX 40-Serie werden in wenigen Wochen eintreffen, aber unter all den Hardware-Verbesserungen befindet sich das, was Nvidias goldenes Ei sein könnte: DLSS 3. Es ist viel mehr als nur ein Update der beliebten DLSS-Funktion (Deep Learning Super Sampling) von Nvidia, und es könnte enden Definiert Nvidias nächste Generation viel mehr als die Grafikkarten selbst.

AMD hat hart daran gearbeitet, es zu bekommen FidelityFX Super Resolution (FSR) auf Augenhöhe mit DLSS, und in den letzten Monaten war es erfolgreich. DLSS 3 scheint diese Dynamik zu ändern – und dieses Mal kann FSR möglicherweise nicht so schnell aufholen.

Wie DLSS 3 funktioniert (und wie nicht)

Man könnte meinen, DLSS 3 sei eine völlig neue Version von

DLSS, aber es ist nicht. Zumindest ist es nicht ganz neu. Das Rückgrat von DLSS 3 ist die gleiche Super-Resolution-Technologie, die heute in DLSS-Titeln verfügbar ist, und Nvidia wird sie vermutlich mit neuen Versionen weiter verbessern. Nvidia sagt, dass Sie den Super-Resolution-Teil von DLSS 3 jetzt als separate Option in den Grafikeinstellungen sehen werden.

Der neue Teil ist die Frame-Generierung. DLSS 3 generiert bei jedem zweiten Frame ein völlig einzigartiges Bild, also im Wesentlichen sieben von acht Pixeln, die Sie sehen. Eine Veranschaulichung dazu finden Sie im Flussdiagramm unten. Bei 4K rendert Ihre GPU nur die Pixel für 1080p und verwendet diese Informationen nicht nur für das aktuelle Bild, sondern auch für das nächste Bild.

Laut Nvidia wird die Bilderzeugung ein separater Schalter zur Superauflösung sein. Das liegt daran, dass die Frame-Generierung vorerst nur auf GPUs der RTX 40-Serie funktioniert, während die Superauflösung weiterhin auf allen RTX-Grafikkarten funktioniert, selbst in Spielen, die auf DLSS 3 aktualisiert wurden. Es sollte selbstverständlich sein, aber wenn die Hälfte Ihrer Frames vollständig generiert ist, wird das Ihre Leistung um ein Vielfaches steigern eine Menge.

Die Frame-Generierung ist jedoch nicht nur ein KI-Geheimrezept. In DLSS 2 und Tools wie FSRBewegungsvektoren sind ein wichtiger Input für die Hochskalierung. Sie beschreiben, wohin sich Objekte von einem Bild zum nächsten bewegen, Bewegungsvektoren gelten jedoch nur für die Geometrie in einer Szene. Elemente ohne 3D-Geometrie, wie Schatten, Reflexionen und Partikel, wurden traditionell aus dem Hochskalierungsprozess ausgeblendet, um visuelle Artefakte zu vermeiden.

Maskierung ist keine Option, wenn eine KI einen völlig einzigartigen Frame generiert. Hier kommt der Optical Flow Accelerator in GPUs der RTX 40-Serie ins Spiel. Es ist wie ein Bewegungsvektor, nur dass die Grafikkarte die Bewegung einzelner Pixel von einem Bild zum nächsten verfolgt. Dieses optische Flussfeld trägt zusammen mit Bewegungsvektoren, Tiefe und Farbe zum KI-generierten Bild bei.

Das hört sich alles nach Vorteilen an, aber es gibt ein großes Problem mit den von der KI generierten Frames: Sie erhöhen die Latenz. Der von der KI erzeugte Frame durchläuft niemals Ihren PC – es handelt sich um einen „gefälschten“ Frame, sodass Sie ihn bei herkömmlichen FPS-Anzeigen in Spielen oder Tools wie FRAPS nicht sehen werden. Die Latenz sinkt also nicht, obwohl es so viele zusätzliche Frames gibt, und aufgrund des Rechenaufwands des optischen Flusses steigt die Latenz tatsächlich an. Aus diesem Grund erfordert DLSS 3 Nvidia Reflex um die höhere Latenz auszugleichen.

Normalerweise speichert Ihre CPU eine Renderwarteschlange für Ihre Grafikkarte, um sicherzustellen, dass Ihre GPU nie auf Arbeit wartet (was zu Rucklern und Bildrateneinbrüchen führen würde). Reflex entfernt die Render-Warteschlange und synchronisiert Ihre GPU und CPU, sodass die GPU mit der Verarbeitung beginnt, sobald Ihre CPU Anweisungen senden kann. Laut Nvidia kann Reflex, wenn es zusätzlich zu DLSS 3 angewendet wird, manchmal sogar zu einer Reduzierung der Latenz führen.

Wo KI einen Unterschied macht

AMDs FSR 2.0 verwendet keine KI, und wie ich vor einiger Zeit schrieb, beweist es, dass Sie es können erhalten Sie die gleiche Qualität wie DLSS mit Algorithmen statt maschinellem Lernen. DLSS 3 ändert dies mit seinen einzigartigen Funktionen zur Frame-Generierung sowie der Einführung des optischen Flusses.

Optischer Fluss ist keine neue Idee – es gibt ihn schon seit Jahrzehnten und seine Anwendungsmöglichkeiten reichen von Videobearbeitungsanwendungen bis hin zu selbstfahrenden Autos. Jedoch, Berechnung des optischen Flusses mit maschinellem Lernen ist relativ neu, da immer mehr Datensätze zum Trainieren von KI-Modellen zur Verfügung stehen. Der Grund, warum Sie KI verwenden möchten, ist einfach: Bei ausreichendem Training führt sie zu weniger visuellen Fehlern und verursacht zur Laufzeit nicht so viel Overhead.

DLSS wird zur Laufzeit ausgeführt. Es ist möglich, einen Algorithmus ohne maschinelles Lernen zu entwickeln, um abzuschätzen, wie sich jedes Pixel von einem Bild zum anderen bewegt im nächsten, aber es ist rechenintensiv, was dem ganzen Sinn des Supersamplings im ersten zuwiderläuft Ort. Mit einem KI-Modell, das nicht viel PS und genügend Trainingsdaten erfordert – und seien Sie versichert, Nvidia hat es geschafft Zahlreiche Trainingsdaten, mit denen Sie arbeiten können – Sie können einen optischen Fluss von hoher Qualität erzielen, der ausgeführt werden kann Laufzeit.

Dies führt zu einer Verbesserung der Bildrate selbst bei Spielen mit eingeschränkter CPU. Supersampling gilt nur für Ihre Auflösung, die fast ausschließlich von Ihrer GPU abhängt. Mit einem neuen Frame, der die CPU-Verarbeitung umgeht, kann DLSS 3 die Frameraten in Spielen verdoppeln, selbst wenn Sie über eine vollständige verfügen CPU-Engpass. Das ist beeindruckend und derzeit nur mit KI möglich.

Warum FSR 2.0 (vorerst) nicht aufholen kann

AMD hat mit FSR 2.0 wirklich das Unmögliche geschafft. Es sieht fantastisch aus und die Tatsache, dass es markenunabhängig ist, ist noch besser. Ich war dazu bereit Verzichten Sie auf DLSS für FSR 2.0 seit ich es zum ersten Mal gesehen habe Todesschleife. Aber so sehr mir FSR 2.0 gefällt und ich denke, dass es ein großartiges Teil des Kits von AMD ist, wird es in absehbarer Zeit nicht an DLSS 3 herankommen.

Zunächst einmal ist die Entwicklung eines Algorithmus, der jedes Pixel zwischen Bildern artefaktfrei verfolgen kann, schwierig genug, insbesondere in einer 3D-Umgebung mit dichten, feinen Details (Cyberpunk 2077 ist ein Paradebeispiel). Es ist möglich, aber schwierig. Das größere Problem ist jedoch, wie aufgebläht dieser Algorithmus sein müsste. Jedes Pixel durch den 3D-Raum verfolgen, die Berechnung des optischen Flusses durchführen, einen Rahmen erstellen und alle Pannen beseitigen, die auf dem Weg passieren – das ist eine Menge verlangt.

Das zum Laufen zu bringen, während ein Spiel ausgeführt wird, und trotzdem eine Verbesserung der Bildrate auf dem Niveau von FSR 2.0 oder DLSS zu erzielen, ist noch anspruchsvoller. Selbst mit dedizierten Prozessoren und einem trainierten Modell muss Nvidia immer noch Reflex verwenden, um die durch den optischen Fluss verursachte höhere Latenz auszugleichen. Ohne diese Hardware oder Software würde FSR wahrscheinlich zu viel Latenz in Kauf nehmen, um Frames zu generieren.

Ich habe keinen Zweifel daran, dass AMD und andere Entwickler es irgendwann schaffen werden – oder einen anderen Weg finden, das Problem zu umgehen –, aber das könnte noch ein paar Jahre dauern. Das ist im Moment schwer zu sagen.

Man kann es leicht sagen: DLSS 3 sieht sehr spannend aus. Natürlich müssen wir warten, bis es da ist, um Nvidias Leistungsansprüche zu bestätigen und zu sehen, wie sich die Bildqualität schlägt. Bisher haben wir nur ein kurzes Video von Digital Foundry, das DLSS 3-Filmmaterial zeigt (oben), das ich wärmstens empfehlen würde, anzuschauen, bis wir weitere Tests von Drittanbietern sehen. Aus unserer aktuellen Sicht sieht DLSS 3 jedoch durchaus vielversprechend aus.

Dieser Artikel ist Teil von ReSpec – eine fortlaufende zweiwöchentliche Kolumne mit Diskussionen, Ratschlägen und ausführlichen Berichten über die Technologie hinter PC-Spielen.

Empfehlungen der Redaktion

• Warum die Nvidia RTX 4060 Ti für 2023 einfach nicht reicht
• So erhalten Sie die Redfall Bite Back Edition kostenlos von Nvidia
• Ich bin für einen Monat auf eine AMD-GPU umgestiegen – deshalb vermisse ich Nvidia nicht
• Wenn AMDs RX 7900 XTX-Behauptungen wahr sind, könnte Nvidia in große Schwierigkeiten geraten
• AMD zerlegt den schmelzenden RTX 4090-Adapter, während Nvidia sich einer Sammelklage stellt