Як працює Nvidia DLSS 3 і чому FSR поки що не може наздогнати

Ця історія є частиною серії ReSpec Джейкоба Роуча, яка охоплює світ комп’ютерних ігор та апаратного забезпечення.

Nvidia Відеокарти серії RTX 40 з’являться за кілька тижнів, але серед усіх апаратних вдосконалень є те, що може стати золотим яйцем Nvidia: DLSS 3. Це набагато більше, ніж просто оновлення популярної функції Nvidia DLSS (Deep Learning Super Sampling), і це може закінчитися визначення наступного покоління Nvidia набагато більше, ніж самі графічні карти.

AMD наполегливо працювала, щоб отримати його FidelityFX Super Resolution (FSR) нарівні з DLSS, і протягом останніх кількох місяців це було успішно. DLSS 3, схоже, змінить цю динаміку — і цього разу FSR може не наздогнати її найближчим часом.

Як працює DLSS 3 (і як ні)

Вам буде пробачено, якщо ви подумаєте, що DLSS 3 — це абсолютно нова версія DLSS, але це не так. Або, принаймні, це не зовсім нове. Основою DLSS 3 є та сама технологія надвисокої роздільної здатності, яка доступна сьогодні в заголовках DLSS, і Nvidia, імовірно, продовжить її вдосконалювати з новими версіями. Nvidia каже, що тепер ви побачите частину DLSS 3 із надвисокою роздільною здатністю як окрему опцію в налаштуваннях графіки.

Нова частина – генерація кадрів. DLSS 3 створюватиме абсолютно унікальний кадр кожен другий кадр, фактично генеруючи сім із кожних восьми пікселів, які ви бачите. Ви можете побачити ілюстрацію цього на блок-схемі нижче. У випадку 4K ваш GPU рендерить пікселі лише для 1080p і використовує цю інформацію не лише для поточного кадру, але й для наступного.

Генерація кадрів, за словами Nvidia, буде окремим тумблером від суперроздільності. Це тому, що генерація кадрів наразі працює лише на графічних процесорах серії RTX 40, тоді як суперроздільна здатність працюватиме на всіх відеокартах RTX, навіть в іграх, оновлених до DLSS 3. Само собою зрозуміло, але якщо половина ваших кадрів повністю згенерована, це підвищить вашу продуктивність на багато.

Генерація кадрів — це не просто якийсь секрет ШІ. в DLSS 2 і такі інструменти, як FSR, вектори руху є ключовим входом для масштабування. Вони описують, де об’єкти переміщуються від одного кадру до іншого, але вектори руху застосовуються лише до геометрії в сцені. Елементи, які не мають 3D-геометрії, як-от тіні, відображення та частинки, традиційно маскуються від процесу масштабування, щоб уникнути візуальних артефактів.

Маскування неможливе, коли штучний інтелект генерує абсолютно унікальний кадр, і тут грає роль прискорювач оптичного потоку в графічних процесорах серії RTX 40. Це як вектор руху, за винятком того, що графічна карта відстежує рух окремих пікселів від одного кадру до іншого. Це поле оптичного потоку разом із векторами руху, глибиною та кольором вносить свій внесок у кадр, створений ШІ.

Це схоже на плюси, але є велика проблема з кадрами, створеними штучним інтелектом: вони збільшують затримку. Кадр, згенерований штучним інтелектом, ніколи не проходить через ваш комп’ютер — це «фальшивий» кадр, тому ви не побачите його на традиційних показниках кадрів в секунду в іграх або таких інструментах, як FRAPS. Отже, затримка не зменшується, незважаючи на таку кількість додаткових кадрів, і через обчислювальні накладні витрати на оптичний потік затримка фактично зростає. Через це DLSS 3 вимагає Nvidia Reflex щоб компенсувати вищу затримку.

Зазвичай ваш процесор зберігає чергу візуалізації для вашої відеокарти, щоб переконатися, що ваш графічний процесор ніколи не чекає виконання роботи (це спричинить затримки та падіння частоти кадрів). Reflex видаляє чергу візуалізації та синхронізує графічний і центральний процесори, щоб як тільки ваш центральний процесор міг надіслати інструкції, графічний процесор почав їх обробляти. Nvidia каже, що Reflex, застосований поверх DLSS 3, іноді навіть може призвести до зменшення затримки.

Де ШІ робить різницю

FSR 2.0 від AMD не використовує ШІ, і, як я писав деякий час тому, це доводить, що ви можете отримати ту саму якість, що й DLSS з алгоритмами замість машинного навчання. DLSS 3 змінює це завдяки своїм унікальним можливостям створення кадрів, а також запровадженню оптичного потоку.

Оптичний потік — ідея не нова — вона існує десятиліттями й має застосування в усьому: від програм для редагування відео до безпілотних автомобілів. однак, обчислення оптичного потоку за допомогою машинного навчання є відносно новим через збільшення наборів даних для навчання моделей ШІ. Причина, чому ви хочете використовувати штучний інтелект, проста: він створює менше візуальних помилок за умови достатнього навчання та не має стільки накладних витрат під час виконання.

DLSS виконується під час виконання. Можна розробити алгоритм без машинного навчання, щоб оцінити, як кожен піксель переміщується від одного кадру до наступний, але це обчислювально дорого, що суперечить суті суперсемплінгу в першому місце. Завдяки моделі штучного інтелекту, яка не потребує багато кінських сил і достатньо тренувальних даних — і будьте певні, Nvidia має багато навчальних даних для роботи — ви можете досягти високоякісного оптичного потоку, який можна виконувати час виконання.

Це призводить до покращення частоти кадрів навіть в іграх з обмеженим ЦП. Суперсемплінг застосовується лише до вашої роздільної здатності, яка майже повністю залежить від вашого GPU. Завдяки новому кадру, який обходить обробку ЦП, DLSS 3 може подвоїти частоту кадрів в іграх, навіть якщо у вас є повна Вузьке місце ЦП. Це вражає, і зараз це можливо лише за допомогою ШІ.

Чому FSR 2.0 не може наздогнати (поки що)

AMD справді зробила неможливе з FSR 2.0. Це виглядає фантастично, а той факт, що він не залежить від бренду, ще краще. Я був готовий відмовитися від DLSS для FSR 2.0 з тих пір, як я вперше це побачив Deathloop. Але як би мені не подобався FSR 2.0 і я вважав, що це чудовий набір від AMD, він не скоро наздожене DLSS 3.

Для початку розробити алгоритм, який може відстежувати кожен піксель між кадрами без артефактів, досить складно, особливо в 3D-середовищі з щільною дрібною деталізацією (Кіберпанк 2077 є яскравим прикладом). Це можливо, але важко. Однак більша проблема полягає в тому, наскільки роздутим повинен бути цей алгоритм. Відстеження кожного пікселя в 3D-просторі, обчислення оптичного потоку, генерація кадру та усунення будь-яких невдач, які трапляються на цьому шляху, — це багато чого.

Змусити це працювати під час виконання гри та все ще забезпечувати покращення частоти кадрів на рівні FSR 2.0 або DLSS, це ще більше. Nvidia, навіть із виділеними процесорами та навченою моделлю, все одно має використовувати Reflex, щоб компенсувати високу затримку, спричинену оптичним потоком. Без цього апаратного чи програмного забезпечення FSR, швидше за все, обмінявся б надто великою затримкою для створення кадрів.

Я не сумніваюся, що AMD та інші розробники зрештою досягнуть цього — або знайдуть інший спосіб вирішення проблеми — але це може бути через кілька років. Зараз важко сказати.

Легко сказати, що DLSS 3 виглядає дуже захоплююче. Звичайно, нам доведеться почекати, доки він з’явиться, щоб підтвердити заявки Nvidia щодо продуктивності та побачити, наскільки тримається якість зображення. Наразі у нас є лише коротке відео від Digital Foundry, яке демонструє відеоролики DLSS 3 (вище), які я настійно рекомендую переглянути, поки ми не побачимо подальше стороннє тестування. Проте з нашої поточної точки зору DLSS 3 виглядає багатообіцяюче.

Ця стаття є частиною ReSpec – безперервна колонка, що виходить раз на два тижні та містить обговорення, поради та детальні звіти про технології, що лежать в основі комп’ютерних ігор.

Рекомендації редакції

• Чому Nvidia RTX 4060 Ti просто не вистачає на 2023 рік
• Ось як отримати Redfall Bite Back Edition безкоштовно від Nvidia
• Я перейшов на графічний процесор AMD на місяць — ось чому я не сумую за Nvidia
• Якщо заяви AMD щодо RX 7900 XTX правдиві, у Nvidia можуть бути великі проблеми
• AMD розриває розплавлений адаптер RTX 4090, оскільки Nvidia стикається з груповим позовом