Nvidia RTX DLSS: все, що вам потрібно знати

Nvidia має дві видатні функції RTX 30-серії і RTX 40-серії графічні карти: трасування променів і DLSS. І PlayStation 5, і Xbox Series X добре познайомили більшість людей із трасуванням променів, але DLSS все ще трохи туманний. Це трохи складно, але дозволяє грати в гру з віртуалізованою вищою роздільною здатністю, зберігаючи більшу деталізацію і вищу частоту кадрів без значних податків на вашу відеокарту. Це дає вам найкраще з усіх світів, використовуючи потужність машинного навчання та впроваджуючи DLSS 3технологія стала ще потужнішою.

Але в історії є трохи більше, ніж це. Ось усе, що вам потрібно знати про DLSS, як він працює та що він може зробити для ваших комп’ютерних ігор.

Що таке DLSS?

DLSS означає супервибірку глибокого навчання. Біт «надвибірки» відноситься до методу згладжування, який згладжує нерівні краї, що з’являються на відтвореній графіці. Однак, порівняно з іншими формами згладжування, SSAA (згладжування із супервибіркою) працює, відтворюючи зображення зі значно вищою роздільною здатністю та використовуючи ці дані для заповнення прогалин у вихідній роздільній здатності.

Частина «глибокого навчання» — це секретний соус Nvidia. Використовуючи потужність машинного навчання, Nvidia може навчати моделі AI за допомогою сканування з високою роздільною здатністю. Потім метод згладжування може використовувати модель ШІ, щоб заповнити відсутню інформацію. Це важливо, оскільки SSAA зазвичай вимагає, щоб зображення з вищою роздільною здатністю відображалося локально. Nvidia робить це в автономному режимі, далеко від вашого комп’ютера, забезпечуючи переваги суперсемплінгу без накладних витрат на обчислення.

Все це можливо завдяки ядрам Nvidia Tensor, які доступні лише в графічних процесорах RTX (за межами рішень центрів обробки даних, таких як Nvidia A100). Хоча графічні процесори серії RTX 20 мають ядра Tensor, RTX 3060, 3060 Ti, 3070, 3080 і 3090 оснащені ядрами Tensor другого покоління від Nvidia, які забезпечують більшу продуктивність кожного ядра.

Найновіші відеокарти Nvidia з лінійки RTX 40-серії доводять ядра Tensor до четвертого покоління. Це робить посилення DLSS ще потужнішим. Завдяки новому механізму 8-розрядного тензора з плаваючою комою пропускна здатність ядер зросла в п’ять разів порівняно з попереднім поколінням.

Nvidia лідирує в цій галузі, хоча AMD нова Функція FidelityFX Super Resolution може забезпечити жорстку конкуренцію. Навіть Intel має власну технологію суперсемплінгу під назвою Intel XeSSабо Intel Xe Super Sampling. Про це пізніше.

Що насправді робить DLSS?

DLSS є результатом вичерпного процесу навчання алгоритму штучного інтелекту Nvidia для створення кращих ігор. Після відтворення гри з нижчою роздільною здатністю DLSS отримує інформацію зі своєї бази знань тренування зображень із надвисокою роздільною здатністю для створення зображення, яке все ще виглядає так, ніби воно працювало на вищій дозвіл. Ідея полягає в тому, щоб ігри, відтворені в 1440p, виглядали так, ніби вони працюють у 4K або 1080p, щоб вони виглядали як 1440p. DLSS 2.0 пропонує в чотири рази більшу роздільну здатність, що дозволяє відтворювати ігри з роздільною здатністю 1080p і виводити їх у 4K.

Більш традиційні методи високої роздільної здатності можуть призвести до артефактів і помилок у кінцевому зображенні, але DLSS розроблено для роботи з цими помилками для створення ще кращого зображення. За відповідних обставин це може забезпечити значне підвищення продуктивності, не впливаючи на зовнішній вигляд гри; навпаки, це може зробити гру ще кращою.

Де люблять ранні ігри DLSS Final Fantasy XV забезпечили незначне підвищення частоти кадрів лише з 5 кадрів на секунду (fps) до 15 fps, у останніх версіях відзначено набагато більші покращення. З такими іграми Доставте нам Місяць і Wolfenstein: Youngblood, Nvidia представила новий механізм штучного інтелекту для DLSS, який, як нам сказали, покращує якість зображення, особливо при низькій роздільності, наприклад 1080p, і може збільшити частоту кадрів у деяких випадках більш ніж на 50%.

З останньою ітерацією DLSS 3 приріст частоти кадрів може бути ще суттєвішим завдяки новій функції генерації кадрів. У попередніх реалізаціях DLSS лише ядра Tensor покращували вигляд кадрів, але тепер кадри можна візуалізувати лише за допомогою штучного інтелекту. Ми обговоримо DLSS 3 більш детально пізніше.

Існують також нові режими налаштування якості, які можуть використовувати користувачі DLSS, вибираючи між Performance, Збалансований і якісний, кожен з яких зосереджує потужність ядра Tensor GPU RTX на різних аспектах DLSS.

Як працює DLSS?

DLSS змушує гру відтворюватися з нижчою роздільною здатністю (зазвичай 1440p), а потім використовує свій навчений алгоритм штучного інтелекту, щоб визначити, як би вона виглядала, якби її відтворювали з вищою (зазвичай 4K). Це робиться за допомогою деяких ефектів згладжування (ймовірно, власного TAA Nvidia) і деякого автоматичного підвищення різкості. Візуальні артефакти, яких не було б у вищій роздільній здатності, також усуваються та навіть використовуються для визначення деталей, які мають бути присутніми на зображенні.

як Eurogamer пояснює, алгоритм штучного інтелекту навчено переглядати певні ігри з надзвичайно високою роздільною здатністю (імовірно 64-кратна супервибірка) і дистильовано до щось розміром лише кілька мегабайт, перш ніж буде додано до останніх версій драйверів Nvidia та стане доступним для геймерів у всьому світ. Спочатку Nvidia мала пройти цей процес окремо від гри до гри. У DLSS 2.0 Nvidia пропонує загальне рішення, тому модель AI більше не потребує навчання для кожної гри.

По суті, DLSS є версією в режимі реального часу Технологія Ansel від Nvidia для покращення скріншотів. Він рендерить зображення з нижчою роздільною здатністю, щоб забезпечити підвищення продуктивності, а потім застосовує різні ефекти, щоб забезпечити відносно порівнянний загальний ефект із підвищенням роздільної здатності.

Результат може бути різним, але загалом це призводить до вищої частоти кадрів без суттєвої втрати точності зображення. Nvidia стверджує, що частота кадрів може підвищитися на 75% у Remedy Entertainment КОНТРОЛЬ при використанні DLSS і трасування променів. Зазвичай це менш виражено, і не всі є прихильниками остаточного вигляду гри DLSS, але Варіант, безумовно, є для тих, хто хоче прикрасити свої ігри без витрат на роботу на вищих дозвіл.

в Death Stranding, ми побачили значні покращення у 1440p порівняно з рідним рендерингом. Режим Performance втратив деякі дрібніші деталі на задній упаковці, зокрема на стрічці. Режим якості зберігає більшість деталей, одночасно згладжуючи деякі нерівності вихідної візуалізації. Наш знімок екрана «DLSS off» показує якість без будь-якого згладжування. Хоча DLSS не підтримує такий рівень якості, він дуже ефективний у боротьбі з псевдонімами, зберігаючи більшість деталей.

Ми не помітили надмірної різкості Death Stranding, але це те, з чим ви можете зіткнутися під час використання DLSS.

З часом краще

DLSS має потенціал, щоб надати гравцям, які не можуть досягти комфортної частоти кадрів при роздільній здатності вище 1080p, можливість зробити це за допомогою висновків. DLSS, безперечно, є однією з найпотужніших функцій графічних процесорів RTX. Вони не такі потужні, як ми могли сподіватися, і ефекти трасування променів гарні, але, як правило, мають значний вплив на продуктивність, але DLSS дає нам найкраще з обох світів: кращі ігри з кращою продуктивністю.

Спочатку здавалося, що DLSS стане нішевою функцією для відеокарт низького класу, але це не так. Натомість DLSS увімкнув такі ігри, як Кіберпанк 2077 і КОНТРОЛЬ щоб підвищити точність зображення на апаратному забезпеченні високого класу, не роблячи ігри неможливими. DLSS покращує апаратне забезпечення нижчого класу, надаючи можливість зазирнути в майбутнє апаратного забезпечення високого класу.

Nvidia показала RTX 3090 рендеринг ігор, як Wolfenstein: YoungBlood на 8K з увімкненою трасуванням променів і DLSS. Хоча до широкого впровадження 8K ще далеко, дисплеї 4K стають все більш поширеними. Замість рендерингу у рідній роздільній здатності 4K і сподівання триматися приблизно від 50 до 60 кадрів/с, геймери можуть рендерити з роздільною здатністю 1080p або 1440p і використовувати DLSS, щоб заповнити відсутню інформацію. Результатом є вища частота кадрів без помітної втрати якості зображення.

DLSS також постійно вдосконалюється, і він отримує регулярні оновлення, намагаючись покращити алгоритм ШІ. Тепер це дозволяє розумніше використовувати вектори руху, що, по суті, допомагає покращити вигляд об’єктів, коли вони рухаються. Оновлення також зменшує ореоли, робить ефекти частинок більш чіткими та покращує тимчасову стабільність. DLSS 2 зараз досить широко поширений, і станом на вересень 2022 року його підтримують 216 ігор.

Однак на цьому вдосконалення не закінчуються. Насправді з появою DLSS 3 все стане набагато цікавішим.

DLSS 3 переосмислює технологію, відтворюючи кадри замість пікселів

20 вересня ц. під час основної доповіді GTC 2022Nvidia анонсувала DLSS 3 — останню ітерацію технології, яка буде доступна власникам відеокарт RTX 40-ї серії. На відміну від деяких попередніх менших оновлень, цього разу зміни в DLSS значні, і вони можуть запропонувати величезне підвищення продуктивності завдяки додаванню кадрів, згенерованих штучним інтелектом, які створюються за допомогою реальних кадрів, створених графічним процесором рендери. Це дуже відрізняється від DLSS і DLSS 2, які лише відредагували реальні кадри за допомогою масштабування за допомогою AI.

Наразі існує чотири графічні процесори, які підтримують DLSS 3:

• RTX 4090
• RTX 4080
• RTX 4070 Ti
• RTX 4070

У нашому огляді RTX 4090, ми виявили, що DLSS 3 може забезпечити значно вищу частоту кадрів, ніж DLSS 2. в Кіберпанк 2077 у 4K із трасуванням променів, встановленим на максимум, увімкнення DLSS 3 дало майже на 50% більше кадрів, ніж просто використання DLSS 2; Порівняно з невикористанням DLSS взагалі, DLSS 3 мав утричі більшу частоту кадрів. У цьому аспекті DLSS 3 працює точно так, як обіцяла Nvidia.

Однак у DLSS 3 є деякі технічні обмеження. По суті, DLSS вставляє згенерований AI кадр між двома реальними кадрами, і цей кадр AI складається на основі відмінностей між двома реальними кадрами. Природно, це означає, що графічний процесор не може показати вам другий реальний кадр, перш ніж ви побачите кадр, створений штучним інтелектом, тому затримка набагато вища з DLSS 3. Ось чому Nvidia Reflex також потрібно ввімкнути для роботи DLSS 3.

Інше важливе обмеження DLSS 3 пов’язане просто з помилками та дивними візуальними помилками, створеними штучним інтелектом. Під час нашого тестування ми виявили загальне зниження якості під час увімкнення DLSS 3, яке легко не помітити, коли частота кадрів настільки висока, але деякі проблеми з якістю важко ігнорувати. Елементи інтерфейсу або HUD, зокрема, спотворюються у кадрах, згенерованих штучним інтелектом, мабуть, через те, що штучний інтелект орієнтований на 3D-середовища, а не на 2D-текст, який знаходиться поверх самої гри. DLSS 2 не має цієї проблеми, оскільки інтерфейс користувача відображається незалежно від 3D-елементів, на відміну від DLSS 3.

Нижче наведено знімок екрана з Кіберпанк 2077 порівняння DLSS 3, DLSS 2 і рідної роздільної здатності зліва направо. Коли справа доходить до середовища, обидві реалізації DLSS кращі за нативну, але ви можете також побачите, що на скріншоті DLSS 3 ліворуч маркер квесту спотворений, а текст нечитабельний. Зазвичай це відбувається у кадрах, згенерованих штучним інтелектом, в іграх із DLSS 3.

З одного боку, DLSS 3 підштовхує кадри ще вище і зазвичай має не набагато гіршу візуальну якість, ніж DLSS 2. Але з іншого боку, увімкнення DLSS 3 спричиняє дуже високу затримку відносно частоти кадрів і може викликати дивні візуальні помилки, особливо в елементах UI та HUD. Зниження затримки та зменшення візуальних артефактів, безсумнівно, буде складним завданням для Nvidia, оскільки це фундаментальні компроміси, які постачаються з DLSS 3. Однак для технології першого покоління це хороша перша спроба, і, сподіваюся, Nvidia зможе покращити ситуацію з майбутніми ітераціями DLSS 3.

DLSS 3 повільно прокладає собі шлях до більшої кількості ігор. Ось назви, які наразі підтримують DLSS 3:

• Розповідь про чуму: Реквієм
• Атомне серце
• Світла Пам'ять: Нескінченна
• Чорнобильський
• Клинок завойовника
• Кіберпанк 2077
• Доставте нам Марс
• Знищити всіх людей 2
• Dying Light 2
• F1 22
• КУЛАК: Викуваний у Shadow Torch
• Хітмен 3
• Хогвартська спадщина
• Ікар
• Юрський світ Еволюція 2
• Справедливість
• Лупмансер
• Мародери
• Marvel’s Spider-Man Remastered
• Microsoft Flight Simulator
• Опівнічне полювання на привидів
• Mount and Blade 2 Bannerlord
• Нарака Bladepoiint
• Портал RTX
• Рипаут
• Відьмак 3 Дике Полювання
• Warhammer 40,000 Darktide

DLSS проти FSR проти RSR проти XeSS

AMD є найбільшим конкурентом Nvidia, коли мова йде про графічні технології. Конкурувати з DLSS, AMD випущено FidelityFX Super Resolution (FSR) у 2021 році. Незважаючи на те, що він досягає тієї самої мети — покращення візуальних ефектів із одночасним підвищенням частоти кадрів, FSR працює зовсім інакше, ніж DLSS. FSR рендерить кадри з нижчою роздільною здатністю, а потім використовує відкритий алгоритм просторового масштабування, щоб щоб гра виглядала так, ніби вона працює з вищою роздільною здатністю і не враховує вектор руху даних. DLSS використовує алгоритм штучного інтелекту для отримання тих самих результатів, але ця техніка підтримується лише власними графічними процесорами Nvidia RTX. FSR, з іншого боку, може працювати практично на будь-якому GPU.

Окрім FSR, AMD також має Radeon Super Resolution (RSR), що є технікою просторового масштабування, яка використовує AI. Хоча це схоже на DLSS, є відмінності. RSR створено за тим самим алгоритмом, що й FidelityFX Super Resolution (FSR), і є функцією на основі драйвера, яка надається через програмне забезпечення AMD Adrenalin. RSR має на меті заповнити прогалину, де FSR недоступний, оскільки останній має бути реалізований безпосередньо в конкретних іграх. По суті, RSR має працювати майже в будь-якій грі, оскільки розробникам не потрібно його впроваджувати. Примітно, що FSR доступний для нових графічних процесорів Nvidia та AMD, а RSR, з іншого боку, сумісний лише з картами RDNA AMD, які включають Radeon RX 5000 і Серія RX 6000. Незабаром цей асортимент буде розширено RDNA 3 і її графічні процесори серії Radeon RX 7000.

Intel також працює над власною технологією суперсемплінгу під назвою Xe Super Sampling (XeSS), і на відміну від FSR або DLSS, доступні дві різні версії. Перший використовує матричні математичні одиниці XMX, які присутні в новому Графічні процесори Arc Alchemist; ці блоки XMX піклуються про всю обробку ШІ на апаратному рівні. Інша версія використовує загальноприйняту інструкцію чотириелементного векторного скалярного добутку (DP4a), тим самим усуваючи залежність від власного обладнання Intel і дозволяючи XeSS працювати на Nvidia та AMD графічні процесори.

Рекомендації редакції

• Чи Nvidia щойно виправила розплавлення роз’ємів живлення RTX 4090?
• RTX 4060 Ti 16GB виходить 18 липня на фоні відчайдушного зниження цін
• Що таке оперативна пам'ять? Ось усе, що вам потрібно знати
• Що таке GDDR7? Усе, що вам потрібно знати про VRAM наступного покоління
• Я протестував нову RTX 4060 від Nvidia проти RX 7600 — і це не дуже добре