Cara kerja Nvidia DLSS 3, dan mengapa FSR tidak dapat mengejar untuk saat ini

Nvidia Kartu grafis seri RTX 40 akan tiba dalam beberapa minggu yang singkat, tetapi di antara semua peningkatan perangkat keras terdapat apa yang bisa menjadi telur emas Nvidia: DLSS 3. Ini lebih dari sekadar pembaruan untuk fitur DLSS (Deep Learning Super Sampling) populer Nvidia, dan itu bisa berakhir mendefinisikan generasi berikutnya Nvidia lebih dari kartu grafis itu sendiri.

AMD telah bekerja keras untuk mendapatkannya Resolusi Super FidelityFX (FSR) setara dengan DLSS, dan selama beberapa bulan terakhir, ini berhasil. DLSS 3 sepertinya akan mengubah dinamika itu — dan kali ini, FSR mungkin tidak dapat mengejarnya dalam waktu dekat.

Bagaimana DLSS 3 bekerja (dan bagaimana tidak)

Anda akan dimaafkan jika berpikir bahwa DLSS 3 adalah versi yang benar-benar baru

DLSS, tapi ternyata tidak. Atau setidaknya, itu tidak sepenuhnya baru. Tulang punggung DLSS 3 adalah teknologi resolusi super yang sama yang tersedia di judul DLSS hari ini, dan Nvidia mungkin akan terus menyempurnakannya dengan versi baru. Nvidia mengatakan Anda akan melihat bagian resolusi super dari DLSS 3 sebagai opsi terpisah di pengaturan grafis sekarang.

Bagian baru adalah pembuatan bingkai. DLSS 3 akan menghasilkan bingkai yang sepenuhnya unik setiap bingkai lainnya, yang pada dasarnya menghasilkan tujuh dari setiap delapan piksel yang Anda lihat. Anda dapat melihat ilustrasinya pada diagram alur di bawah ini. Dalam kasus 4K, GPU Anda hanya merender piksel untuk 1080p dan menggunakan informasi tersebut tidak hanya untuk bingkai saat ini tetapi juga untuk bingkai berikutnya.

Pembuatan bingkai, menurut Nvidia, akan menjadi toggle terpisah dari resolusi super. Itu karena pembuatan bingkai hanya berfungsi pada GPU seri RTX 40 untuk saat ini, sedangkan resolusi super akan terus berfungsi di semua kartu grafis RTX, bahkan di game yang telah diperbarui ke DLSS 3. Tidak perlu dikatakan lagi, tetapi jika setengah dari bingkai Anda dibuat sepenuhnya, itu akan meningkatkan kinerja Anda banyak.

Pembuatan bingkai bukan hanya saus rahasia AI. Di dalam DLSS 2 dan alat-alat seperti FSR, vektor gerak adalah input kunci untuk peningkatan. Mereka menjelaskan di mana objek bergerak dari satu frame ke frame berikutnya, tetapi vektor gerak hanya berlaku untuk geometri dalam sebuah adegan. Elemen yang tidak memiliki geometri 3D, seperti bayangan, pantulan, dan partikel, secara tradisional telah ditutup dari proses peningkatan untuk menghindari artefak visual.

Masking bukanlah pilihan saat AI menghasilkan bingkai yang sepenuhnya unik, di mana Akselerator Aliran Optik di GPU seri RTX 40 berperan. Ini seperti vektor gerak, kecuali kartu grafis melacak pergerakan piksel individu dari satu bingkai ke bingkai berikutnya. Bidang aliran optik ini, bersama dengan vektor gerak, kedalaman, dan warna, berkontribusi pada bingkai yang dihasilkan AI.

Kedengarannya seperti semua keuntungan, tetapi ada masalah besar dengan bingkai yang dihasilkan oleh AI: mereka meningkatkan latensi. Bingkai yang dihasilkan oleh AI tidak pernah melewati PC Anda — ini adalah bingkai "palsu", jadi Anda tidak akan melihatnya pada pembacaan fps tradisional di game atau alat seperti FRAPS. Jadi, latensi tidak turun meskipun memiliki begitu banyak bingkai ekstra, dan karena overhead komputasi aliran optik, latensi justru naik. Karena itu, DLSS 3 membutuhkan Refleks Nvidia untuk mengimbangi latensi yang lebih tinggi.

Biasanya, CPU Anda menyimpan antrean render untuk kartu grafis Anda untuk memastikan GPU Anda tidak pernah menunggu pekerjaan dilakukan (yang akan menyebabkan gagap dan penurunan frekuensi gambar). Reflex menghapus antrean render dan menyinkronkan GPU dan CPU Anda sehingga segera setelah CPU Anda dapat mengirimkan instruksi, GPU mulai memprosesnya. Saat diterapkan di atas DLSS 3, Nvidia mengatakan Reflex terkadang bahkan dapat menghasilkan pengurangan latensi.

Di mana AI membuat perbedaan

FSR 2.0 AMD tidak menggunakan AI, dan seperti yang saya tulis beberapa waktu lalu, ini membuktikan bahwa Anda bisa mendapatkan kualitas yang sama dengan DLSS dengan algoritme alih-alih pembelajaran mesin. DLSS 3 mengubahnya dengan kemampuan pembuatan bingkai yang unik, serta pengenalan aliran optik.

Aliran optik bukanlah ide baru — ini sudah ada selama beberapa dekade dan memiliki aplikasi dalam segala hal mulai dari aplikasi pengeditan video hingga mobil yang dapat mengemudi sendiri. Namun, menghitung aliran optik dengan pembelajaran mesin relatif baru karena peningkatan kumpulan data untuk melatih model AI. Alasan mengapa Anda ingin menggunakan AI sederhana: ini menghasilkan lebih sedikit kesalahan visual dengan pelatihan yang cukup dan tidak memiliki banyak overhead saat runtime.

DLSS dijalankan saat runtime. Dimungkinkan untuk mengembangkan algoritme, bebas dari pembelajaran mesin, untuk memperkirakan bagaimana setiap piksel berpindah dari satu bingkai ke bingkai lainnya yang berikutnya, tetapi mahal secara komputasi, yang bertentangan dengan inti dari supersampling pada yang pertama tempat. Dengan model AI yang tidak memerlukan banyak tenaga kuda dan data pelatihan yang cukup — dan yakinlah, Nvidia memilikinya banyak data pelatihan untuk digunakan — Anda dapat mencapai aliran optik yang berkualitas tinggi dan dapat dieksekusi dengan cepat runtime.

Itu mengarah pada peningkatan kecepatan bingkai bahkan di game yang dibatasi CPU. Supersampling hanya berlaku untuk resolusi Anda, yang hampir secara eksklusif bergantung pada GPU Anda. Dengan bingkai baru yang melewati pemrosesan CPU, DLSS 3 dapat menggandakan frekuensi gambar dalam game bahkan jika Anda memilikinya hambatan CPU. Itu mengesankan dan saat ini hanya mungkin dengan AI.

Mengapa FSR 2.0 tidak dapat mengejar (untuk saat ini)

AMD benar-benar melakukan hal yang mustahil dengan FSR 2.0. Kelihatannya fantastis, dan fakta bahwa itu agnostik merek bahkan lebih baik. Saya sudah siap parit DLSS untuk FSR 2.0 sejak pertama kali saya melihatnya Lingkaran kematian. Tapi meskipun saya menikmati FSR 2.0 dan menganggapnya sebagai kit yang hebat dari AMD, itu tidak akan mengejar DLSS 3 dalam waktu dekat.

Sebagai permulaan, mengembangkan algoritme yang dapat melacak setiap piksel di antara bingkai yang bebas dari artefak cukup sulit, terutama di lingkungan 3D dengan detail halus yang padat (Cyberpunk 2077 adalah contoh utama). Itu mungkin, tapi sulit. Masalah yang lebih besar, bagaimanapun, adalah seberapa membengkaknya algoritma itu. Melacak setiap piksel melalui ruang 3D, melakukan perhitungan aliran optik, menghasilkan bingkai, dan membersihkan setiap kecelakaan yang terjadi di sepanjang jalan — banyak yang harus ditanyakan.

Menjalankannya saat game dijalankan dan masih memberikan peningkatan frekuensi gambar pada level FSR 2.0 atau DLSS, itu lebih dari sekadar bertanya. Nvidia, bahkan dengan prosesor khusus dan model terlatih, masih harus menggunakan Reflex untuk mengimbangi latensi lebih tinggi yang ditimbulkan oleh aliran optik. Tanpa perangkat keras atau perangkat lunak itu, FSR kemungkinan akan memperdagangkan terlalu banyak latensi untuk menghasilkan bingkai.

Saya tidak ragu bahwa AMD dan pengembang lain pada akhirnya akan sampai di sana - atau menemukan cara lain untuk mengatasi masalah tersebut - tetapi itu bisa memakan waktu beberapa tahun ke depan. Sulit untuk mengatakannya sekarang.

Yang mudah dikatakan adalah DLSS 3 terlihat sangat menarik. Tentu saja, kita harus menunggu sampai ada di sini untuk memvalidasi klaim kinerja Nvidia dan melihat bagaimana kualitas gambar bertahan. Sejauh ini, kami hanya memiliki video pendek dari Digital Foundry yang memamerkan cuplikan DLSS 3 (di atas), yang sangat saya sarankan untuk ditonton sampai kami melihat pengujian pihak ketiga lebih lanjut. Namun, dari sudut pandang kami saat ini, DLSS 3 terlihat menjanjikan.

Artikel ini adalah bagian dari ReSpec – kolom dua mingguan berkelanjutan yang mencakup diskusi, saran, dan pelaporan mendalam tentang teknologi di balik game PC.

Rekomendasi Editor

• Mengapa Nvidia RTX 4060 Ti tidak cukup untuk tahun 2023
• Berikut cara mendapatkan Redfall Bite Back Edition gratis dari Nvidia
• Saya beralih ke GPU AMD selama sebulan — inilah mengapa saya tidak merindukan Nvidia
• Jika klaim AMD RX 7900 XTX benar, Nvidia bisa berada dalam masalah besar
• AMD merobek adaptor RTX 4090 yang meleleh saat Nvidia menghadapi gugatan class action