วิธีการทำงานของ Nvidia DLSS 3 และเหตุใด FSR จึงตามไม่ทันในตอนนี้

เรื่องราวนี้เป็นส่วนหนึ่งของซีรี่ส์ ReSpec ของ Jacob Roach ซึ่งครอบคลุมโลกของเกมพีซีและฮาร์ดแวร์

ของ Nvidia กราฟิกการ์ดซีรีส์ RTX 40 กำลังจะมาถึงในไม่กี่สัปดาห์สั้นๆ แต่ท่ามกลางการปรับปรุงฮาร์ดแวร์ทั้งหมด สิ่งที่อาจเป็นไข่ทองคำของ Nvidia: ดีเอสเอส 3. เป็นมากกว่าการอัปเดตฟีเจอร์ DLSS (Deep Learning Super Sampling) ยอดนิยมของ Nvidia และอาจจบลงด้วย กำหนดรุ่นต่อไปของ Nvidia มากกว่ากราฟิกการ์ดเสียอีก

AMD ทำงานอย่างหนักเพื่อให้ได้มา FidelityFX ความละเอียดสูงสุด (FSR) เทียบเท่ากับ DLSS และในช่วงหลายเดือนที่ผ่านมาก็ประสบความสำเร็จ ดูเหมือนว่า DLSS 3 จะเปลี่ยนไดนามิกนั้น — และคราวนี้ FSR อาจตามไม่ทันในเร็วๆ นี้

DLSS 3 ทำงานอย่างไร (และไม่ทำงานอย่างไร)

คุณจะได้รับการอภัยเพราะคิดว่า DLSS 3 เป็นเวอร์ชันใหม่ทั้งหมด สพปแต่มันไม่ใช่ หรืออย่างน้อยก็ไม่ใช่เรื่องใหม่ทั้งหมด แกนหลักของ DLSS 3 คือเทคโนโลยีความละเอียดสูงแบบเดียวกับที่มีอยู่ในชื่อ DLSS ในปัจจุบัน และ Nvidia คงจะปรับปรุงต่อไปด้วยเวอร์ชันใหม่ Nvidia กล่าวว่าคุณจะเห็นส่วนความละเอียดสูงสุดของ DLSS 3 เป็นตัวเลือกแยกต่างหากในการตั้งค่ากราฟิกในขณะนี้

ส่วนใหม่คือการสร้างเฟรม DLSS 3 จะสร้างเฟรมที่ไม่ซ้ำใครในทุก ๆ เฟรม โดยสร้างเจ็ดจากทุก ๆ แปดพิกเซลที่คุณเห็น คุณสามารถดูภาพประกอบได้ในผังงานด้านล่าง ในกรณีของ 4K GPU ของคุณจะเรนเดอร์พิกเซลสำหรับ 1080p เท่านั้น และใช้ข้อมูลนั้นไม่เพียงแต่สำหรับเฟรมปัจจุบันเท่านั้นแต่รวมถึงเฟรมถัดไปด้วย

การสร้างเฟรมตาม Nvidia จะเป็นการสลับแยกจากความละเอียดขั้นสูง นั่นเป็นเพราะการสร้างเฟรมใช้งานได้เฉพาะกับ RTX 40-series GPUs ในขณะนี้ ในขณะที่ความละเอียดสูงจะยังคงใช้งานได้บนกราฟิกการ์ด RTX ทั้งหมด แม้ในเกมที่อัปเดตเป็น DLSS 3 ควรจะดำเนินไปโดยไม่บอก แต่ถ้าครึ่งหนึ่งของเฟรมของคุณถูกสร้างขึ้นอย่างสมบูรณ์ นั่นจะเป็นการเพิ่มประสิทธิภาพของคุณโดย มาก.

การสร้างเฟรมไม่ได้เป็นเพียงซอสลับของ AI เท่านั้น ใน DLSS 2 และเครื่องมือเช่น FSR, เวกเตอร์การเคลื่อนไหวเป็นอินพุตหลักสำหรับการลดขนาด พวกเขาอธิบายตำแหน่งที่วัตถุเคลื่อนที่จากเฟรมหนึ่งไปยังอีกเฟรมหนึ่ง แต่เวกเตอร์การเคลื่อนไหวใช้กับรูปทรงเรขาคณิตในฉากเท่านั้น องค์ประกอบที่ไม่มีรูปทรงเรขาคณิต 3 มิติ เช่น เงา แสงสะท้อน และอนุภาค มักจะถูกปกปิดไม่ให้อยู่ในกระบวนการลดขนาดเพื่อหลีกเลี่ยงการสร้างภาพ

การปิดบังไม่ใช่ทางเลือกเมื่อ AI กำลังสร้างเฟรมที่ไม่เหมือนใคร ซึ่งเป็นจุดที่ตัวเร่งการไหลของแสงใน GPU ซีรีส์ RTX 40 เข้ามามีบทบาท เหมือนกับเวกเตอร์การเคลื่อนไหว ยกเว้นว่ากราฟิกการ์ดจะติดตามการเคลื่อนไหวของพิกเซลแต่ละพิกเซลจากเฟรมหนึ่งไปยังอีกเฟรมหนึ่ง ฟิลด์โฟลว์ออปติคัลนี้ พร้อมด้วยเวกเตอร์การเคลื่อนไหว ความลึก และสี มีส่วนช่วยในเฟรมที่สร้างโดย AI

ดูเหมือนจะกลับหัวกลับหาง แต่มีปัญหาใหญ่กับเฟรมที่สร้างโดย AI: พวกมันเพิ่มเวลาแฝง เฟรมที่สร้างโดย AI จะไม่ผ่านพีซีของคุณ — เป็นเฟรม "ปลอม" ดังนั้นคุณจะไม่เห็นเฟรมดังกล่าวในการอ่านค่า fps แบบดั้งเดิมในเกมหรือเครื่องมือต่างๆ เช่น FRAPS ดังนั้น เวลาแฝงจึงไม่ลดลงแม้จะมีเฟรมพิเศษจำนวนมาก และเนื่องจากค่าใช้จ่ายในการคำนวณของการไหลของออปติคอล ทำให้เวลาแฝงเพิ่มขึ้นจริง ด้วยเหตุนี้ DLSS 3 จึงต้องการ Nvidia Reflex เพื่อชดเชยเวลาแฝงที่สูงขึ้น

โดยปกติแล้ว CPU ของคุณจะจัดเก็บคิวการเรนเดอร์สำหรับกราฟิกการ์ดของคุณ เพื่อให้แน่ใจว่า GPU ของคุณจะไม่รอให้ทำงานเสร็จ (ซึ่งจะทำให้การกระตุกและอัตราเฟรมลดลง) Reflex จะลบคิวการเรนเดอร์และซิงค์ GPU และ CPU ของคุณ เพื่อให้ทันทีที่ CPU ของคุณสามารถส่งคำสั่งได้ GPU จะเริ่มประมวลผล เมื่อนำไปใช้กับ DLSS 3 ทาง Nvidia กล่าวว่า Reflex บางครั้งอาจส่งผลให้เวลาแฝงลดลง

ที่ AI สร้างความแตกต่าง

FSR 2.0 ของ AMD ไม่ใช้ AI และอย่างที่ฉันเขียนไปเมื่อนานมาแล้ว มันพิสูจน์ได้ว่าคุณสามารถทำได้ ได้คุณภาพเทียบเท่ากับ DLSS ด้วยอัลกอริทึมแทนการเรียนรู้ของเครื่อง DLSS 3 เปลี่ยนแปลงสิ่งนั้นด้วยความสามารถในการสร้างเฟรมที่ไม่เหมือนใคร เช่นเดียวกับการเปิดตัวออปติคัลโฟลว์

การไหลเวียนของแสงไม่ใช่แนวคิดใหม่ — มีมานานหลายทศวรรษแล้วและมีแอปพลิเคชันในทุกสิ่งตั้งแต่แอปพลิเคชันตัดต่อวิดีโอไปจนถึงรถยนต์ที่ขับเคลื่อนด้วยตัวเอง อย่างไรก็ตาม, คำนวณการไหลของแสงด้วยการเรียนรู้ของเครื่อง ค่อนข้างใหม่เนื่องจากชุดข้อมูลที่เพิ่มขึ้นเพื่อฝึกโมเดล AI เหตุผลที่คุณต้องการใช้ AI นั้นง่ายมาก: มันสร้างข้อผิดพลาดทางภาพน้อยลงเมื่อได้รับการฝึกฝนที่เพียงพอ และไม่มีค่าใช้จ่ายมากเท่าในขณะรันไทม์

DLSS กำลังดำเนินการที่รันไทม์ เป็นไปได้ที่จะพัฒนาอัลกอริทึมโดยไม่ใช้การเรียนรู้ของเครื่อง เพื่อประเมินว่าแต่ละพิกเซลเคลื่อนที่จากเฟรมหนึ่งไปยังอีกเฟรมหนึ่งอย่างไร ถัดไป แต่มีราคาแพงในการคำนวณ ซึ่งสวนทางกับจุดรวมของการสุ่มตัวอย่างขั้นสูงในครั้งแรก สถานที่. ด้วยโมเดล AI ที่ไม่ต้องการแรงม้าจำนวนมากและข้อมูลการฝึกอบรมที่เพียงพอ — และมั่นใจได้เลยว่า Nvidia มี มีข้อมูลการฝึกอบรมมากมายให้ใช้งาน — คุณสามารถบรรลุการไหลแบบออปติกที่มีคุณภาพสูงและดำเนินการได้ที่ รันไทม์

นั่นนำไปสู่การปรับปรุงอัตราเฟรมแม้ในเกมที่ CPU จำกัด Supersampling ใช้กับความละเอียดของคุณเท่านั้น ซึ่งเกือบทั้งหมดขึ้นอยู่กับ GPU ของคุณ ด้วยเฟรมใหม่ที่ข้ามการประมวลผลของ CPU ทำให้ DLSS 3 สามารถเพิ่มอัตราเฟรมในเกมได้สองเท่าแม้ว่าคุณจะมีเฟรมเรตครบ คอขวดของซีพียู. น่าประทับใจและปัจจุบันทำได้ด้วย AI เท่านั้น

ทำไม FSR 2.0 ถึงตามไม่ทัน (ตอนนี้)

AMD ได้ทำสิ่งที่เป็นไปไม่ได้ด้วย FSR 2.0 มันดูยอดเยี่ยมและความจริงที่ว่ามันไม่ขึ้นอยู่กับแบรนด์นั้นดียิ่งกว่า ฉันพร้อมที่จะ คลอง DLSS สำหรับ FSR 2.0 ตั้งแต่ครั้งแรกที่ฉันเห็นมันใน เดธลูป. แต่เท่าที่ฉันสนุกกับ FSR 2.0 และคิดว่ามันเป็นชุดอุปกรณ์ที่ยอดเยี่ยมจาก AMD มันคงไม่ทัน DLSS 3 ในเร็วๆ นี้

สำหรับผู้เริ่มต้น การพัฒนาอัลกอริทึมที่สามารถติดตามแต่ละพิกเซลระหว่างเฟรมที่ปราศจากสิ่งประดิษฐ์นั้นยากพอสมควร โดยเฉพาะอย่างยิ่งในสภาพแวดล้อม 3 มิติที่มีรายละเอียดหนาแน่น (ไซเบอร์พังก์ 2077 เป็นตัวอย่างที่สำคัญ) เป็นไปได้ แต่ยาก อย่างไรก็ตาม ปัญหาที่ใหญ่กว่าคืออัลกอริทึมนั้นจะต้องอ้วนแค่ไหน การติดตามแต่ละพิกเซลผ่านพื้นที่ 3 มิติ ทำการคำนวณการไหลของแสง สร้างเฟรม และกำจัดเหตุร้ายที่เกิดขึ้นระหว่างทาง — เป็นเรื่องที่ต้องถามมาก

การทำให้มันทำงานในขณะที่เกมกำลังดำเนินการและยังคงให้การปรับปรุงอัตราเฟรมในระดับ FSR 2.0 หรือ DLSS นั่นยิ่งต้องถาม Nvidia แม้จะมีโปรเซสเซอร์เฉพาะและรุ่นที่ผ่านการฝึกอบรมแล้ว แต่ก็ยังต้องใช้ Reflex เพื่อชดเชยเวลาแฝงที่สูงขึ้นที่กำหนดโดยการไหลของแสง หากไม่มีฮาร์ดแวร์หรือซอฟต์แวร์นั้น FSR น่าจะแลกเปลี่ยนเวลาแฝงมากเกินไปเพื่อสร้างเฟรม

ฉันไม่สงสัยเลยว่า AMD และนักพัฒนารายอื่นจะไปถึงที่นั่นในที่สุด – หรือหาวิธีอื่นในการแก้ปัญหา – แต่นั่นอาจใช้เวลาไม่กี่ปีข้างหน้า มันยากที่จะพูดในตอนนี้

พูดง่ายๆก็คือ DLSS 3 ดูน่าตื่นเต้นมาก แน่นอนว่าเราต้องรอจนกว่าจะถึงเวลาตรวจสอบการอ้างสิทธิ์ด้านประสิทธิภาพของ Nvidia และดูว่าคุณภาพของภาพเป็นอย่างไร จนถึงตอนนี้ เราเพิ่งมีวิดีโอสั้น ๆ จาก Digital Foundry ที่แสดงฟุตเทจ DLSS 3 (ด้านบน) ซึ่งฉันขอแนะนำให้ดูจนกว่าเราจะได้เห็นการทดสอบของบุคคลที่สามเพิ่มเติม จากจุดได้เปรียบในปัจจุบันของเรา DLSS 3 ดูมีแนวโน้มที่ดีอย่างแน่นอน

บทความนี้เป็นส่วนหนึ่งของ ReSpec – คอลัมน์รายปักษ์ที่มีการสนทนา คำแนะนำ และการรายงานเชิงลึกเกี่ยวกับเทคโนโลยีเบื้องหลังเกมพีซี

คำแนะนำของบรรณาธิการ

• เหตุใด Nvidia RTX 4060 Ti จึงไม่เพียงพอสำหรับปี 2023
• นี่คือวิธีรับ Redfall Bite Back Edition ฟรีจาก Nvidia
• ฉันเปลี่ยนมาใช้ AMD GPU เป็นเวลาหนึ่งเดือน — นี่คือเหตุผลที่ฉันไม่พลาด Nvidia
• หากการอ้างสิทธิ์ RX 7900 XTX ของ AMD เป็นจริง Nvidia อาจประสบปัญหาใหญ่
• AMD ฉีกอแด็ปเตอร์ RTX 4090 ที่หลอมละลาย เนื่องจาก Nvidia เผชิญกับการฟ้องร้องดำเนินคดีแบบกลุ่ม