ฉันใช้แอพเพื่อสร้างโมเดล 3 มิติที่น่าทึ่งด้วย iPhone ของฉัน

ความก้าวหน้าของนวัตกรรมในการสร้างภาพปัญญาประดิษฐ์นั้นยอดเยี่ยมมาก บริษัทแห่งหนึ่ง — Luma Labs — เป็นตัวอย่างที่ดีเยี่ยมของการใช้เทคโนโลยีล่าสุดที่ประยุกต์ใช้กับภาพ 3 มิติที่ใช้งานได้จริงแต่ให้ความบันเทิงมหาศาล

ลูม่า ไอ อยู่ในการทดสอบเบต้าบน iPhone และจะเปิดให้บริการในที่สุด หุ่นยนต์ เช่นกัน. ฉันเข้าร่วมกลุ่มการทดสอบเบต้าและสามารถแบ่งปันข้อมูลบางอย่างเกี่ยวกับสิ่งที่แอปที่น่าทึ่งนี้ทำ และความง่ายในการได้รับผลลัพธ์ที่น่าทึ่ง

ลูม่าเอไอคืออะไร?

Luma AI เป็นแอปและบริการที่พัฒนาโดย Luma Labs โดยจะจับภาพสามมิติโดยใช้เทคนิคที่เรียกว่า Neural Radiance Fields (NeRF) มันคล้ายกับเทคนิค Ray Tracing ที่ทำให้กราฟิกในเกมระดับไฮเอนด์ดูสมจริงมาก

NeRF มีมาหลายปีแล้ว แต่มีอยู่ในศูนย์วิจัยเป็นหลักจนกระทั่งเมื่อไม่นานมานี้ ด้วยการระเบิดของ การสร้างภาพ AI โดยมีการเรนเดอร์ Dall-E ที่สมจริงเหมือนภาพถ่าย, NeRF กำลังเริ่มถูกสำรวจโดยผู้ชมในวงกว้างมากขึ้น คลื่นลูกแรกของซอฟต์แวร์ NeRF ใหม่ต้องใช้ทักษะของนักพัฒนาและ การติดตั้งแพ็คเกจซอฟต์แวร์จาก GitHubแล้วจึงฝึก A.I. บนชุดภาพถ่าย มันค่อนข้างมากสำหรับคนทั่วไป

Luma Labs กำลังจะทำให้กระบวนการง่ายขึ้นอย่างมากด้วยแอป Luma AI ตั้งแต่ต้นจนจบ กระบวนการทั้งหมดสามารถจัดการได้จาก iPhone และผลลัพธ์สุดท้ายก็สามารถเข้าถึงได้มากขึ้นเช่นกัน

ความเข้ากันได้กับ iPhone ของ Luma AI

เนื่องจาก Apple ได้แสดงให้เห็นถึงความสามารถในการวัดความลึกแบบ 3 มิติของเซ็นเซอร์ LiDAR คุณจึงอาจคาดหวังว่า Luma AI จะต้องใช้เซ็นเซอร์ที่มีราคาแพงกว่า ไอโฟน 14 โปร หรือ ไอโฟน 14 โปรแม็กซ์ เพื่อจับภาพโมเดล 3 มิติ อย่างไรก็ตาม นักพัฒนาที่ชาญฉลาดของ Luma Labs ใช้ปัญญาประดิษฐ์แทน นั่นทำให้เทคโนโลยีนี้เข้ากันได้กับ iPhone ที่เก่าเท่ากับ iPhone 11

ในอนาคต แอปจะพร้อมใช้งานบน Android และมีเวอร์ชันเว็บอยู่ในการทดสอบเบต้าด้วย ในการให้สัมภาษณ์ Amit Jain CEO ของ Luma Labs กล่าวว่าแอพ iPhone คาดว่าจะพร้อมสำหรับการเปิดตัวสู่สาธารณะในอีกไม่กี่สัปดาห์

วิธีการใช้งาน Luma AI

หากต้องการใช้ Luma AI คุณเพียงแค่หมุนวงกลมช้าๆ รอบวัตถุที่มีความสูงต่างกันสามระดับ ภาพซ้อนทับ AR จะแนะนำคุณตลอดกระบวนการ ซึ่งใช้เวลาไม่กี่นาทีและจะง่ายขึ้นหลังจากลองไม่กี่ครั้งเมื่อคุณคุ้นเคยกับกระบวนการแล้ว อีกไม่นาน คุณจะสามารถถ่ายภาพวัตถุขนาดกลาง เช่น เก้าอี้ได้ภายในไม่กี่นาที

คุณสามารถจัดการวัตถุขนาดใดก็ได้ เพราะสำหรับ Luma AI มันเป็นเพียงชุดรูปภาพ ไม่ว่าวัตถุจะใหญ่แค่ไหนก็ตาม หากคุณวงกลมถ้วย รูปปั้น หรืออาคาร แนวคิดทั่วไปจะยังคงเหมือนเดิม

แอพจะแจ้งให้คุณทราบเมื่อมีรูปภาพเพียงพอ และเมื่อเป็นเช่นนั้น ปุ่มเสร็จสิ้นจะปรากฏขึ้น คุณยังสามารถวนเวียนและ เติมช่องว่างในกลุ่มเมฆ AR ของวงแหวนและสี่เหลี่ยม ที่แสดงถึงภาพถ่ายที่ถ่ายไว้จนถึงตอนนี้ แอพจะหยุดการถ่ายภาพโดยอัตโนมัติเมื่อมีการรวบรวมภาพถ่ายในจำนวนที่เหมาะสมที่สุด นอกจากนี้ยังมีโหมดอิสระที่ให้คุณถ่ายภาพได้มากขึ้นในมุมและระยะทางที่ต่างกัน คุณสามารถดูกระบวนการได้ในวิดีโอ YouTube ที่ฉันสร้างไว้ด้านล่าง มันเป็นแอป iPhone ดังนั้นจึงเป็นวิดีโอแนวตั้ง

การประมวลผลเป็นขั้นตอนต่อไป ซึ่งจะเกิดขึ้นบนเซิร์ฟเวอร์ของ Luma Labs หลังจากผ่านไปหนึ่งชั่วโมง NeRF ที่เสร็จแล้วจะพร้อมใช้งานในแอปในรูปแบบต่างๆ มากมาย มุมมองแรกที่ได้รับคือวิดีโอที่สร้างขึ้น ซึ่งแสดงการบินผ่านของวัตถุในสภาพแวดล้อมทางธรรมชาติ ถัดไปคือเวอร์ชันโต้ตอบและให้คุณหมุนมุมมองได้โดยการลากนิ้วหรือเมาส์ผ่านรูปภาพ

สิ่งที่น่าประทับใจที่สุดก็คือ วัตถุในการถ่ายภาพที่แยกออกมาจากพื้นหลังก็มีให้ใช้งานเช่นกัน ด้วยการนำเสนอนี้ คุณสามารถหมุนวัตถุ 3 มิติบนแกนใดๆ และซูมเข้าเพื่อดูได้ใกล้ยิ่งขึ้น ความคมชัดขึ้นอยู่กับจำนวนภาพที่รวบรวมได้ และความเร็วและความเสถียรของคุณในระหว่างกระบวนการถ่ายภาพ

ดีขึ้นตลอดเวลา

Luma Labs กำลังอัปเดตแอปและบริการอย่างรวดเร็ว ภายในหนึ่งสัปดาห์หลังจากได้รับคำเชิญให้ทดสอบเบต้า ก็มีการเพิ่มคุณสมบัติใหม่อันทรงพลังสองประการที่ขยายความเป็นไปได้อย่างมาก ตัวเลือกแรกคือตัวเลือกการอัปโหลดเว็บที่ให้คุณจับภาพวิดีโอโดยไม่ต้องใช้แอป จากนั้นอัปโหลดไปยังเว็บไซต์ Luma Labs เพื่อดำเนินการ ผลลัพธ์จะปรากฏทางออนไลน์และในแอป

ซึ่งหมายความว่าคุณสามารถใช้โหมดกล้องของ iPhone บันทึกวิดีโอด้วยกล้องเฉพาะ หรือแม้แต่บันทึกวิดีโอด้วยแว่นตา AR เช่น Ray-Ban Stories ตัวอย่างเช่น วิดีโอโดรนจะยิ่งใหญ่ยิ่งขึ้นไปอีกเมื่อคุณสามารถเคลื่อนไหวได้อย่างราบรื่นและเปลี่ยนทิศทางหลังจากที่คุณลงจอดแล้ว Luma Labs แบ่งปันตัวอย่างที่ดีที่แสดงมุมมองทางอากาศของใบไม้ในฤดูใบไม้ร่วงในทวีตนี้

Fall in Palo Alto งดงามมาก! 🍂 https://t.co/EwNkiv0DQVpic.twitter.com/hdd7iBLYgV

— ลูม่า เอไอ (@LumaLabsAI) 22 ตุลาคม 2022

คุณสมบัติใหม่อื่น ๆ เปิดโอกาสให้แก้ไข วาดภาพ และพิมพ์ 3 มิติ ตาข่าย 3 มิติสามารถส่งออกด้วยพื้นผิวในรูปแบบ OBJ หรือ GLTF ไม่ได้รับการปรับให้เหมาะสม แต่สามารถดูได้ด้วยพื้นผิวที่สมบูรณ์แม้กับผู้ชมออนไลน์ เช่น เว็บไซต์โอเพ่นซอร์สฟรี ออนไลน์ 3DViewer.

นอกจากนี้ยังสามารถเปิดไฟล์ 3D ในตัวแก้ไข mesh เช่นโอเพ่นซอร์สฟรีได้อีกด้วย เมชแล็บ เพื่อลบสิ่งประดิษฐ์ที่หลงเหลืออยู่ซึ่งปรากฏเป็นหยดลอย รวมถึงล้างข้อมูล และทำให้โมเดลง่ายขึ้นก่อนที่จะส่งออกในรูปแบบต่างๆ ตุ๊กตาที่แสดงไว้ด้านบนนี้สูงประมาณสามนิ้วและแกะสลักโดยเทรซีย์ภรรยาของฉันเพื่อทำธุรกิจของเธอ เอลิตเติลคาแรคเตอร์. Luma AI เก็บรายละเอียดที่น่าทึ่งไว้ในประติมากรรมและท่อนไม้ที่รูปปั้นวางอยู่ MeshLab สามารถเลือกและลบบันทึกได้เช่นกัน

สูงและต่ำของการสแกน 3 มิติ

Kyle Brussell แบ่งปันการจัดแสดงขนมหวานจากงานปาร์ตี้ โดยกล่าวว่าเขาขอให้ผู้ใหญ่รอขนมเพื่อที่เขาจะได้บันทึกเป็นภาพสามมิติแบบดิจิทัล

ใช้แล้ว @LumaLabsAI ในงานวันเกิดเมื่อคืน ทำให้ผู้ใหญ่กลุ่มหนึ่งไม่กินของหวาน ฉันเลยใช้โทรศัพท์หมุนรอบโต๊ะเพื่อสร้างฝัน 3D AI ให้กับการตั้งค่าเหมือนคนเจ๋งๆ pic.twitter.com/sP0vVPB3yx

– ไคล์ รัสเซลล์ (@kylebrussell) 30 ตุลาคม 2022

แม้ว่า Luma AI จะสามารถประมวลผลวิดีโอได้ แต่ก็ต้องใช้ภาพนิ่งเพื่อสร้างฉากสามมิติ นั่นหมายความว่าหากวัตถุเคลื่อนไหว คุณภาพหรือความชัดเจนของภาพอาจลดลง ภาพ 3 มิติของคนที่นั่งดังที่แสดงในทวีตของ Albert Bozesan จะออกมาดี ในทวีตเดียวกัน ภาพที่สองของประติมากรรมแสดงให้เห็นว่าเกิดอะไรขึ้นเมื่อมีการเคลื่อนไหวภายในฉาก พื้นหลังแสดงบุคคลที่เดินใกล้วัตถุเป็นรูปร่างที่บิดเบี้ยว

เอาสอง @LumaLabsAI#NeRF ริมทะเลสาบบาวาเรียในปัจจุบัน วิธีที่ยอดเยี่ยมในการบันทึกความทรงจำ ให้ความรู้สึกเหมือน Minority Report #เทเกอร์นซีpic.twitter.com/HLC0ekF7uD

– อัลเบิร์ต โบเซซาน (@AlbertBozesan) 30 ตุลาคม 2022

ราคาและการวางจำหน่าย Luma AI

ขณะนี้ Luma AI อยู่ในการทดสอบเบต้า และจะมีการเชิญผ่านทางบริษัทเป็นระยะๆ ทวิตเตอร์ บัญชี. หากคุณมี iPhone ที่ใช้งานร่วมกันได้และสนใจในเทคโนโลยีนี้ คุณอาจสามารถเข้าใช้งานก่อนใครได้ นอกจากนี้ยังมีรายการรอใน ลูม่า แล็บส์ เว็บไซต์.

Jain ซีอีโอของ Luma Labs ระบุว่าราคายังไม่ได้รับการพิจารณา และขึ้นอยู่กับว่าฐานผู้ใช้กว้างแค่ไหน และผลลัพธ์ของการสแกนถูกใช้อย่างไร จากข้อความเหล่านี้ อาจมีการสมัครใช้งานแบบมืออาชีพพร้อมฟีเจอร์ขั้นสูงเพิ่มเติมและการสมัครใช้งานส่วนตัวในราคาที่ถูกกว่า ในขณะนี้จะยังคงใช้งานได้ฟรี

คำแนะนำของบรรณาธิการ

• Apple อาจเผชิญกับปัญหาการขาดแคลน iPhone 15 “รุนแรง” จากปัญหาการผลิต รายงานกล่าว
• ฉันจะโกรธมากถ้า iPhone 15 Pro ไม่ได้รับฟีเจอร์นี้
• ฉันพยายามเปลี่ยน GoPro ของฉันเป็นโทรศัพท์เครื่องใหม่และกล้องที่ชาญฉลาดของมัน
• อุปกรณ์ขนาดเล็กเครื่องนี้มอบฟีเจอร์ที่ดีที่สุดของ iPhone 14 ให้คุณในราคา 149 ดอลลาร์
• ฉันหวังว่า Apple จะนำฟีเจอร์ Vision Pro นี้มาสู่ iPhone

อัพเกรดไลฟ์สไตล์ของคุณDigital Trends ช่วยให้ผู้อ่านติดตามโลกแห่งเทคโนโลยีที่เปลี่ยนแปลงไปอย่างรวดเร็วด้วยข่าวสารล่าสุด รีวิวผลิตภัณฑ์สนุกๆ บทบรรณาธิการที่เจาะลึก และการแอบดูที่ไม่ซ้ำใคร