Samsung ทำให้ AR Emojis มีชีวิตขึ้นมาใน Galaxy S9 ได้อย่างไร

ฝังตัวอยู่ใน ซัมซุงกาแล็กซี่ S9 แอพกล้อง เออาร์ อิโมจิ ช่วยให้คุณใช้กล้องหน้าเพื่อสร้างและส่งอวตารการ์ตูนดิจิทัล คล้ายกับของ Apple แอนิโมจิ ตามแนวคิด AR Emoji จะบันทึกการเคลื่อนไหวใบหน้าของคุณและสะท้อนให้เห็นในรูปแบบของตัวละครหรือสัตว์ แต่ด้วยฟีเจอร์ "สร้างอิโมจิของฉัน" คุณสามารถสร้างอีโมจิของตัวเองได้ด้วยการเซลฟี่ โดยคุณสามารถเลือกสีผิว เครื่องแต่งกาย ทรงผม สีผม และแว่นตาได้

ด้วย AR Emoji ทาง Samsung มุ่งมั่นที่จะแก้ไขสิ่งที่มองว่าเป็นปัญหา โดยค้นหาวิธีแทนที่อิโมจิที่มีอยู่ด้วยอิโมจิแบบโต้ตอบได้ บริษัทต้องการทำเช่นนี้ด้วยวิธีที่เรียบง่าย โดยมอบเครื่องมือที่เหมาะสมแก่ผู้ใช้ จับอารมณ์ความรู้สึกแต่ยังคงทำให้พวกเขาแบ่งปันผลลัพธ์บนข้อความที่หลากหลายได้อย่างง่ายดาย แพลตฟอร์ม

Samsung สร้าง AR Emojis ขึ้นมาได้อย่างไร? สำหรับผู้เริ่มต้น เจาะลึกไปที่ผู้เชี่ยวชาญด้านแอนิเมชัน 3 มิติที่เนรมิตตัวละครยอดนิยมที่สุดของฮอลลีวูดให้มีชีวิตขึ้นมา

จากจอใหญ่สู่กล้องสมาร์ทโฟน

เพื่อขับเคลื่อนฟีเจอร์ใหม่นี้ Samsung ได้ร่วมมือกับ Loom.ai — สตาร์ทอัพในซานฟรานซิสโกที่เชี่ยวชาญด้านแอนิเมชั่น 3 มิติ ซอฟต์แวร์ของบริษัทช่วยให้ผู้ใช้สามารถสร้างอวตาร 3 มิติที่เป็นส่วนตัวและปรับแต่งได้อย่างสมบูรณ์จากภาพถ่ายเดียว โดยไม่ต้องใช้ฮาร์ดแวร์หรือเซ็นเซอร์ความลึกแบบกำหนดเอง ด้วยความร่วมมือและชุดพัฒนาซอฟต์แวร์ (SDK) Samsung ได้รวมเทคโนโลยีของ Loom.ai เข้ากับเทคโนโลยีกล้องของ S9 (ความเป็นจริงเสริมและการจดจำใบหน้า) เพื่อทำให้ AR Emoji แบบกำหนดเองเป็นไปได้

วิสัยทัศน์เบื้องหลัง Loom.ai เริ่มต้นจากภาพยนตร์ — การ์ตูนและซูเปอร์ฮีโร่ ก่อนหน้านี้เคยทำงานในบริษัทวิชวลเอฟเฟกต์ยอดนิยมอย่าง DreamWorks และ Lucasfilm ผู้ก่อตั้ง Loom.ai – Mahesh Ramasubramanian และ Kiran Bhat — ได้ช่วยนำตัวละครที่มีชื่อเสียง เช่น Shrek และ the Hulk มาสู่วงกว้าง หน้าจอ.

เพื่อใส่บุคลิกภาพเข้าไปในตัวละครเหล่านั้น พวกเขาใช้เทคโนโลยีการบันทึกการแสดงเพื่อรวมนักแสดงที่เล่นเป็นพวกเขา โดยบันทึกการเคลื่อนไหวของนักแสดง ไม่ใช่รูปลักษณ์ภายนอก แต่หลังจากที่ได้เห็นว่าผู้ชมมีปฏิกิริยาต่อการสร้างสรรค์ 3 มิติของพวกเขาอย่างไร Ramasubramanian และ Bhat จึงตัดสินใจ เพื่อนำเทคโนโลยีนั้นไปไกลกว่าฮอลลีวูด โดยเริ่ม Loom.ai ซึ่งมุ่งเน้นไปที่ สมาร์ทโฟน

“ผู้คนมีปฏิกิริยาโต้ตอบทันทีเมื่อตัวละครเหล่านี้มีชีวิตขึ้นมาเมื่อตัวละครเหล่านี้ขับเคลื่อนโดยนักแสดงที่เป็นมนุษย์” Ramasubramanian ซึ่งทำหน้าที่เป็น CEO และผู้ร่วมก่อตั้งกล่าวกับ Digital Trends “เราเริ่มต้น Loom.ai โดยมีเป้าหมายคือเราต้องสามารถหาวิธีที่ง่ายสำหรับทุกคนในการมองเห็นตัวเองในแบบ 3 มิติ และเพื่อสิ่งนั้น เราจึงต้องสร้างเทคโนโลยีใหม่”

สำหรับภาพยนตร์ การสร้างอวาตาร์ 3 มิติต้องใช้อุปกรณ์มากมาย เช่น ฮาร์ดแวร์และซอฟต์แวร์ราคาแพง การแต่งหน้า และการตั้งค่าในสตูดิโอ แต่ Loom.ai ค้นพบวิธีที่จะทำให้กระบวนการจับภาพคุณสมบัติของบุคคลง่ายขึ้นโดยไม่ต้องใช้เครื่องมือทั่วไป แต่เทคโนโลยีที่ได้รับสิทธิบัตรจะใช้ภาพถ่ายเพียงภาพเดียวและการเรียนรู้เชิงลึกเพื่อวิเคราะห์ภาพ หากภาพถ่ายไม่มีการแสดงออกทางสีหน้าใดๆ อัลกอริธึมการเรียนรู้เชิงลึกจะพิจารณาที่พิกเซลและสร้างใบหน้าที่ห่อหุ้มการเคลื่อนไหวของกล้ามเนื้อที่ถูกต้องโดยอัตโนมัติ

“เมื่อความร่วมมือของ Samsung ดำเนินไป เราก็มีโอกาสที่จะนำเทคโนโลยีที่ซับซ้อนนั้นไปใช้กับอุปกรณ์ ซึ่ง เรารู้สึกว่าเป็นงานวิศวกรรมที่น่าสนใจอยู่แล้ว” Bhat, CTO และผู้ร่วมก่อตั้งของ Loom.ai กล่าวกับ Digital เทรนด์ “มันเป็นความก้าวหน้าทางเทคโนโลยีครั้งใหญ่ในการสามารถนำแนวคิดและแรงบันดาลใจบางส่วนจากหน้าจอขนาดใหญ่มาสู่มือถือ”

การรวมเทคโนโลยีนี้เข้ากับฮาร์ดแวร์ Galaxy S9 นั้น Loom.ai ต้องปรับโครงสร้างอัลกอริธึมใหม่เพื่อที่จะทำงานบนอุปกรณ์ได้ แต่ Loom.ai ไม่ได้สร้าง AR Emoji เพียงอย่างเดียว: ทั้ง Ramasubramanian และ Bhat ให้เครดิต Samsung ในการทุ่มเทความพยายามอย่างมากในการเพิ่มประสิทธิภาพซอฟต์แวร์ ด้วยการจัดเตรียม SDK เพื่อรวมเข้ากับสมาร์ทโฟน ผู้ก่อตั้ง Loom.ai คิดว่า Samsung สามารถทำให้เฟรมเวิร์กมีความสมบูรณ์ยิ่งขึ้นโดยการเพิ่มเนื้อหาและตัวเลือกการปรับแต่งเพิ่มเติมในอนาคต

Galaxy S9 สร้างอวตารดิจิทัลได้อย่างไร

แล้ว S9 (และ เอส 9 พลัส) สร้าง AR Emojis? แม้ว่า Samsung จะไม่เปิดเผยความลับของตน แต่ก็ทำให้ Digital Trends ดูเบื้องหลัง

ด้วยเทคโนโลยีของ Loom.ai กล้องของโทรศัพท์จะจับภาพและประมวลผลภาพ 2D ให้เป็น 3D เพื่อปรับปรุงสิ่งนี้ให้ดียิ่งขึ้น S9 ใช้ซอฟต์แวร์เพิ่มเติม — การติดตามใบหน้าและเทคโนโลยี Blend Shape ของ Samsung — เพื่อให้การแสดงออกทางสีหน้าสำหรับ AR Emoji

จากนั้นคุณก็จะเหลือตัวเองในเวอร์ชั่นการ์ตูนที่สามารถแสดงอารมณ์ความรู้สึกได้ 18 แบบ ซึ่ง Samsung วางแผนจะค่อยๆ ขยายเป็น 54 แบบ ตั้งแต่ความสุขและความเพลิดเพลิน ไปจนถึงความโศกเศร้าและความโกรธ ข้อมูลทั้งหมดยังอยู่ในอุปกรณ์และจะไม่ถูกจัดเก็บไว้ที่อื่น

เทคโนโลยีการติดตามใบหน้าทั้งสองทำงานร่วมกันติดตามลักษณะใบหน้ามากกว่า 100 ลักษณะแบบเรียลไทม์ (เช่น การขยิบตาหรือยิ้ม) เพื่อจับภาพ อารมณ์ของแต่ละบุคคล ในขณะที่ Blend Shape ช่วยให้แสดงอารมณ์ได้หลากหลายมากขึ้น — ซึ่งผสมผสานการแสดงออกต่างๆ เข้าด้วยกันโดยอิงจากพื้นฐานของมนุษย์ 75 คน คุณสมบัติใบหน้า Samsung กล่าวว่าสำหรับ Blend Shape นั้นได้ทำการทดสอบอย่างน้อย 100 ครั้งต่อสัปดาห์ภายในห้องปฏิบัติการเพื่อให้แน่ใจว่ามีข้อมูลเพียงพอที่จะดึงดูดผู้ใช้ (Blend Shape ยังใช้เพื่อสร้าง Disney AR Emojis เช่น มิกกี้และมินนี่เมาส์)

ในตัวของเราเอง ทดสอบ AR อิโมจิพวกเราส่วนใหญ่รู้สึกว่าตัวละครของเราดูไม่ถูกต้องอย่างยิ่ง นักเขียนคนหนึ่งรู้สึกว่าไม่มีตัวเลือกโทนสีผิวและไม่มีโทนสีผิวเข้มให้เลือก คนอื่นๆ รู้สึกว่า AR Emoji ของพวกเขาดูไม่เหมือนพวกเขา ซึ่งทำให้การแก้ไขอวตารดูเหมือนเป็นงานที่น่าเบื่อมากกว่าเป็นงานที่สนุกสนาน

จากข้อมูลของ Loom.ai การสร้าง AR Emoji ที่แม่นยำนั้นขึ้นอยู่กับวิธีการถ่ายเซลฟี่เป็นอย่างมาก ผู้ใช้ควรดำเนินการถ่ายภาพในลักษณะเดียวกับการถ่ายภาพหนังสือเดินทาง “คุณต้องการแสงสว่างที่สม่ำเสมอ ไม่มีอะไรมาบดบังใบหน้าของคุณ และการแสดงออกที่เป็นกลาง เพื่อที่เราจะได้เพิ่มการแสดงออกในภายหลัง” รามาสุบรามาเนียนอธิบาย “มันเป็นเรื่องของการที่ผู้คนจะคุ้นเคยกับมันเล็กน้อย จากนั้นจึงมองเห็นความเป็นไปได้ในการสร้างแอนิเมชันและใช้งานมัน”

Ramasubramanian ยังกล่าวอีกว่าผู้ใช้ควรปฏิบัติต่อมันในแบบที่พวกเขาทำขณะถ่ายเซลฟี่ ซึ่งหมายความว่าคุณสามารถถ่ายรูปได้มากมายจนกว่าคุณจะพอใจกับรูปถ่ายนั้น เนื่องจาก AR Emoji ช่วยให้คุณสร้างอวตารได้หลายแบบ คุณจึงสามารถเปรียบเทียบเพื่อค้นหาอันที่คุณชอบที่สุดได้ แต่ละอันที่คุณสร้างจะบันทึกลงในโทรศัพท์ของคุณด้วย ดังนั้นคุณจึงสามารถสลับเวอร์ชันที่คุณใช้ได้ตามอารมณ์ของคุณ

การอัปเดตล่าสุดของ AR Emoji มีทรงผมเพิ่มเติม อุปกรณ์สวมศีรษะ เช่น ฮิญาบ และตัวเลือกอื่นๆ ขณะนี้การอัปเดตกำลังเปิดตัวไปยังเวอร์ชันที่ปลดล็อคของ ซัมซุงกาแล็คซี่ S9 และ S9 Plus ในเกาหลี จีน และยุโรป อุปกรณ์ของผู้ให้บริการในยุโรปและอุปกรณ์ที่ปลดล็อคในสหรัฐฯ ควรมีการอัปเดตให้ดาวน์โหลดในสัปดาห์นี้ การอัปเดตสำหรับอุปกรณ์ของผู้ให้บริการในสหรัฐอเมริกาจะเปิดตัวในอีกไม่กี่สัปดาห์ข้างหน้า Samsung กล่าวว่า AR Emoji จะมีการพัฒนาต่อไปในอนาคต แต่สำหรับตอนนี้ยังคงไม่เปิดเผยรายละเอียดที่แน่นอน

คำแนะนำของบรรณาธิการ

• Samsung เพิ่งส่งทีเซอร์ Galaxy Unpacked ขนาดใหญ่ 3 ตัวให้เรา
• โทรศัพท์ Android รุ่นล่าสุดของ Asus อาจเป็นภัยคุกคามใหญ่ต่อ Galaxy S23 Ultra
• นี่เป็นรูปลักษณ์แรกของเราที่ Samsung Galaxy Tab S9 Plus
• Samsung อาจเพิ่งฆ่า Galaxy S10
• Galaxy Tab S9 ของ Samsung อาจได้รับฟีเจอร์ที่ iPad ไม่เคยมีมาก่อน