איך סמסונג הביאה לחיים אמוג'י AR בגלקסי S9

מוטבע לתוך של סמסונג גלקסי S9 אפליקציית מצלמה, AR Emoji מאפשר לך להשתמש במצלמה הקדמית כדי ליצור ולשלוח אווטרים מצוירים דיגיטליים. דומה לזה של אפל אנימוג'ים בתפיסה, AR Emoji לוכד את תנועות הפנים שלך ומשקף אותן בצורה של דמות או חיה. אבל עם התכונה "צור את האימוג'י שלי", אתה יכול גם ליצור אחד מעצמך פשוט על ידי צילום סלפי - המאפשר לך לבחור גוון עור, תלבושת, תסרוקת, צבע שיער ומשקפיים.

עם AR Emoji, סמסונג יצאה לפתור את מה שהיא רואה כבעיה - מציאת דרך להחליף אימוג'ים קיימים בכאלה שהם אינטראקטיביים. החברה רצתה לעשות זאת בצורה פשוטה, על ידי מתן הכלים הנכונים למשתמשים ללכוד רגשות אך עדיין אפשרו להם לשתף בקלות את התוצאה במגוון הודעות פלטפורמות.

אז איך יצרה סמסונג את AR Emojis שלה? בתור התחלה, זה הלך ישר למומחי האנימציה התלת-ממדית שהביאו לחיים כמה מהדמויות הפופולריות ביותר בהוליווד.

ממסך גדול ועד מצלמת סמארטפון

כדי להפעיל את התכונה החדשה, סמסונג שיתפה פעולה עם 

Loom.ai - סטארטאפ מבוסס סן פרנסיסקו המתמחה באנימציה תלת מימדית. התוכנה של החברה מאפשרת למשתמשים ליצור אווטרים תלת מימדיים מותאמים אישית וניתנים להתאמה אישית מתמונה בודדת, ללא חומרה או חיישני עומק מותאמים אישית. באמצעות שותפות וערכת פיתוח תוכנה (SDK), סמסונג שילבה את הטכנולוגיה של Loom.ai עם טכנולוגיית המצלמה של ה-S9 (מציאות רבודה וזיהוי פנים) כדי לאפשר AR Emoji מותאם אישית.

החזון מאחורי Loom.ai התחיל כולו בסרטים - קריקטורות וגיבורי על ליתר דיוק. לאחר שעבד בעבר בחברות אפקטים חזותיים פופולריים כמו DreamWorks ו-Lukasfilm, המייסדים של Loom.ai -Mahesh Ramasubramanian וקירן בהט - עזרו להביא דמויות ידועות, כמו שרק והאלק, לגדולות מָסָך.

כדי להחדיר אישיות לאותן דמויות, הם השתמשו בטכנולוגיית לכידת ביצועים כדי לשלב את השחקנים ששיחקו אותן - תיעדו את התנועות של השחקן, לא את המראה החזותי שלהם. אבל אחרי שראו איך קהל הקולנוע הגיב ליצירות התלת-ממד שלהם, Ramasubramanian ובאט החליטו לקחת את הטכנולוגיה הזו קדימה - מעבר להוליווד - על ידי פתיחת Loom.ai, שמתמקדת ב סמארטפונים.

"אנשים מגיבים באופן מיידי לכך שהדמויות האלה מתעוררות לחיים כשהיא מונעת על ידי שחקנים אנושיים", אמר Ramasubramanian, המשמש כמנכ"ל ומייסד שותף, ל-Digital Trends. "התחלנו את Loom.ai במטרה שאנחנו צריכים להיות מסוגלים למצוא דרך קלה עבור כל אדם כדי לראות את עצמו בתלת מימד, ולשם כך היינו צריכים לבנות טכנולוגיה חדשה."

בסרטים עלילתיים, יצירת אווטאר תלת מימד דורשת טונות של ציוד - חומרה ותוכנה יקרים, איפור ומסגרת אולפן. אבל Loom.ai מצא דרך לפשט את התהליך של לכידת תכונות של אדם ללא הכלים הרגילים; במקום זאת, הטכנולוגיה המוגנת בפטנט שלה משתמשת בתצלום יחיד ובלמידה עמוקה כדי לנתח תמונה. אם תצלום נקי מהבעות פנים כלשהן, אלגוריתם הלמידה העמוקה מסתכל על הפיקסלים ומייצר אוטומטית פנים שמכילות את תנועת השרירים הנכונה.

"כאשר השותפות של סמסונג התגלגלה הייתה לנו הזדמנות ליישם את הטכנולוגיה המתוחכמת הזו במכשיר, אשר אנחנו מרגישים שזו כבר משימה הנדסית די משכנעת בפני עצמה", אמר בהט, CTO ומייסד שותף של Loom.ai, ל-Digital. טרנדים. "זו קפיצה טכנולוגית גדולה ביכולת לקחת חלק מהרעיונות והשאיפות האלה מהמסך הגדול ולהביא אותו לנייד".

שילוב הטכנולוגיה הזו בחומרת ה-Galaxy S9 חייב את Loom.ai לבנות מחדש את האלגוריתמים שלה, כדי להפעיל את המכשיר. אבל Loom.ai לא יצר AR Emoji לבדו: גם Ramasubramanian וגם Bhat מייחסים את סמסונג להקדיש מאמצים עצומים לייעול התוכנה. על ידי אספקת ה-SDK להשתלב בסמארטפונים, מייסדי Loom.ai חושבים שסמסונג יכולה להפוך את המסגרת להרבה יותר עשירה על ידי הוספת עוד תוכן ואפשרויות התאמה אישית בעתיד.

כיצד ה-Galaxy S9 יוצר אווטאר דיגיטלי

אז איך בדיוק ה-S9 (ו S9 פלוס) ליצור AR Emojis? בעוד שסמסונג לא חשפה את הרוטב הסודי שלה, היא נתנה ל-Digital Trends מבט מתחת למכסה המנוע.

באמצעות הטכנולוגיה של Loom.ai, מצלמת הטלפון מצלמת ומעבדת תמונה דו-ממדית לתלת-ממד. כדי לשפר זאת עוד יותר, ה-S9 משתמש בתוכנה נוספת - מעקב פנים וטכנולוגיית Blend Shape של סמסונג - כדי לספק הבעות פנים לאמוג'י AR.

אז אתה נשאר עם גרסה דמוית קריקטורה של עצמך שיכולה להעלות 18 ביטויים שונים - שסמסונג מתכננת להרחיב לאט ל-54 - החל משמחה והנאה ועד צער וכעס. כל הנתונים הם גם מקומיים למכשיר, ואינם מאוחסנים בשום מקום אחר.

שניהם עובדים יחד, טכנולוגיית מעקב פנים עוקבת אחר למעלה מ-100 תווי פנים בזמן אמת (כגון קריצה או חיוך) כדי ללכוד רגשות אינדיבידואליים, בעוד Blend Shape עוזר לספק מגוון גדול יותר שלהם - המשלב ביטויים יחד על בסיס 75 אנושיים בסיסיים תווי פנים. סמסונג אומרת, עבור Blend Shape, היא ערכה לפחות 100 בדיקות על בסיס שבועי במעבדות שלה, על מנת לוודא שיש מספיק נתונים שיפתו את המשתמשים שלה. (Blend Shape משמש גם ליצירת אימוג'י AR של דיסני, כמו מיקי ומיני מאוס.)

אצלנו מבחן AR Emoji, רובנו הרגישו שהדמויות שלנו נראות מאוד לא מדויקות. כותב אחד הרגיש שיש חוסר אפשרויות לגוון עור זמינות, ללא גווני עור כהה לבחירה. אחרים הרגישו שה-AR Emoji שלהם לא נראה כמוהם, מה שגרם לעריכת האווטאר להיראות יותר כמו מטלה מאשר משימה מהנה.

לפי Loom.ai, יצירת אימוג'י AR מדויק מסתמכת במידה רבה על אופן צילום הסלפי. על המשתמשים לצלם את התמונה באותו אופן שבו היו מצלמים תמונת פספורט. "אתה רוצה תאורה אחידה, שום דבר שיכסה את הפנים שלך והבעה ניטרלית כדי שנוכל להוסיף את ההבעות מאוחר יותר", הסביר Ramasubramanian. "זה עניין של אנשים להתרגל לזה קצת ואז לראות את האפשרויות של הנפשה ושימוש בו."

Ramasubramanian גם אמר שמשתמשים צריכים להתייחס לזה כמו שהם יתייחסו בזמן צילום סלפי - כלומר, אתה יכול לצלם טונות של תמונות עד שתהיה מרוצה מהתמונה. מכיוון ש-AR Emoji מאפשר לך ליצור אווטרים מרובים, אתה יכול להשוות ביניהם כדי למצוא את אחד שאתה הכי אוהב. כל אחד שאתה יוצר נשמר גם בטלפון שלך, כך שאתה יכול לשנות את הגרסה שבה אתה משתמש בהתאם למצב הרוח שלך.

העדכון האחרון ל-AR Emoji כולל תסרוקות נוספות, כיסויי ראש כמו חיג'אב ואפשרויות אחרות. העדכון יוצא כעת לגרסאות לא נעולות של סמסונג גלקסי S9 ו-S9 Plus בקוריאה, סין ואירופה. מכשירי ספק אירופיים ומכשירים לא נעולים בארה"ב צריכים לקבל את העדכון זמין להורדה השבוע. העדכון עבור מכשירי הספק בארה"ב יתפרסם במהלך השבועות הקרובים. סמסונג אומרת ש-AR Emoji ימשיך להתפתח בעתיד, אך לעת עתה, היא שומרת על פרטים מדויקים.

המלצות עורכים

• סמסונג בדיוק נתנה לנו 3 טיזרים גדולים של Galaxy Unpacked
• טלפון האנדרואיד האחרון של אסוס עשוי להיות איום גדול על ה-Galaxy S23 Ultra
• הנה ההסתכלות הראשונה שלנו על Samsung Galaxy Tab S9 Plus
• ייתכן שסמסונג פשוט הרגה את ה-Galaxy S10
• ה-Galaxy Tab S9 של סמסונג עשוי לקבל תכונה שמעולם לא הייתה לאייפד