Вбудований у Samsung Galaxy S9 додаток камери, AR Emoji дозволяє використовувати передню камеру для створення та надсилання цифрових мультяшних аватарів. Схожий на Apple Анімодзі за концепцією, AR Emoji фіксує ваші рухи обличчя та відображає їх у формі персонажа чи тварини. Але за допомогою функції «Create My Emoji» ви також можете створити один із себе, просто зробивши селфі — дозволяючи вибрати тон шкіри, наряд, зачіску, колір волосся та окуляри.
За допомогою AR Emoji компанія Samsung вирішила те, що вона вважає проблемою — знайшла спосіб замінити існуючі емодзі на інтерактивні. Компанія хотіла зробити це простим способом, надаючи користувачам потрібні інструменти вловлювали емоції, але дозволяли їм легко ділитися результатом у різноманітних повідомленнях платформи.
Рекомендовані відео
Отже, як Samsung створила свої AR Emojis? Для початку він звернувся до експертів із 3D-анімації, які оживили деяких із найпопулярніших персонажів Голлівуду.
Пов'язані
- Ось усе, чого ми очікуємо від наступної події Samsung Unpacked
- Galaxy Tab S9 Ultra виглядає як один із найцікавіших планшетів 2023 року
- Ось наскільки насправді швидкий 5G на вашому Samsung Galaxy S23
Від великого екрану до камери смартфона
Для створення нової функції компанія Samsung співпрацювала з Loom.ai — стартап із Сан-Франциско, що спеціалізується на 3D-анімації. Програмне забезпечення компанії дозволяє користувачам створювати повністю персоналізовані та настроювані 3D-аватари з однієї фотографії без спеціального обладнання чи датчиків глибини. Завдяки партнерству та комплекту розробки програмного забезпечення (SDK) Samsung об’єднав технологію Loom.ai з технологією камери S9 (доповнена реальність і розпізнавання облич), щоб зробити можливим персоналізований AR Emoji.
Samsung хоче знайти спосіб замінити існуючі емодзі на інтерактивні.
Бачення Loom.ai почалося з фільмів — а точніше мультфільмів і супергероїв. Махеш, засновник Loom.ai, який раніше працював у таких популярних компаніях, які створюють візуальні ефекти, як DreamWorks і Lucasfilm. Рамасубраманян і Кіран Бхат — допомогли вивести відомих персонажів, таких як Шрек і Халк, у великий екран.
Щоб надати цим персонажам індивідуальність, вони використали технологію Performance Capture, щоб включити акторів, які їх грали, записуючи рухи актора, а не його візуальний вигляд. Але, побачивши, як кіноглядачі відреагували на їхні 3D-твори, Рамасубраманян і Бхат вирішили щоб розвинути цю технологію далі — за межі Голлівуду — запустивши Loom.ai, який зосереджується на смартфони.
«Люди миттєво реагують на те, що ці персонажі оживають, коли ними керують люди-актори», — сказав Рамасубраманян, який є генеральним директором і співзасновником, Digital Trends. «Ми запустили Loom.ai з метою знайти простий спосіб, щоб кожна людина могла бачити себе в 3D, і для цього нам потрібно було створити нову технологію».
У художніх фільмах для створення 3D-аватара потрібна маса обладнання — дороге обладнання та програмне забезпечення, грим і студійне середовище. Але Loom.ai знайшов спосіб спростити процес захоплення рис людини без звичайних інструментів; натомість його запатентована технологія використовує одну фотографію та глибоке навчання для аналізу зображення. Якщо на фотографії немає жодної міміки, алгоритм глибокого навчання розглядає пікселі й автоматично створює обличчя, яке відображає правильний рух м’язів.
«Коли партнерство Samsung розпочалося, у нас був шанс застосувати цю складну технологію на пристрої, який ми вважаємо, що це вже досить переконливе інженерне завдання саме по собі», — сказав Бхат, технічний директор і співзасновник Loom.ai, Digital. Тенденції. «Це великий технологічний стрибок у можливості взяти деякі з цих ідей і прагнень з великого екрана та перенести їх на мобільні пристрої».
Щоб створити AR Emoji, Samsung заручилася допомогою Loom.ai — стартап із Сан-Франциско, що спеціалізується на 3D-анімації.
Впровадження цієї технології в апаратне забезпечення Galaxy S9 вимагало від Loom.ai реструктуризації своїх алгоритмів, щоб працювати на пристрої. Але Loom.ai створив AR Emoji не сам: і Рамасубраманян, і Бхат відзначають величезні зусилля Samsung у оптимізації програмного забезпечення. Надаючи SDK для інтеграції в смартфони, засновники Loom.ai вважають, що Samsung може зробити структуру набагато багатшою, додавши більше вмісту та параметрів налаштування в майбутньому.
Як Galaxy S9 створює цифровий аватар
Отже, як саме працює S9 (і S9 Plus) створити AR Emojis? Хоча Samsung не розкрила свій секрет, вона дала Digital Trends можливість зазирнути під капот.
Завдяки технології Loom.ai камера телефону знімає та обробляє 2D-зображення в 3D. Щоб покращити це ще більше, S9 використовує додаткове програмне забезпечення — відстеження обличчя та технологію Blend Shape від Samsung — для надання міміки для AR Emoji.
Тоді ви залишитеся з мультяшною версією себе, яка може виражати 18 різних виразів, які Samsung планує повільно розширити до 54, починаючи від радості та задоволення до смутку та гніву. Усі дані також є локальними для пристрою та більше ніде не зберігаються.
Обидва, працюючи разом, технологія відстеження обличчя відстежує понад 100 рис обличчя в режимі реального часу (наприклад, підморгування або посмішку) для зйомки індивідуальні емоції, тоді як Blend Shape допомагає передати їх більший діапазон, що поєднує вирази разом на основі 75 основних людських риси обличчя. Samsung каже, що для Blend Shape вона щотижня проводила щонайменше 100 тестів у своїх лабораторіях, щоб переконатися, що є достатньо даних, які могли б зацікавити користувачів. (Blend Shape також використовується для створення своїх Disney AR Emojis, як-от Міккі та Мінні Маус.)
У нашій власній Тест AR Emoji, більшість із нас відчували, що наші персонажі виглядають надзвичайно неточно. Один письменник вважав, що не вистачає варіантів відтінку шкіри, і немає можливості вибирати темношкірі тони. Інші вважали, що їхні AR Emoji зовсім не схожі на них, через що редагування аватара здавалося радше клопотом, ніж приємним завданням.
Відповідно до Loom.ai, створення точного AR Emoji значною мірою залежить від способу зйомки селфі. Користувачі повинні фотографувати так само, як фотографували б на паспорт. «Вам потрібно рівномірне освітлення, нічого не закриває ваше обличчя та нейтральний вираз, щоб ми могли додати вирази пізніше», — пояснив Рамасубраманян. «Люди повинні трохи звикнути до цього, а потім побачити можливості його анімації та використання».
Рамасубраманян також сказав, що користувачі повинні ставитися до цього так, як вони б робили будь-яке селфі — тобто ви можете робити масу фотографій, доки ви не будете задоволені фотографією. Оскільки AR Emoji дозволяє створювати кілька аватарів, ви можете порівняти їх, щоб знайти той, який вам найбільше подобається. Кожна створена вами версія також зберігається у вашому телефоні, тож ви можете змінювати версію, яку використовуєте залежно від настрою.
Останнє оновлення AR Emoji включає додаткові зачіски, головні убори, такі як хіджаб, та інші параметри. Наразі оновлення доступне для розблокованих версій Samsung Galaxy S9 і S9 Plus у Кореї, Китаї та Європі. На пристроях європейських операторів і розблокованих пристроях у США оновлення має бути доступним для завантаження цього тижня. Оновлення для пристроїв операторів США буде випущено протягом наступних тижнів. Samsung каже, що AR Emoji продовжить розвиватися в майбутньому, але наразі не говорить про точні деталі.
Рекомендації редакції
- Samsung щойно надав нам 3 великі тизери Galaxy Unpacked
- Останній Android-телефон Asus може стати великою загрозою для Galaxy S23 Ultra
- Ось наш перший погляд на Samsung Galaxy Tab S9 Plus
- Можливо, Samsung щойно знищила Galaxy S10
- Galaxy Tab S9 від Samsung може отримати функцію, якої iPad ніколи не мав
