Как Samsung воплотила в жизнь AR Emojis в Galaxy S9

Встроен в Самсунг Галакси С9 приложение камеры, AR-эмодзи позволяет использовать фронтальную камеру для создания и отправки цифровых мультипликационных аватаров. Похоже на Apple Анимодзи По идее, AR Emoji фиксирует движения вашего лица и отражает их в форме персонажа или животного. Но с помощью функции «Создать мой эмодзи» вы также можете создать свой собственный, просто сделав селфи, что позволит вам выбрать оттенок кожи, одежду, прическу, цвет волос и очки.

С помощью AR Emoji компания Samsung решила решить то, что она считает проблемой — найти способ заменить существующие смайлы интерактивными. Компания хотела сделать это простым способом, предоставив пользователям правильные инструменты для улавливать эмоции, но при этом позволяет им легко делиться результатом с помощью различных сообщений. платформы.

Итак, как Samsung создала свои AR Emojis? Начнем с того, что дело сразу дошло до экспертов по 3D-анимации, которые воплотили в жизнь некоторых из самых популярных персонажей Голливуда.

От большого экрана к камере смартфона

Для реализации новой функции Samsung сотрудничала с Loom.ai — стартап из Сан-Франциско, специализирующийся на 3D-анимации. Программное обеспечение компании позволяет пользователям создавать полностью персонализированные и настраиваемые 3D-аватары из одной фотографии без специального оборудования или датчиков глубины. Благодаря партнерству и набору средств разработки программного обеспечения (SDK) компания Samsung объединила технологию Loom.ai с технологией камеры S9 (дополненная реальность и распознавание лиц), чтобы сделать возможным создание индивидуальных AR Emoji.

Концепция Loom.ai началась с фильмов — мультфильмов и супергероев, если быть точным. Основатель Loom.ai Махеш ранее работал в таких популярных компаниях, занимающихся визуальными эффектами, как DreamWorks и Lucasfilm. Рамасубраманиан и Киран Бхат — помогли вывести на широкую публику таких известных персонажей, как Шрек и Халк. экран.

Чтобы придать индивидуальность этим персонажам, они использовали технологию захвата актерского мастерства, чтобы включить актеров, которые их играли, — записывая движения актера, а не его внешний вид. Но, увидев, как кинозрители отреагировали на их 3D-творения, Рамасубраманиан и Бхат решили продвигать эту технологию дальше — за пределы Голливуда — запустив Loom.ai, который фокусируется на смартфоны.

«Люди мгновенно реагируют на то, что эти персонажи оживают, когда ими управляют актеры-люди», — сказал Digital Trends Рамасубраманиан, который является генеральным директором и соучредителем. «Мы запустили Loom.ai с целью найти простой способ для каждого человека увидеть себя в 3D, и для этого нам пришлось создать новую технологию».

В художественных фильмах создание 3D-аватара требует тонны оборудования — дорогостоящего оборудования и программного обеспечения, макияжа и студийной обстановки. Но Loom.ai нашел способ упростить процесс захвата черт лица без использования привычных инструментов; вместо этого его запатентованная технология использует одну фотографию и глубокое обучение для анализа изображения. Если на фотографии нет выражений лица, алгоритм глубокого обучения просматривает пиксели и автоматически создает лицо, отражающее правильное движение мышц.

«Когда началось партнерство с Samsung, у нас появилась возможность реализовать эту сложную технологию на устройстве, которое мы считаем, что это уже само по себе является довольно интересной инженерной задачей», — сказал Digital Бхат, технический директор и соучредитель Loom.ai. Тенденции. «Это большой технологический скачок: мы можем взять некоторые из этих идей и стремлений с большого экрана и перенести их на мобильные устройства».

Внедрение этой технологии в аппаратное обеспечение Galaxy S9 потребовало от Loom.ai реструктуризации своих алгоритмов, чтобы они могли работать на устройстве. Но Loom.ai создал не только AR Emoji: и Рамасубраманиан, и Бхат отдают должное Samsung за приложенные огромные усилия по оптимизации программного обеспечения. Основатели Loom.ai полагают, что, предоставив SDK для интеграции в смартфоны, Samsung сможет сделать платформу намного богаче, добавив в будущем больше контента и возможностей настройки.

Как Galaxy S9 создает цифровой аватар

Итак, как именно S9 (и С9 Плюс) создавать AR Emojis? Хотя Samsung не раскрыла свой секретный соус, она предоставила Digital Trends возможность заглянуть под капот.

Используя технологию Loom.ai, камера телефона захватывает и преобразует 2D-изображение в 3D. Чтобы еще больше улучшить эту функцию, S9 использует дополнительное программное обеспечение — отслеживание лица и технологию Samsung Blend Shape — для обеспечения выражения лица для AR Emoji.

После этого у вас останется мультяшная версия самого себя, которая может выражать 18 различных выражений — которые Samsung планирует постепенно расширить до 54 — от радости и удовольствия до печали и гнева. Все данные также локальны для устройства и больше нигде не сохраняются.

Обе технологии работают вместе: технология отслеживания лица отслеживает более 100 черт лица в режиме реального времени (например, подмигивание или улыбка), чтобы запечатлеть отдельные эмоции, а Blend Shape помогает передать их более широкий диапазон, объединяя выражения на основе 75 основных человеческих эмоций. черты лица. Samsung заявляет, что для Blend Shape она проводила в своих лабораториях не менее 100 тестов еженедельно, чтобы убедиться, что имеется достаточно данных, которые привлекут пользователей. (Blend Shape также используется для создания AR-эмодзи Disney, таких как Микки и Минни Маус.)

В нашем собственном Тест AR-эмодзи, большинство из нас считали, что наши персонажи выглядели крайне неточно. Один писатель считал, что вариантов оттенков кожи не хватает, и нет темнокожих тонов на выбор. Другие считали, что их AR-эмодзи совсем не похожи на них, из-за чего редактирование аватара казалось скорее рутинной работой, чем приятным занятием.

По данным Loom.ai, создание точного AR-эмодзи во многом зависит от того, как снято селфи. Пользователи должны делать фото так же, как они фотографируют паспорт. «Вам нужно ровное освещение, ничего не закрывающее лицо и нейтральное выражение лица, чтобы мы могли добавить выражения позже», — объяснил Рамасубраманиан. «Дело в том, что люди немного привыкнут к этому, а затем увидят возможности его анимации и использования».

Рамасубраманиан также сказал, что пользователи должны относиться к нему так же, как к любому селфи — то есть вы можете делать массу фотографий, пока не будете удовлетворены фотографией. Поскольку AR Emoji позволяет создавать несколько аватаров, вы можете сравнить их, чтобы найти тот, который вам больше всего нравится. Каждый созданный вами файл также сохраняется на вашем телефоне, поэтому вы можете переключать используемую версию в зависимости от вашего настроения.

Последнее обновление AR Emoji включает дополнительные прически, головные уборы, такие как хиджаб, и другие варианты. В настоящее время обновление распространяется на разблокированные версии Самсунг Галакси С9 и S9 Plus в Корее, Китае и Европе. На устройствах европейских операторов связи и устройствах с разблокировкой в ​​США обновление должно быть доступно для загрузки на этой неделе. Обновление для устройств операторов связи в США будет выпущено в ближайшие недели. Samsung заявляет, что AR Emoji продолжит развиваться в будущем, но пока хранит молчание о точных деталях.

Рекомендации редакции

• Samsung только что предоставил нам три больших тизера Galaxy Unpacked
• Последний Android-телефон Asus может стать большой угрозой для Galaxy S23 Ultra
• Вот наш первый взгляд на Samsung Galaxy Tab S9 Plus.
• Samsung, возможно, только что убил Galaxy S10
• Galaxy Tab S9 от Samsung может получить функцию, которой никогда не было у iPad