Как Samsung вдъхна живот на AR Emojis в Galaxy S9

Вграден в Samsung Galaxy S9 приложение за камера, AR Emoji ви позволява да използвате предната камера за създаване и изпращане на цифрови анимационни аватари. Подобно на това на Apple Animojis като концепция, AR Emoji улавя движенията на лицето ви и ги отразява под формата на герой или животно. Но с функцията „Create My Emoji“ можете също да създадете един от себе си, като просто си направите селфи – което ви позволява да изберете цвят на кожата, облекло, прическа, цвят на косата и очила.

С AR Emoji, Samsung се зае да реши това, което вижда като проблем – да намери начин да замени съществуващите емотикони с такива, които са интерактивни. Компанията искаше да направи това по прост начин, като предостави на потребителите правилните инструменти за улови емоция, но все пак им позволи лесно да споделят резултата в различни съобщения платформи.

И така, как Samsung създаде своите AR Emojis? За начало отиде направо при експертите по 3D анимация, които съживиха някои от най-популярните герои на Холивуд.

От голям екран до камера на смартфон

За да задвижи новата функция, Samsung си сътрудничи с Loom.ai — базиран в Сан Франциско стартъп, специализиран в 3D анимация. Софтуерът на компанията позволява на потребителите да създават напълно персонализирани и адаптивни 3D аватари от една снимка, без персонализиран хардуер или сензори за дълбочина. Чрез партньорство и комплект за разработка на софтуер (SDK), Samsung комбинира технологията на Loom.ai с технологията на камерата на S9 (разширена реалност и лицево разпознаване), за да направи възможно персонализираното AR Emoji.

Визията зад Loom.ai започна с филми — анимационни филми и супергерои, за да бъдем точни. След като преди това е работил в популярни компании за визуални ефекти като DreamWorks и Lucasfilm, основателите на Loom.ai – Махеш Рамасубраманиан и Киран Бхат – помогнаха за извеждането на добре познати герои, като Шрек и Хълк, в голямото екран.

За да инжектират индивидуалност в тези герои, те използваха технология за улавяне на изпълнението, за да включат актьорите, които ги играят - записвайки движенията на актьора, а не визуалния им вид. Но след като видяха как филмовата публика реагира на техните 3D творения, Рамасубраманиан и Бхат решиха да пренесем тази технология по-далеч – отвъд Холивуд – като стартираме Loom.ai, който се фокусира върху смартфони.

„Хората незабавно реагират на това, че тези герои оживяват, когато се управляват от човешки актьори“, каза Рамасубраманиан, който е главен изпълнителен директор и съосновател, пред Digital Trends. „Започнахме Loom.ai с целта да можем да намерим лесен начин за всеки индивид да може да се види в 3D и за това трябваше да изградим нова технология.“

При игралните филми създаването на 3D аватар изисква тонове оборудване — скъп хардуер и софтуер, грим и студийна обстановка. Но Loom.ai намери начин да опрости процеса на заснемане на характеристиките на човек без обичайните инструменти; вместо това неговата патентована технология използва една снимка и задълбочено обучение за анализиране на изображение. Ако снимката е без изражения на лицето, алгоритъмът за дълбоко обучение разглежда пикселите и автоматично създава лице, което капсулира правилното мускулно движение.

„Когато партньорството на Samsung започна, ние имахме шанс да внедрим тази сложна технология на устройство, което смятаме, че това вече е доста завладяваща инженерна задача сама по себе си“, каза Бхат, технически директор и съосновател на Loom.ai, пред Digital Тенденции. „Това е голям технологичен скок в възможността да вземем някои от тези идеи и стремежи от големия екран и да ги пренесем на мобилни устройства.“

Включването на тази технология в хардуера на Galaxy S9 изисква Loom.ai да преструктурира своите алгоритми, за да работи на устройството. Но Loom.ai не създаде сам AR Emoji: както Рамасубраманиан, така и Бхат признават Samsung за това, че полага огромни усилия за оптимизиране на софтуера. Предоставяйки SDK за интегриране в смартфони, основателите на Loom.ai смятат, че Samsung може да направи рамката много по-богата, като добави повече съдържание и опции за персонализиране в бъдеще.

Как Galaxy S9 създава цифров аватар

И така, как точно работи S9 (и S9 Plus) създаване на AR Emojis? Въпреки че Samsung не разкри тайния си сос, той даде на Digital Trends поглед под капака.

Работейки по технологията на Loom.ai, камерата на телефона заснема и обработва 2D изображение в 3D. За да подобри това допълнително, S9 използва допълнителен софтуер – проследяване на лицето и технологията Blend Shape на Samsung – за осигуряване на изражения на лицето за AR Emoji.

След това оставате с подобна на анимационен филм версия на себе си, която може да емоционира 18 различни изражения – които Samsung планира бавно да разшири до 54 – вариращи от радост и удоволствие до тъга и гняв. Всички данни също са локални за устройството и не се съхраняват никъде другаде.

И двете работещи заедно, технологията за проследяване на лицето проследява над 100 черти на лицето в реално време (като намигване или усмивка), за да ги заснеме индивидуални емоции, докато Blend Shape помага да се достави по-голяма гама от тях - което смесва изрази заедно въз основа на 75 основни човешки чертите на лицето. Samsung казва, че за Blend Shape е провел най-малко 100 теста на седмична база в своите лаборатории, за да се увери, че има достатъчно данни, които да привлекат потребителите. (Blend Shape също се използва за създаване на своите Disney AR Emojis, като Мики и Мини Маус.)

В нашите собствени Тест за AR Emoji, повечето от нас чувстваха, че героите ни изглеждат изключително неточни. Един писател смята, че липсват налични опции за тон на кожата, без тонове на тъмна кожа, от които да избирате. Други смятат, че техните AR Emoji не приличат на тях, което прави редактирането на аватара да изглежда повече като скучна работа, отколкото като приятна задача.

Според Loom.ai, създаването на точно AR Emoji зависи до голяма степен от начина, по който се заснема селфито. Потребителите трябва да направят снимката по същия начин, по който биха направили снимка за паспорт. „Искате равномерно осветление, нищо да не покрива лицето ви и неутрално изражение, за да можем да добавим израженията по-късно“, обясни Рамасубраманиан. „Въпрос е хората да свикнат малко с него и след това да видят възможностите да го анимират и използват.“

Рамасубраманиан също каза, че потребителите трябва да се отнасят към него по начина, по който биха го направили, докато правят каквото и да е селфи – което означава, че можете да правите тонове снимки, докато не сте доволни от снимката. Тъй като AR Emoji ви позволява да създавате множество аватари, можете да ги сравните, за да намерите този, който ви харесва най-много. Всеки създаден от вас също се записва в телефона ви, така че можете да превключите версията, която използвате в зависимост от настроението си.

Последната актуализация на AR Emoji включва допълнителни прически, шапки като хиджаб и други опции. В момента актуализацията се разпространява за отключени версии на Samsung Galaxy S9 и S9 Plus в Корея, Китай и Европа. Устройствата на европейски оператори и отключените устройства в САЩ трябва да имат актуализацията, налична за изтегляне тази седмица. Актуализацията за устройства на мобилни оператори в САЩ ще бъде пусната през следващите седмици. Samsung казва, че AR Emoji ще продължи да се развива в бъдеще, но засега остава скромен с точните подробности.

Препоръки на редакторите

• Samsung току-що ни даде 3 големи тийзъра за Galaxy Unpacked
• Най-новият Android телефон на Asus може да бъде голяма заплаха за Galaxy S23 Ultra
• Ето нашия първи поглед върху Samsung Galaxy Tab S9 Plus
• Samsung може току-що да е убил Galaxy S10
• Galaxy Tab S9 на Samsung може да получи функция, която iPad никога не е имал