Jak Samsung ożywił emotikony AR w Galaxy S9

Osadzone w Samsunga Galaxy S9 aplikacja aparatu, Emotikony AR umożliwia używanie przedniego aparatu do tworzenia i wysyłania cyfrowych awatarów kreskówek. Podobny do Apple Animoji w koncepcji AR Emoji rejestruje ruchy twarzy i odzwierciedla je w postaci postaci lub zwierzęcia. Ale dzięki funkcji „Utwórz moje emoji” możesz także stworzyć własną emoji, po prostu robiąc sobie selfie – co pozwala wybrać odcień skóry, strój, fryzurę, kolor włosów i okulary.

Dzięki AR Emoji firma Samsung postanowiła rozwiązać swój problem — znaleźć sposób na zastąpienie istniejących emoji interaktywnymi. Firma chciała to zrobić w sposób prosty, udostępniając użytkownikom odpowiednie narzędzia uchwycić emocje, ale nadal pozwoliło im łatwo udostępnić wynik w różnych wiadomościach platformy.

Jak więc Samsung stworzył swoje emotikony AR? Na początek projekt trafił bezpośrednio do ekspertów od animacji 3D, którzy ożywili niektóre z najpopularniejszych postaci Hollywood.

Od dużego ekranu po aparat w smartfonie

Aby zapewnić obsługę nowej funkcji, firma Samsung nawiązała współpracę z firmą Loom.ai — startup z San Francisco specjalizujący się w animacji 3D. Oprogramowanie firmy pozwala użytkownikom tworzyć w pełni spersonalizowane i konfigurowalne awatary 3D na podstawie pojedynczego zdjęcia, bez konieczności stosowania niestandardowego sprzętu lub czujników głębokości. Dzięki partnerstwu i zestawowi programistycznemu (SDK) firma Samsung połączyła technologię Loom.ai z technologią aparatu S9 (rzeczywistość rozszerzona i rozpoznawanie twarzy), aby umożliwić tworzenie niestandardowych emotikonów AR.

Wizja stojąca za Loom.ai zaczęła się od filmów – a dokładniej od kreskówek i superbohaterów. Pracując wcześniej w popularnych firmach zajmujących się efektami wizualnymi, takich jak DreamWorks i Lucasfilm, założyciele Loom.ai – Mahesh Ramasubramanian i Kiran Bhat — pomogły wprowadzić na rynek znane postacie, takie jak Shrek i Hulk ekran.

Aby nadać tym postaciom osobowość, wykorzystali technologię przechwytywania występów, włączając aktorów, którzy je grali, rejestrując ruchy aktora, a nie jego wygląd. Jednak po zobaczeniu, jak widzowie zareagowali na ich kreacje 3D, Ramasubramanian i Bhat zdecydowali wynieść tę technologię dalej – poza Hollywood – uruchamiając Loom.ai, który koncentruje się na smartfony.

„Ludzie natychmiast reagują na ożywienie tych postaci, gdy sterują nimi ludzie” – powiedział Digital Trends Ramasubramanian, który jest dyrektorem generalnym i współzałożycielem. „Założyliśmy Loom.ai, mając na celu znalezienie łatwego sposobu, aby każda osoba mogła zobaczyć siebie w 3D, i w tym celu musieliśmy zbudować nową technologię”.

W przypadku filmów fabularnych stworzenie awatara 3D wymaga mnóstwa sprzętu – drogiego sprzętu i oprogramowania, makijażu i warunków studyjnych. Jednak Loom.ai znalazł sposób na uproszczenie procesu przechwytywania cech danej osoby bez użycia zwykłych narzędzi; zamiast tego opatentowana technologia wykorzystuje pojedyncze zdjęcie i głębokie uczenie się do analizy obrazu. Jeśli na zdjęciu nie widać wyrazu twarzy, algorytm głębokiego uczenia analizuje piksele i automatycznie tworzy twarz odzwierciedlającą prawidłowy ruch mięśni.

„Kiedy nawiązała się współpraca z firmą Samsung, mieliśmy szansę wdrożyć tę zaawansowaną technologię w urządzeniu, które naszym zdaniem samo w sobie jest już całkiem fascynującym zadaniem inżynieryjnym” – powiedział Digital Bhat, dyrektor ds. technicznych i współzałożyciel Loom.ai Trendy. „Możliwość przeniesienia niektórych pomysłów i aspiracji z dużego ekranu na urządzenia mobilne to duży skok technologiczny”.

Włączenie tej technologii do sprzętu Galaxy S9 wymagało od Loom.ai przebudowy swoich algorytmów, aby mogły działać na urządzeniu. Jednak Loom.ai nie stworzył sam emotikonów AR: zarówno Ramasubramanian, jak i Bhat przyznają, że firma Samsung włożyła ogromny wysiłek w optymalizację oprogramowania. Udostępniając SDK do integracji ze smartfonami, twórcy Loom.ai uważają, że Samsung może znacznie wzbogacić środowisko, dodając w przyszłości więcej treści i opcji dostosowywania.

Jak Galaxy S9 tworzy cyfrowy awatar

Jak więc dokładnie działa S9 (i S9 Plusa) utworzyć emotikony AR? Chociaż Samsung nie ujawnił swojego sekretnego sosu, zajrzał pod maskę Digital Trends.

Wykorzystując technologię Loom.ai, aparat telefonu przechwytuje i przetwarza obraz 2D na 3D. Aby jeszcze bardziej to ulepszyć, S9 wykorzystuje dodatkowe oprogramowanie — śledzenie twarzy i technologię Blend Shape firmy Samsung — aby zapewnić mimikę twarzy dla emoji AR.

Następnie otrzymujesz kreskówkową wersję siebie, która może wyrażać 18 różnych wyrażeń – które Samsung planuje powoli rozszerzyć do 54 – od radości i przyjemności po smutek i złość. Wszystkie dane są również przechowywane lokalnie na urządzeniu i nie są przechowywane nigdzie indziej.

Obie współpracujące technologie śledzenia twarzy śledzą w czasie rzeczywistym ponad 100 cech twarzy (takich jak mruganie lub uśmiechanie się) w celu uchwycenia indywidualnych emocji, podczas gdy Blend Shape pomaga zapewnić ich większy zakres — łącząc wyrażenia w oparciu o 75 podstawowych ludzkich rysy twarzy. Samsung twierdzi, że w przypadku Blend Shape przeprowadzał co najmniej 100 testów tygodniowo w swoich laboratoriach, aby upewnić się, że dostępna jest wystarczająca ilość danych, która przyciągnie użytkowników. (Blend Shape jest również używany do tworzenia emoji Disney AR, takich jak Myszka Miki i Minnie.)

W naszym własnym Test emotikonów AR, większość z nas uważała, że ​​nasze postacie wyglądają wyjątkowo niedokładnie. Jeden z pisarzy uznał, że brakuje dostępnych opcji odcieni skóry i nie można wybierać spośród odcieni ciemnej karnacji. Inni uważali, że ich emoji AR w niczym nie przypominają ich, przez co edytowanie awatara wydawało się bardziej obowiązkiem niż przyjemnym zadaniem.

Według Loom.ai utworzenie dokładnego emoji AR w dużej mierze zależy od sposobu wykonania selfie. Użytkownicy powinni podejść do zrobienia zdjęcia w taki sam sposób, jak robią to zdjęcie paszportowe. „Chcesz równomiernego oświetlenia, bez zakrywania twarzy i neutralnego wyrazu twarzy, abyśmy mogli później dodać wyrazistość” – wyjaśnił Ramasubramanian. „To kwestia tego, żeby ludzie się do tego trochę przyzwyczaili, a następnie dostrzegli możliwości animowania tego i wykorzystania”.

Ramasubramanian powiedział również, że użytkownicy powinni traktować to tak samo, jak podczas robienia dowolnego selfie – co oznacza, że ​​możesz robić mnóstwo zdjęć, dopóki nie będziesz zadowolony ze zdjęcia. Ponieważ AR Emoji umożliwia tworzenie wielu awatarów, możesz je porównać, aby znaleźć ten, który najbardziej Ci się podoba. Każda utworzona przez Ciebie wersja jest również zapisywana na Twoim telefonie, dzięki czemu możesz zmieniać używaną wersję w zależności od nastroju.

Najnowsza aktualizacja AR Emoji zawiera dodatkowe fryzury, nakrycia głowy, takie jak hidżab, i inne opcje. Aktualizacja jest obecnie wdrażana dla odblokowanych wersji programu Samsunga Galaxy S9 i S9 Plus w Korei, Chinach i Europie. Aktualizacja na urządzeniach operatorów europejskich i odblokowanych urządzeniach w USA powinna być dostępna do pobrania w tym tygodniu. Aktualizacja dla urządzeń operatorów amerykańskich zostanie wdrożona w nadchodzących tygodniach. Samsung twierdzi, że AR Emoji będzie w przyszłości ewoluować, ale na razie nie zdradza dokładnych szczegółów.

Zalecenia redaktorów

• Samsung właśnie dał nam 3 duże zwiastuny Galaxy Unpacked
• Najnowszy telefon z Androidem Asusa może stanowić duże zagrożenie dla Galaxy S23 Ultra
• Oto nasze pierwsze spojrzenie na Samsunga Galaxy Tab S9 Plus
• Samsung mógł właśnie zabić Galaxy S10
• Samsung Galaxy Tab S9 może otrzymać funkcję, której iPad nigdy nie miał