Jak Samsung oživil AR Emojis v Galaxy S9

Zabudováno do Samsung Galaxy S9 aplikace fotoaparátu, AR Emoji umožňuje používat přední kameru k vytváření a odesílání digitálních kreslených avatarů. Podobné jako u Applu Animojis v konceptu AR Emoji zachycuje pohyby vašeho obličeje a zrcadlí je ve formě postavy nebo zvířete. Ale s jeho funkcí „Create My Emoji“ si můžete také vytvořit jednoho ze sebe jednoduchým pořízením selfie – což vám umožní vybrat si odstín pleti, oblečení, účes, barvu vlasů a brýle.

S AR Emoji se Samsung rozhodl vyřešit to, co považuje za problém – najít způsob, jak nahradit stávající emotikony těmi, které jsou interaktivní. Společnost to chtěla udělat jednoduchým způsobem a poskytnout uživatelům ty správné nástroje zachytit emoce, ale přesto jim umožnilo snadno sdílet výsledek v různých zprávách platformy.

Jak tedy Samsung vytvořil své AR Emojis? Pro začátek šlo přímo k odborníkům na 3D animaci, kteří oživili některé z nejoblíbenějších hollywoodských postav.

Od velké obrazovky po fotoaparát chytrého telefonu

Na podpoře této nové funkce spolupracoval Samsung s Loom.ai — startup se sídlem v San Franciscu, který se specializuje na 3D animace. Software společnosti umožňuje uživatelům vytvářet plně personalizované a přizpůsobitelné 3D avatary z jediné fotografie bez vlastního hardwaru nebo hloubkových senzorů. Prostřednictvím partnerství a sady pro vývoj softwaru (SDK) spojil Samsung technologii Loom.ai s technologií fotoaparátu S9 (rozšířená realita a rozpoznávání obličeje), aby bylo možné vytvořit vlastní AR Emoji.

Celá vize za Loom.ai začala u filmů – přesněji karikatur a superhrdinů. Zakladatelé Loom.ai – Mahesh, kteří dříve pracovali v populárních společnostech s vizuálními efekty, jako jsou DreamWorks a Lucasfilm Ramasubramanian a Kiran Bhat – pomohli přivést známé postavy, jako jsou Shrek a Hulk, do světa obrazovka.

Aby těmto postavám vtiskli osobitost, použili technologii zachycování výkonu k začlenění herců, kteří je hráli – zaznamenávali pohyby herce, nikoli jeho vizuální podobu. Ale poté, co viděli, jak filmové publikum reagovalo na jejich 3D výtvory, se Ramasubramanian a Bhat rozhodli posunout tuto technologii dále – mimo Hollywood – spuštěním Loom.ai, který se zaměřuje na chytré telefony.

„Lidé okamžitě reagují na to, že tyto postavy ožijí, když je řídí lidští herci,“ řekl pro Digital Trends Ramasubramanian, který působí jako generální ředitel a spoluzakladatel. "Založili jsme Loom.ai s cílem, že musíme být schopni najít snadný způsob, jak se každý jednotlivec může vidět ve 3D, a proto jsme museli vytvořit novou technologii."

U celovečerních filmů vyžaduje vytvoření 3D avatara spoustu vybavení – drahý hardware a software, make-up a prostředí studia. Loom.ai však našel způsob, jak zjednodušit proces zachycení rysů osoby bez obvyklých nástrojů; místo toho jeho patentovaná technologie využívá k analýze obrazu jedinou fotografii a hluboké učení. Pokud fotografie neobsahuje žádné výrazy obličeje, algoritmus hlubokého učení se podívá na pixely a automaticky vytvoří obličej, který zapouzdří správný pohyb svalů.

„Když se partnerství se Samsungem rozšířilo, měli jsme šanci implementovat tuto sofistikovanou technologii na zařízení, které cítíme, že je to už sám o sobě docela přesvědčivý inženýrský úkol,“ řekl Bhat, CTO a spoluzakladatel Loom.ai společnosti Digital. Trendy. "Je to velký technologický skok v možnosti převzít některé z těchto nápadů a aspirací z velké obrazovky a přenést je na mobilní zařízení."

Začlenění této technologie do hardwaru Galaxy S9 vyžadovalo, aby Loom.ai restrukturalizoval své algoritmy, aby bylo možné na zařízení běžet. Loom.ai však nevytvořil AR Emoji sám: Ramasubramanian i Bhat vděčí Samsungu za to, že věnuje obrovské úsilí optimalizaci softwaru. Zakladatelé Loom.ai si myslí, že poskytnutím SDK pro integraci do chytrých telefonů může Samsung učinit rámec mnohem bohatším přidáním dalšího obsahu a možností přizpůsobení v budoucnu.

Jak Galaxy S9 vytváří digitálního avatara

Jak přesně tedy S9 (a S9 Plus) vytvořit AR Emojis? Zatímco Samsung neodhalil svou tajnou omáčku, nechal Digital Trends nahlédnout pod pokličku.

Fotoaparát telefonu využívá technologii Loom.ai a zachycuje a zpracovává 2D obraz do 3D. K dalšímu vylepšení používá S9 další software – sledování obličeje a technologii Blend Shape od Samsungu – k poskytování výrazů obličeje pro AR Emoji.

Pak vám zbyde kreslené verze sebe sama, která dokáže vyjadřovat 18 různých výrazů – které Samsung plánuje pomalu rozšířit na 54 – od radosti a potěšení až po smutek a hněv. Všechna data jsou také v zařízení lokální a neukládají se nikde jinde.

Technologie sledování obličeje, která spolupracuje, sleduje v reálném čase více než 100 rysů obličeje (jako je mrkání nebo úsměv) a zachycuje je. individuální emoce, zatímco Blend Shape pomáhá dodávat jejich širší rozsah – což spojuje výrazy na základě 75 základních lidských rysy obličeje. Samsung říká, že pro Blend Shape provedl ve svých laboratořích nejméně 100 testů týdně, aby se ujistil, že je dostatek dat, která by přilákala jeho uživatele. (Blend Shape se také používá k vytvoření svých Disney AR Emojis, jako jsou Mickey a Minnie Mouse.)

V našem vlastním Test AR Emoji, většina z nás měla pocit, že naše postavy vypadají extrémně nepřesně. Jeden pisatel měl pocit, že je k dispozici nedostatek odstínů pleti, bez možnosti výběru odstínů tmavé pleti. Jiní měli pocit, že jejich AR Emoji nevypadaly jako oni, takže úprava avatara vypadala spíše jako fuška než jako příjemný úkol.

Podle Loom.ai se vytvoření přesného AR Emoji do značné míry spoléhá na způsob, jakým je selfie pořízena. Uživatelé by měli postupovat při fotografování stejným způsobem, jako by pořizovali fotografii do pasu. „Chcete rovnoměrné osvětlení, nic vám nezakrývá obličej a neutrální výraz, abychom mohli výrazy přidat později,“ vysvětlil Ramasubramanian. "Jde o to, aby si na to lidé trochu zvykli a pak viděli možnosti, jak to oživit a používat."

Ramasubramanian také řekl, že uživatelé by s tím měli zacházet tak, jak by se chovali při pořizování selfie – to znamená, že můžete pořizovat spoustu fotek, dokud nebudete s fotkou spokojeni. Protože AR Emoji umožňuje vytvořit více avatarů, můžete je porovnat a najít ten, který se vám nejvíce líbí. Každý z nich, který vytvoříte, se také uloží do telefonu, takže si můžete změnit verzi, kterou používáte, podle nálady.

Nejnovější aktualizace AR Emoji zahrnuje další účesy, pokrývky hlavy, jako je hidžáb, a další možnosti. Aktualizace se aktuálně vydává na odemčené verze Samsung Galaxy S9 a S9 Plus v Koreji, Číně a Evropě. Pro zařízení evropských operátorů a odemčená zařízení v USA by měla být aktualizace k dispozici ke stažení tento týden. Aktualizace pro zařízení amerických operátorů bude vydána v průběhu následujících týdnů. Samsung říká, že AR Emoji se bude v budoucnu nadále vyvíjet, ale prozatím zůstává těsný ohledně přesných detailů.

Doporučení redakce

• Samsung nám právě dal 3 velké ukázky Galaxy Unpacked
• Nejnovější telefon Asus Android by mohl být velkou hrozbou pro Galaxy S23 Ultra
• Zde je náš úplně první pohled na Samsung Galaxy Tab S9 Plus
• Samsung možná právě zabil Galaxy S10
• Samsung Galaxy Tab S9 může získat funkci, kterou iPad nikdy neměl