Kako je Samsung oživel AR Emojije v Galaxy S9

Vgrajen v Samsung Galaxy S9 aplikacija za kamero, AR Emoji omogoča uporabo sprednje kamere za ustvarjanje in pošiljanje digitalnih risanih avatarjev. Podobno kot pri Applu Animojis v konceptu AR Emoji ujame vaše obrazne gibe in jih zrcali v obliki lika ali živali. Toda s funkcijo »Ustvari moj emoji« lahko ustvarite enega samega sebe tako, da preprosto posnamete selfie — kar vam omogoča, da izberete ten kože, obleko, pričesko, barvo las in očala.

Z AR Emoji se je Samsung odločil rešiti tisto, kar vidi kot težavo – iskanje načina za zamenjavo obstoječih emojijev s tistimi, ki so interaktivni. Podjetje je želelo to narediti na preprost način, tako da je uporabnikom ponudilo prava orodja za zajeti čustva, vendar jim je še vedno omogočil, da so rezultat preprosto delili z različnimi sporočili platforme.

Torej, kako je Samsung ustvaril svoje AR Emojije? Za začetek je šel naravnost k strokovnjakom za 3D-animacijo, ki so oživeli nekatere najbolj priljubljene hollywoodske like.

Od velikega zaslona do kamere pametnega telefona

Da bi omogočili novo funkcijo, je Samsung sodeloval z Loom.ai — startup s sedežem v San Franciscu, specializiran za 3D animacijo. Programska oprema podjetja uporabnikom omogoča ustvarjanje popolnoma personaliziranih in prilagodljivih 3D avatarjev iz ene same fotografije, brez prilagojene strojne opreme ali globinskih senzorjev. S partnerstvom in kompletom za razvoj programske opreme (SDK) je Samsung združil tehnologijo Loom.ai s tehnologijo kamere S9 (razširjena resničnost in prepoznavanje obraza), da bi omogočil AR Emoji po meri.

Vizija za Loom.ai se je začela s filmi – natančneje risankami in superjunaki. Ker je pred tem delal v priljubljenih podjetjih za vizualne učinke, kot sta DreamWorks in Lucasfilm, je ustanovitelj Loom.ai – Mahesh Ramasubramanian in Kiran Bhat – sta pomagala pripeljati dobro znane like, kot sta Shrek in Hulk, na veliko zaslon.

Da bi tem likom vdahnili osebnost, so uporabili tehnologijo za zajemanje performansov, da bi vključili igralce, ki so jih igrali - snemali so gibe igralca, ne njihovega vizualnega videza. Ko pa sta videla, kako se je filmsko občinstvo odzvalo na njune 3D stvaritve, sta se Ramasubramanian in Bhat odločila da bi to tehnologijo popeljali dlje - onkraj Hollywooda - z ustanovitvijo Loom.ai, ki se osredotoča na pametni telefoni.

»Ljudje se takoj odzovejo na to, da ti liki oživijo, ko jih poganjajo človeški igralci,« je za Digital Trends povedal Ramasubramanian, ki deluje kot izvršni direktor in soustanovitelj. "Loom.ai smo začeli s ciljem, da moramo najti preprost način, da se lahko vsak posameznik vidi v 3D, in za to smo morali zgraditi novo tehnologijo."

Pri igranih filmih ustvarjanje 3D avatarja zahteva ogromno opreme – drago strojno in programsko opremo, ličila in studijsko okolje. Toda Loom.ai je našel način za poenostavitev postopka zajemanja lastnosti osebe brez običajnih orodij; namesto tega njegova patentirana tehnologija uporablja eno fotografijo in globoko učenje za analizo slike. Če je na fotografiji brez obrazne mimike, algoritem globokega učenja pogleda slikovne pike in samodejno ustvari obraz, ki zajema pravilno gibanje mišic.

»Ko se je začelo Samsungovo partnerstvo, smo imeli priložnost implementirati to sofisticirano tehnologijo v napravo, ki menimo, da je to že samo po sebi precej prepričljiva inženirska naloga,« je za Digital povedal Bhat, tehnični direktor Loom.ai in soustanovitelj. Trendi. "Velik tehnološki preskok je, da lahko nekatere od teh idej in želja prenesemo z velikega zaslona na mobilne naprave."

Vključitev te tehnologije v strojno opremo Galaxy S9 je zahtevala, da Loom.ai prestrukturira svoje algoritme, da lahko deluje v napravi. Vendar Loom.ai ni ustvaril sam AR Emoji: tako Ramasubramanian kot Bhat priznavata Samsung, da je vložil ogromno truda v optimizacijo programske opreme. Z zagotavljanjem SDK za integracijo v pametne telefone ustanovitelji Loom.ai menijo, da lahko Samsung naredi ogrodje veliko bogatejše z dodajanjem več vsebine in možnosti prilagajanja v prihodnosti.

Kako Galaxy S9 ustvari digitalni avatar

Torej, kako natančno deluje S9 (in S9 Plus) ustvariti AR Emojis? Čeprav Samsung ni razkril svoje skrivnosti, je Digital Trends dal pogled pod pokrov.

S pomočjo tehnologije Loom.ai kamera telefona zajame in predela 2D sliko v 3D. Da bi to še izboljšal, S9 uporablja dodatno programsko opremo – sledenje obrazu in Samsungovo tehnologijo Blend Shape – za zagotavljanje obrazne mimike za AR Emoji.

Nato vam ostane risanka podobna različica sebe, ki lahko izraža 18 različnih izrazov – ki jih Samsung namerava počasi razširiti na 54 – od veselja in užitka do žalosti in jeze. Vsi podatki so tudi lokalni za napravo in se ne shranijo nikjer drugje.

Tehnologija sledenja obrazu, ki delujeta skupaj, sledi več kot 100 obraznim potezam v realnem času (kot je mežikanje ali nasmeh), da jih zajame. posamezna čustva, medtem ko Blend Shape pomaga razviti njihov večji obseg – ki združuje izraze skupaj na podlagi 75 osnovnih človeških obrazne poteze. Samsung pravi, da je za Blend Shape opravil vsaj 100 testov tedensko v svojih laboratorijih, da bi zagotovil dovolj podatkov, ki bi pritegnili njegove uporabnike. (Blend Shape se uporablja tudi za ustvarjanje Disneyjevih AR emojijev, kot sta Mickey in Minnie Mouse.)

V našem lastnem Test AR Emoji, je večina od nas menila, da so naši liki videti izjemno nenatančni. En pisec je menil, da je na voljo premalo možnosti za barvo kože, pri čemer ni bilo možnosti za izbiro temnopoltih tonov. Drugi so menili, da njihovi AR Emoji niso nič podobni njim, zaradi česar se je urejanje avatarja zdelo bolj opravilo kot prijetno opravilo.

Glede na Loom.ai je ustvarjanje natančnega AR Emojija močno odvisno od načina snemanja selfija. Uporabniki bi morali fotografirati na enak način, kot bi posneli fotografijo za potni list. »Želiš enakomerno osvetlitev, nič ne pokriva tvojega obraza in nevtralen izraz, da lahko izraze dodamo pozneje,« je pojasnil Ramasubramanian. "Gre za to, da se ljudje malo navadijo nanj in nato vidijo možnosti, da ga animirajo in uporabljajo."

Ramasubramanian je tudi dejal, da bi morali uporabniki z njim ravnati tako, kot bi ga, ko posnamejo kateri koli selfie – kar pomeni, da lahko posnamete na tone fotografij, dokler niste zadovoljni s fotografijo. Ker AR Emoji omogoča ustvarjanje več avatarjev, jih lahko primerjate in poiščete tistega, ki vam je najbolj všeč. Vsak, ki ga ustvarite, se shrani tudi v vaš telefon, tako da lahko zamenjate različico, ki jo uporabljate, glede na vaše razpoloženje.

Najnovejša posodobitev AR Emoji vključuje dodatne pričeske, pokrivala, kot je hidžab, in druge možnosti. Posodobitev je trenutno na voljo za odklenjene različice Samsung Galaxy S9 in S9 Plus v Koreji, na Kitajskem in v Evropi. Naprave evropskih operaterjev in odklenjene naprave v ZDA bi morale imeti posodobitev na voljo za prenos ta teden. Posodobitev za naprave operaterjev v ZDA bo uvedena v naslednjih tednih. Samsung pravi, da se bo AR Emoji v prihodnosti še naprej razvijal, vendar za zdaj ostajajo skromni glede natančnih podrobnosti.

Priporočila urednikov

• Samsung nam je pravkar dal 3 velike dražljivke Galaxy Unpacked
• Asusov najnovejši telefon Android bi lahko bil velika grožnja za Galaxy S23 Ultra
• Tukaj je naš prvi pogled na Samsung Galaxy Tab S9 Plus
• Samsung je morda pravkar ubil Galaxy S10
• Samsungov Galaxy Tab S9 bo morda dobil funkcijo, ki je iPad še nikoli ni imel