Kako je Samsung oživio AR Emojis u Galaxy S9

Ugrađeno u Samsung Galaxy S9 aplikacija za kameru, AR Emoji omogućuje vam korištenje prednje kamere za izradu i slanje digitalnih avatara crtanih filmova. Slično Appleovom Animojis u konceptu, AR Emoji bilježi vaše pokrete lica i zrcali ih u obliku lika ili životinje. Ali uz njegovu značajku "Create My Emoji", također možete stvoriti jedan od sebe jednostavnim snimanjem selfieja - što vam omogućuje da odaberete ton kože, odjeću, frizuru, boju kose i naočale.

Uz AR Emoji, Samsung je odlučio riješiti ono što vidi kao problem — pronalazak načina za zamjenu postojećih emotikona onima koji su interaktivni. Tvrtka je to željela učiniti na jednostavan način, pružajući korisnicima prave alate za uhvatiti emocije, ali im je još uvijek omogućio da lako podijele rezultat u raznim porukama platforme.

Dakle, kako je Samsung stvorio svoje AR Emojije? Za početak, otišao je ravno do stručnjaka za 3D animaciju koji su oživjeli neke od najpopularnijih holivudskih likova.

Od velikog zaslona do kamere pametnog telefona

Kako bi pokrenuo novu značajku, Samsung je surađivao s Razboj.ai — startup sa sjedištem u San Franciscu specijaliziran za 3D animaciju. Softver tvrtke omogućuje korisnicima stvaranje potpuno personaliziranih i prilagodljivih 3D avatara iz jedne fotografije, bez prilagođenog hardvera ili senzora dubine. Kroz partnerstvo i komplet za razvoj softvera (SDK), Samsung je kombinirao tehnologiju Loom.ai s tehnologijom kamere S9 (proširena stvarnost i prepoznavanje lica) kako bi omogućio prilagođene AR Emoji.

Vizija koja stoji iza Loom.ai-ja započela je s filmovima — točnije crtićima i superherojima. Nakon što je prethodno radio u popularnim tvrtkama za vizualne efekte kao što su DreamWorks i Lucasfilm, osnivači Loom.aija – Mahesh Ramasubramanian i Kiran Bhat — pomogli su dovesti dobro poznate likove, poput Shreka i Hulka, u veliku zaslon.

Kako bi ubrizgali osobnost u te likove, upotrijebili su tehnologiju snimanja performansi kako bi uključili glumce koji su ih glumili - snimajući pokrete glumca, a ne njihov vizualni izgled. Ali nakon što su vidjeli kako filmska publika reagira na njihove 3D kreacije, Ramasubramanian i Bhat odlučili su podići tu tehnologiju dalje - izvan Hollywooda - pokretanjem Loom.aija, koji se fokusira na pametni telefoni.

“Ljudi odmah reagiraju na to da ovi likovi ožive kad ih pokreću ljudski glumci”, rekao je Ramasubramanian, koji je izvršni direktor i suosnivač, za Digital Trends. "Pokrenuli smo Loom.ai s ciljem da možemo pronaći jednostavan način da svaki pojedinac može vidjeti sebe u 3D, a za to smo morali izgraditi novu tehnologiju."

S igranim filmovima, stvaranje 3D avatara zahtijeva gomilu opreme — skupi hardver i softver, šminku i studijsko okruženje. Ali Loom.ai je pronašao način da pojednostavi proces snimanja osobina bez uobičajenih alata; umjesto toga, njegova patentirana tehnologija koristi jednu fotografiju i duboko učenje za analizu slike. Ako na fotografiji nema izraza lica, algoritam dubinskog učenja gleda piksele i automatski proizvodi lice koje sadrži ispravan pokret mišića.

„Kada se Samsungovo partnerstvo zakotrljalo, imali smo priliku implementirati tu sofisticiranu tehnologiju na uređaj, koji smatramo da je to već prilično uvjerljiv inženjerski zadatak sam po sebi,” rekao je Bhat, tehnički direktor Loom.aija i suosnivač, za Digital Trendovi. "Veliki je tehnološki skok u mogućnosti preuzeti neke od tih ideja i težnji s velikog zaslona i prenijeti ih na mobitel."

Uključivanje ove tehnologije u hardver Galaxy S9 zahtijevalo je od Loom.ai-a da restrukturira svoje algoritme, kako bi radio na uređaju. Ali Loom.ai nije sam stvorio AR Emoji: i Ramasubramanian i Bhat zahvaljuju Samsungu na tome što je uložio ogroman trud u optimizaciju softvera. Osiguravanjem SDK-a za integraciju u pametne telefone, osnivači Loom.aija misle da Samsung može učiniti okvir mnogo bogatijim dodavanjem više sadržaja i mogućnosti prilagođavanja u budućnosti.

Kako Galaxy S9 stvara digitalni avatar

Dakle, kako točno radi S9 (i S9 Plus) stvarati AR Emojije? Iako Samsung nije otkrio svoj tajni umak, dao je Digital Trends pogled ispod haube.

Radeći na tehnologiji Loom.ai, kamera telefona snima i obrađuje 2D sliku u 3D. Kako bi ovo dodatno poboljšao, S9 koristi dodatni softver — praćenje lica i Samsungovu tehnologiju Blend Shape — za pružanje izraza lica za AR Emoji.

Zatim ostajete s verzijom sebe poput crtića koja može emocionalno izraziti 18 različitih izraza - koje Samsung planira polako proširiti na 54 - u rasponu od radosti i zadovoljstva, do tuge i ljutnje. Svi podaci također su lokalni na uređaju i ne pohranjuju se nigdje drugdje.

Obje rade zajedno, tehnologija praćenja lica prati više od 100 crta lica u stvarnom vremenu (kao što je namigivanje ili osmijeh) kako bi ih uhvatila pojedinačnih emocija, dok Blend Shape pomaže isporučiti njihov veći raspon — koji spaja izraze zajedno na temelju 75 osnovnih ljudskih crte lica. Samsung kaže da je za Blend Shape proveo najmanje 100 testova na tjednoj bazi unutar svojih laboratorija, kako bi bio siguran da ima dovoljno podataka koji bi privukli njegove korisnike. (Blend Shape također se koristi za stvaranje njegovih Disney AR Emojija, poput Mickeyja i Minnie Mousea.)

U našem vlastitom AR Emoji test, većina nas smatrala je da naši likovi izgledaju krajnje neprecizno. Jedan je pisac smatrao da nedostaju dostupne opcije tonova kože, a da nema nijansi tamne kože za odabir. Drugi su smatrali da njihovi AR Emoji ne izgledaju nimalo poput njih, zbog čega se uređivanje avatara činilo više mučnim nego ugodnim zadatkom.

Prema Loom.aiju, stvaranje točnog AR Emojija uvelike se oslanja na način na koji je selfie snimljen. Korisnici bi trebali fotografirati na isti način na koji bi snimili fotografiju za putovnicu. "Želite ravnomjerno osvjetljenje, ništa što vam ne prekriva lice i neutralan izraz kako bismo kasnije mogli dodati izraze", objasnio je Ramasubramanian. "Stvar je toga da se ljudi malo naviknu na to, a zatim vide mogućnosti animiranja i korištenja."

Ramasubramanian je također rekao da bi se korisnici prema tome trebali odnositi onako kako bi se ponašali dok snimaju bilo koji selfie — što znači da možete snimiti gomilu fotografija dok ne budete zadovoljni fotografijom. Budući da vam AR Emoji omogućuje stvaranje više avatara, možete ih usporediti kako biste pronašli onaj koji vam se najviše sviđa. Svaka koju izradite također se sprema na vaš telefon, tako da možete promijeniti verziju koju koristite ovisno o svom raspoloženju.

Najnovije ažuriranje AR Emoji uključuje dodatne frizure, pokrivala za glavu kao što je hidžab i druge opcije. Ažuriranje je trenutno u tijeku za otključane verzije Samsung Galaxy S9 i S9 Plus u Koreji, Kini i Europi. Uređaji europskih operatera i otključani uređaji u SAD-u trebali bi imati ažuriranje dostupno za preuzimanje ovaj tjedan. Ažuriranje za uređaje mobilnih operatera u SAD-u bit će uvedeno tijekom sljedećih tjedana. Samsung kaže da će se AR Emoji nastaviti razvijati u budućnosti, ali za sada šuti o točnim detaljima.

Preporuke urednika

• Samsung nam je upravo dao 3 velika Galaxy Unpacked teasera
• Najnoviji Asusov Android telefon mogao bi biti velika prijetnja Galaxy S23 Ultra
• Evo našeg prvog pogleda na Samsung Galaxy Tab S9 Plus
• Samsung je možda upravo ubio Galaxy S10
• Samsungov Galaxy Tab S9 mogao bi dobiti značajku koju iPad nikada nije imao