Kuidas Samsung Galaxy S9-s AR-emotikonid ellu äratas

Manustatud Samsung Galaxy S9 kaamera rakendus, AR Emoji võimaldab kasutada esikaamerat digitaalsete koomiksite avatarite loomiseks ja saatmiseks. Sarnane Apple'iga Animojis AR Emoji jäädvustab teie näoliigutused ja peegeldab neid tegelase või looma kujul. Kuid selle funktsiooni „Loo minu emotikon” abil saate luua ka lihtsalt selfie – see võimaldab teil valida nahatooni, riietuse, soengu, juuksevärvi ja prillid.

AR Emoji abil püüdis Samsung lahendada probleemi, mida ta peab probleemiks – leida viis olemasolevate emotikonide asendamiseks interaktiivsete emotikonidega. Ettevõte soovis seda teha lihtsal viisil, pakkudes kasutajatele selleks õigeid tööriistu emotsioone jäädvustada, kuid võimaldas neil tulemust hõlpsasti mitmesugustes sõnumites jagada platvormid.

Soovitatavad videod

Niisiis, kuidas Samsung oma AR-emotikonid lõi? Alustuseks läks see otse 3D-animatsiooniekspertidele, kes äratasid ellu mõned Hollywoodi populaarseimad tegelased.

Seotud

  • Siin on kõik, mida ootame Samsungi järgmiselt Unpacked ürituselt
  • Galaxy Tab S9 Ultra näeb välja nagu üks 2023. aasta põnevamaid tahvelarvuteid
  • Siit saate teada, kui kiire 5G teie Samsung Galaxy S23-s tegelikult on

Suurelt ekraanilt nutitelefoni kaamerani

Uue funktsiooni käivitamiseks tegi Samsung koostööd Loom.ai — San Franciscos asuv 3D-animatsioonile spetsialiseerunud startup. Ettevõtte tarkvara võimaldab kasutajatel luua ühelt fotolt täielikult isikupärastatud ja kohandatavaid 3D-avatare ilma kohandatud riistvara või sügavusanduriteta. Partnerluse ja tarkvaraarenduskomplekti (SDK) kaudu ühendas Samsung Loom.ai tehnoloogia S9 kaameratehnoloogiaga (liitreaalsus ja näotuvastus), et muuta kohandatud AR Emoji võimalikuks.

Samsung soovib leida viisi, kuidas asendada olemasolevad emotikonid interaktiivsete emotikonidega.

Loom.ai nägemus sai alguse filmidest – täpsemalt koomiksitest ja superkangelastest. Olles varem töötanud populaarsetes visuaalefektide firmades nagu DreamWorks ja Lucasfilm, Loom.ai asutajad – Mahesh Ramasubramanian ja Kiran Bhat – on aidanud tuua tuntud tegelasi, nagu Shrek ja Hulk, suurde maailma. ekraan.

Nendesse tegelastesse isiksuse süstimiseks kasutasid nad etenduse jäädvustamise tehnoloogiat, et kaasata neid mänginud näitlejad – salvestades näitleja liigutused, mitte nende visuaalne välimus. Kuid pärast seda, kui nägid, kuidas filmipublik nende 3D-loomingule reageeris, otsustasid Ramasubramanian ja Bhat et viia see tehnoloogia kaugemale – kaugemale Hollywoodist – käivitades Loom.ai, mis keskendub sellele nutitelefonid.

"Inimesed reageerivad koheselt nende tegelaste ellu äratamisele, kui seda juhivad inimnäitlejad," ütles tegevjuhi ja kaasasutajana töötav Ramasubramanian väljaandele Digital Trends. "Alustasime Loom.ai eesmärgiga, et peame leidma lihtsa viisi, kuidas iga inimene saaks end 3D-pildis näha, ja selleks pidime ehitama uue tehnoloogia."

AR Emoji
Brenda Stolyar/Digitaalsed trendid

Mängufilmide puhul nõuab 3D-avatari loomine palju varustust – kallist riist- ja tarkvara, meiki ja stuudioseadet. Kuid Loom.ai leidis viisi, kuidas lihtsustada inimese omaduste jäädvustamist ilma tavaliste tööriistadeta; Selle asemel kasutab selle patenteeritud tehnoloogia pildi analüüsimiseks ühte fotot ja sügavat õppimist. Kui fotol pole näoilmeid, vaatab süvaõppe algoritm piksleid ja loob automaatselt näo, mis sisaldab õiget lihasliikumist.

"Kui Samsungi partnerlus rullus ümber, oli meil võimalus rakendada seda keerulist tehnoloogiat seadmes, mis meie arvates on see juba iseenesest üsna kaalukas inseneriülesanne," ütles Loom.ai tehnoloogiadirektor ja kaasasutaja Bhat Digitalile. Trendid. "See on suur tehnoloogiline hüpe, kuna on võimalik võtta osa neist ideedest ja püüdlustest suurelt ekraanilt ja viia see mobiilile."

AR Emoji toiteks kutsus Samsung abi Loom.ai — San Franciscos asuv 3D-animatsioonile spetsialiseerunud startup.

Selle tehnoloogia lisamine Galaxy S9 riistvarasse nõudis Loom.ai-l oma algoritmide ümberkorraldamist, et seadmes töötada. Kuid Loom.ai ei loonud AR Emojisid üksi: nii Ramasubramanian kui ka Bhat tunnustavad Samsungi tohutute jõupingutuste pühendamise eest tarkvara optimeerimiseks. Pakkudes SDK-d nutitelefonidesse integreerimiseks, arvavad Loom.ai asutajad, et Samsung saab raamistiku palju rikkamaks muuta, lisades tulevikus rohkem sisu ja kohandamisvõimalusi.

Kuidas Galaxy S9 digitaalse avatari loob

Niisiis, kuidas täpselt S9 (ja S9 Plus) luua AR-emotikone? Kuigi Samsung ei avaldanud oma salajast kastet, andis see Digital Trendsile pilgu kapoti alla.

Loom.ai tehnoloogiat kasutades jäädvustab ja töötleb telefoni kaamera 2D-pildi 3D-ks. Selle edasiseks täiustamiseks kasutab S9 täiendavat tarkvara – näojälgimist ja Samsungi Blend Shape tehnoloogiat –, et pakkuda AR Emoji jaoks näoilmeid.

kuidas samsung äratas emotikonid galaxy s9 Disney emotikonide partnerluses 2
Miki Hiire AR-emotikonide lähivõte Samsung Galaxy S9-st

Seejärel jääb teile koomiksilaadne versioon endast, mis suudab väljendada 18 erinevat väljendit – mida Samsung kavatseb aeglaselt laiendada 54-ni – alates rõõmust ja naudingust kuni kurbuse ja vihani. Kõik andmed on ka seadme lokaalsed ja neid ei salvestata mujale.

Mõlemad koos töötades jälgib näojälgimise tehnoloogia reaalajas üle 100 näojoone (nt pilgutamine või naeratamine), et jäädvustada. individuaalsed emotsioonid, samal ajal kui Blend Shape aitab edastada neid suurema hulga – mis ühendab väljendid kokku 75 põhilise inimese näojoonte. Samsung ütleb, et Blend Shape'i jaoks viis ta oma laborites iganädalaselt läbi vähemalt 100 testi, et veenduda, et kasutajaid meelitamiseks on piisavalt andmeid. (Blend Shapet kasutatakse ka Disney AR emotikonide, nagu Miki ja Minnie Hiir, loomiseks.)

Meie omas AR Emoji test, arvas enamik meist, et meie tegelased tundusid äärmiselt ebatäpsed. Üks kirjanik arvas, et saadaval on nahatooni valikute puudus, ilma et valida tumedanahaliste toonide vahel. Teised tundsid, et nende AR-emotikonid ei näinud nende moodi välja, mistõttu tundus avatari redigeerimine pigem tüütu kui nauditav ülesanne.

Loom.ai andmetel sõltub täpse AR Emoji loomine suuresti sellest, kuidas selfie tehakse. Kasutajad peaksid pildistama samamoodi nagu passipilti. "Tahate ühtlast valgustust, mitte midagi, mis ei kataks teie nägu, ja neutraalset ilmet, et saaksime väljendeid hiljem lisada," selgitas Ramasubramanian. "Asi on selles, et inimesed harjuvad sellega veidi ja näevad siis võimalusi selle animeerimiseks ja kasutamiseks."

Ramasubramanian ütles ka, et kasutajad peaksid sellesse suhtuma nii, nagu nad teeksid selfie’sid – see tähendab, et saate teha palju fotosid, kuni jääte fotoga rahule. Kuna AR Emoji võimaldab teil luua mitu avatari, saate neid võrrelda, et leida endale kõige meelepärasem. Iga teie loodud versioon salvestatakse ka teie telefoni, nii et saate vastavalt meeleolule kasutatavat versiooni vahetada.

AR Emoji uusim värskendus sisaldab täiendavaid soenguid, peakatteid (nt hijab) ja muid valikuid. Värskendus on praegu saadaval selle lukustamata versioonidele Samsung Galaxy S9 ja S9 Plus Koreas, Hiinas ja Euroopas. Euroopa operaatori seadmete ja USA lukustamata seadmete värskendus peaks olema allalaadimiseks saadaval sel nädalal. USA operaatoriseadmete värskendus võetakse kasutusele lähinädalatel. Samsung ütleb, et AR Emoji areneb ka tulevikus, kuid praegu on täpsete üksikasjade osas kindel.

Toimetajate soovitused

  • Samsung andis meile just 3 suurt Galaxy Unpackedi tearit
  • Asuse uusim Android-telefon võib olla Galaxy S23 Ultra jaoks suur oht
  • Siin on meie esimene pilk Samsung Galaxy Tab S9 Plusile
  • Samsung võib olla just Galaxy S10 tapnud
  • Samsungi Galaxy Tab S9 võib saada funktsiooni, mida iPadil pole kunagi olnud