Kuinka Samsung herätti AR-emojit henkiin Galaxy S9:ssä

Upotettuna Samsung Galaxy S9:t kamerasovellus, AR Emoji Voit käyttää etukameraa digitaalisten sarjakuvahahmojen luomiseen ja lähettämiseen. Samanlainen kuin Applen Animojis konseptissa AR Emoji vangitsee kasvosi liikkeet ja peilaa ne hahmon tai eläimen muodossa. Mutta sen "Create My Emoji" -ominaisuuden avulla voit myös luoda itsestäsi yksinkertaisesti ottamalla selfien – voit valita ihon sävyn, asun, hiustyylin, hiusten värin ja lasit.

AR Emojilla Samsung ryhtyi ratkaisemaan näkemänsä ongelman – etsimään tapaa korvata olemassa olevat emojit interaktiivisilla. Yritys halusi tehdä tämän yksinkertaisella tavalla tarjoamalla käyttäjille oikeat työkalut vangita tunteita, mutta silti antoi heidän jakaa tuloksensa helposti erilaisissa viesteissä alustat.

Joten miten Samsung loi AR-emojinsa? Ensinnäkin se meni suoraan 3D-animaatioasiantuntijoille, jotka herättivät eloon joitakin Hollywoodin suosituimmista hahmoista.

Isosta näytöstä älypuhelimen kameraan

Samsung teki yhteistyötä uuden ominaisuuden tehostamiseksi Loom.ai — San Franciscossa sijaitseva startup, joka on erikoistunut 3D-animaatioon. Yrityksen ohjelmiston avulla käyttäjät voivat luoda täysin henkilökohtaisia ​​ja mukautettavia 3D-avatareita yhdestä valokuvasta ilman mukautettuja laitteistoja tai syvyysantureita. Kumppanuuden ja ohjelmistokehityspaketin (SDK) avulla Samsung yhdisti Loom.ai: n tekniikan S9:n kameratekniikkaan (lisätty todellisuus ja kasvojentunnistus) tehdäkseen mukautetun AR Emojin mahdolliseksi.

Visio Loom.ai: n takana alkoi elokuvista – tarkemmin sanottuna sarjakuvista ja supersankareista. Loom.ai: n perustajat – Mahesh ovat aiemmin työskennelleet suosituissa visuaalisia tehosteita valmistavissa yrityksissä, kuten DreamWorks ja Lucasfilm Ramasubramanian ja Kiran Bhat - ovat auttaneet tuomaan tunnettuja hahmoja, kuten Shrekin ja Hulkin näyttö.

Persoonallisuuden lisäämiseksi näihin hahmoihin he käyttivät esityskaappaustekniikkaa sisällyttääkseen heitä näytteleneet näyttelijät - nauhoittaen näyttelijän liikkeitä, ei heidän visuaalista ulkonäköään. Mutta nähtyään, kuinka elokuvayleisö reagoi heidän 3D-luomuksiinsa, Ramasubramanian ja Bhat päättivät viedä tätä tekniikkaa pidemmälle - Hollywoodin ulkopuolelle - käynnistämällä Loom.ai, joka keskittyy älypuhelimet.

"Ihmiset reagoivat välittömästi, kun nämä hahmot heräävät henkiin, kun sitä ohjaavat ihmisnäyttelijät", toimitusjohtajana ja perustajana toimiva Ramasubramanian kertoi Digital Trendsille. "Aloitimme Loom.ai: n tavoitteenamme, että meidän on pystyttävä löytämään helppo tapa, jolla jokainen voi nähdä itsensä 3D: ssä, ja sitä varten meidän oli rakennettava uusi tekniikka."

Pitkän elokuvan kanssa 3D-avatarin luominen vaatii paljon laitteita – kalliita laitteita ja ohjelmistoja, meikkiä ja studioympäristöä. Mutta Loom.ai löysi tavan yksinkertaistaa henkilön piirteiden tallentamista ilman tavallisia työkaluja. Sen sijaan sen patentoitu tekniikka käyttää yhtä valokuvaa ja syvällistä oppimista kuvan analysointiin. Jos valokuvassa ei ole ilmeitä, syväoppimisalgoritmi tarkastelee pikseleitä ja tuottaa automaattisesti kasvot, jotka kapseloivat oikean lihaksen liikkeen.

”Kun Samsungin kumppanuus syntyi, meillä oli mahdollisuus ottaa käyttöön tämä hienostunut teknologia laitteessa, joka Meistä tuntuu, että se on jo itsessään melko pakottava suunnittelutehtävä", Bhat, Loom.ai: n teknologiajohtaja ja toinen perustaja, kertoi Digitalille. Trendit. "Se on iso teknologiahyppy siinä, että voimme viedä jotkin näistä ideoista ja pyrkimyksistä suurelta näytöltä ja tuoda ne mobiililaitteille."

Tämän tekniikan sisällyttäminen Galaxy S9 -laitteistoon vaati Loom.ai: n uudelleenjärjestelyn algoritminsa, jotta se toimisi laitteessa. Mutta Loom.ai ei luonut AR-emojia yksin: Sekä Ramasubramanian että Bhat antavat Samsungille tunnustusta siitä, että se on panostanut valtavasti ohjelmiston optimointiin. Tarjoamalla SDK: n älypuhelimiin integroitavaksi, Loom.ai: n perustajat uskovat, että Samsung voi tehdä viitekehyksestä paljon rikkaamman lisäämällä sisältöä ja muokattavissa olevia vaihtoehtoja tulevaisuudessa.

Kuinka Galaxy S9 luo digitaalisen avatarin

Joten, kuinka tarkalleen S9 (ja S9 Plus) luoda AR-emojit? Vaikka Samsung ei paljastanut salaista kastikettaan, se antoi Digital Trendsille katseen konepellin alle.

Loom.ai: n tekniikkaa hyödyntäen puhelimen kamera tallentaa ja prosessoi 2D-kuvan 3D: ksi. Tehostaakseen tätä entisestään S9 käyttää lisäohjelmistoa – kasvojen seurantaa ja Samsungin Blend Shape -tekniikkaa, jotka tarjoavat ilmeitä AR-emojille.

Sinulle jää sitten sarjakuvamainen versio itsestäsi, joka voi tuntea 18 eri ilmaisua – joita Samsung aikoo laajentaa hitaasti 54:ään – aina ilosta ja nautinnosta suruun ja vihaan. Kaikki tiedot ovat myös paikallisia laitteelle, eikä niitä tallenneta mihinkään muualle.

Molemmat toimivat yhdessä, kasvojen seurantatekniikka seuraa yli 100 kasvonpiirrettä reaaliajassa (kuten silmäniskut tai hymyily) tallentaakseen yksittäisiä tunteita, kun taas Blend Shape auttaa tarjoamaan laajemman valikoiman niitä – mikä yhdistää ilmaisut yhteen perustuen 75 ihmisen perusperiaatteeseen. kasvonpiirteet. Samsung kertoo, että se teki Blend Shapelle vähintään 100 testiä viikoittain laboratorioissaan varmistaakseen, että dataa on tarpeeksi, joka houkuttelee sen käyttäjiä. (Blend Shapea käytetään myös Disney AR -emojien, kuten Mikki ja Minni Hiiri, luomiseen.)

Omissamme AR Emoji testi, suurin osa meistä piti hahmomme näyttävän erittäin epätarkalta. Erään kirjoittajan mielestä ihonvärivaihtoehdoista oli puute, eikä tummaihoisia sävyjä ollut valittavana. Toiset kokivat, että heidän AR-emojinsa eivät näyttäneet millään heiltä, ​​minkä vuoksi avatarin muokkaaminen vaikutti enemmän työltä kuin nautinnolliselta tehtävältä.

Loom.ai: n mukaan tarkan AR-emojin luominen riippuu suuresti selfien kuvaustavasta. Käyttäjien tulisi ottaa valokuva samalla tavalla kuin passikuva. "Haluat tasaista valaistusta, mitään ei peitä kasvojasi ja neutraalin ilmeen, jotta voimme lisätä ilmeet myöhemmin", Ramasubramanian selitti. "Kyse on siitä, että ihmiset vähän tottuvat siihen ja sitten näkevät mahdollisuudet animoida ja käyttää sitä."

Ramasubramanian sanoi myös, että käyttäjien tulisi kohdella sitä samalla tavalla kuin he tekisivät mitä tahansa selfietä - eli voit ottaa tonnia valokuvia, kunnes olet tyytyväinen kuvaan. Koska AR Emojin avulla voit luoda useita avatareja, voit vertailla niitä löytääksesi parhaan. Jokainen luomasi versio tallennetaan myös puhelimeesi, joten voit vaihtaa käyttämääsi versiota mielialaasi mukaan.

AR Emojin uusin päivitys sisältää lisää kampauksia, päähineet, kuten hijabin, ja muita vaihtoehtoja. Päivitys julkaistaan ​​parhaillaan sovelluksen lukitsemattomiin versioihin Samsung Galaxy S9 ja S9 Plus Koreassa, Kiinassa ja Euroopassa. Eurooppalaisten operaattorilaitteiden ja Yhdysvaltojen lukitsemattomien laitteiden päivityksen pitäisi olla ladattavissa tällä viikolla. Yhdysvaltain operaattorilaitteiden päivitys julkaistaan ​​tulevien viikkojen aikana. Samsung sanoo, että AR Emoji kehittyy jatkossakin, mutta toistaiseksi se pysyy tiukkana tarkkojen yksityiskohtien suhteen.

Toimittajien suositukset

• Samsung antoi meille juuri 3 isoa Galaxy Unpacked -tiiseria
• Asusin uusin Android-puhelin voi olla suuri uhka Galaxy S23 Ultralle
• Tässä on ensimmäinen katsaus Samsung Galaxy Tab S9 Plus -puhelimeen
• Samsung on saattanut juuri tappaa Galaxy S10:n
• Samsungin Galaxy Tab S9 saattaa saada ominaisuuden, jota iPadilla ei ole koskaan ollut