Innebygd i Samsung Galaxy S9 kamera app, AR Emoji lar deg bruke frontkameraet til å lage og sende digitale tegneserieavatarer. Ligner på Apples Animojis i konseptet fanger AR Emoji opp ansiktsbevegelsene dine og speiler dem i form av en karakter eller et dyr. Men med «Create My Emoji»-funksjonen kan du også lage en av deg selv ved å ta en selfie – slik at du kan velge hudtone, antrekk, frisyre, hårfarge og briller.
Med AR Emoji forsøkte Samsung å løse det de ser på som et problem – å finne en måte å erstatte eksisterende emojier med interaktive. Selskapet ønsket å gjøre dette på en måte som var enkel, ved å gi brukerne de riktige verktøyene til fange følelser, men tillot dem likevel å enkelt dele resultatet på en rekke meldinger plattformer.
Anbefalte videoer
Så, hvordan laget Samsung sine AR Emojis? For det første gikk det rett til 3D-animasjonsekspertene som vekket noen av Hollywoods mest populære karakterer til live.
I slekt
- Her er alt vi forventer av Samsungs neste Unpacked-arrangement
- Galaxy Tab S9 Ultra ser ut som et av 2023s mest spennende nettbrett
- Her er hvor rask 5G på din Samsung Galaxy S23 egentlig er
Fra storskjerm til smarttelefonkamera
For å drive den nye funksjonen samarbeidet Samsung med Loom.ai — en San Francisco-basert oppstart som spesialiserer seg på 3D-animasjon. Selskapets programvare lar brukere lage helt personlige og tilpassbare 3D-avatarer fra ett enkelt fotografi, uten tilpasset maskinvare eller dybdesensorer. Gjennom et partnerskap og et programvareutviklingssett (SDK) kombinerte Samsung Loom.ai sin teknologi med S9s kamerateknologi (augmented reality og ansiktsgjenkjenning) for å gjøre tilpasset AR Emoji mulig.
Samsung ønsker å finne en måte å erstatte eksisterende emojis med de som er interaktive.
Visjonen bak Loom.ai startet med filmer - tegneserier og superhelter for å være nøyaktig. Etter å ha jobbet i populære visuelle effektselskaper som DreamWorks og Lucasfilm, Loom.ai sine grunnleggere – Mahesh Ramasubramanian og Kiran Bhat - har bidratt til å bringe kjente karakterer, som Shrek og Hulken, til de store skjerm.
For å injisere personlighet i disse karakterene, brukte de performance-capture-teknologi for å inkorporere skuespillerne som spilte dem - og registrerte bevegelsene til skuespilleren, ikke deres visuelle utseende. Men etter å ha sett hvordan filmpublikummet reagerte på 3D-kreasjonene deres, bestemte Ramasubramanian og Bhat seg å ta den teknologien videre – utover Hollywood – ved å starte Loom.ai, som fokuserer på smarttelefoner.
"Folk reagerer umiddelbart på at disse karakterene kommer til live når de er drevet av menneskelige skuespillere," sa Ramasubramanian, som fungerer som administrerende direktør og medgründer, til Digital Trends. "Vi startet Loom.ai med målet om at vi må være i stand til å finne en enkel måte for hver enkelt person å kunne se seg selv i 3D, og for det måtte vi bygge en ny teknologi."
Med spillefilmer krever det å lage en 3D-avatar tonnevis med utstyr – dyr maskinvare og programvare, sminke og studioinnstilling. Men Loom.ai fant en måte å forenkle prosessen med å fange en persons funksjoner uten de vanlige verktøyene; i stedet bruker dens patenterte teknologi et enkelt fotografi og dyp læring for å analysere et bilde. Hvis et fotografi er fritt for ansiktsuttrykk, ser dyplæringsalgoritmen på pikslene og produserer automatisk et ansikt som innkapsler riktig muskelbevegelse.
"Da Samsungs partnerskap rullet rundt hadde vi en sjanse til å implementere den sofistikerte teknologien på en enhet, som vi føler allerede er en ganske overbevisende ingeniøroppgave i seg selv, sa Bhat, Loom.ai sin CTO og medgründer, til Digital Trender. "Det er et stort teknologihopp i å kunne ta noen av disse ideene og ambisjonene fra den store skjermen og bringe dem til mobil."
For å drive AR Emoji fikk Samsung hjelp av Loom.ai — en San Francisco-basert oppstart som spesialiserer seg på 3D-animasjon.
Innlemming av denne teknologien i Galaxy S9-maskinvaren krevde at Loom.ai restrukturerte algoritmene for å kunne kjøre på enheten. Men Loom.ai skapte ikke AR Emoji alene: Både Ramasubramanian og Bhat krediterer Samsung for å dedikere enorm innsats for å optimalisere programvaren. Ved å tilby SDK for integrering i smarttelefoner, tror Loom.ai-grunnleggerne at Samsung kan gjøre rammeverket mye rikere ved å legge til mer innhold og tilpasningsmuligheter i fremtiden.
Hvordan Galaxy S9 lager en digital avatar
Så hvordan fungerer S9 (og S9 Plus) lage AR-emojier? Selv om Samsung ikke avslørte sin hemmelige saus, ga den Digital Trends en titt under panseret.
Ved å bruke Loom.ai-teknologien fanger og behandler telefonens kamera et 2D-bilde til 3D. For å forbedre dette ytterligere, bruker S9 tilleggsprogramvare – ansiktssporing og Samsungs Blend Shape-teknologi – for å gi ansiktsuttrykk for AR Emoji.
Du sitter da igjen med en tegneserielignende versjon av deg selv som kan påvirke 18 forskjellige uttrykk – som Samsung planlegger sakte å utvide til 54 – alt fra glede og nytelse, til sorg og sinne. Alle data er også lokale for enheten, og blir ikke lagret andre steder.
Begge arbeider sammen, ansiktssporingsteknologi sporer over 100 ansiktstrekk i sanntid (som blunking eller smil) for å fange individuelle følelser, mens Blend Shape bidrar til å levere et større utvalg av dem – som blander uttrykk sammen basert på 75 grunnleggende menneskelige ansiktstrekk. Samsung sier at for Blend Shape gjennomførte den minst 100 tester på en ukentlig basis i laboratoriene sine, for å sikre at det er nok data som vil lokke brukerne. (Blend Shape brukes også til å lage Disney AR Emojis, som Mikke og Minnie Mouse.)
I vår egen AR Emoji-test, de fleste av oss følte at karakterene våre så ekstremt unøyaktige ut. En forfatter mente at det var mangel på tilgjengelige hudfargealternativer, uten å velge mellom mørkhudede toner. Andre følte at AR-emojien deres ikke lignet på dem, noe som gjorde at redigering av avataren virket som mer et ork enn en hyggelig oppgave.
Ifølge Loom.ai er det å lage en nøyaktig AR Emoji sterkt avhengig av måten selfien er tatt. Brukere bør gå om å ta bildet på samme måte som de ville tatt et passbilde. "Du vil ha jevn belysning, ingenting som dekker ansiktet ditt og et nøytralt uttrykk slik at vi kan legge til uttrykkene senere," forklarte Ramasubramanian. "Det handler om at folk blir litt vant til det og så ser mulighetene for å animere det og bruke det."
Ramasubramanian sa også at brukere bør behandle det slik de ville når de tok en hvilken som helst selfie - noe som betyr at du kan ta tonnevis av bilder til du er fornøyd med bildet. Siden AR Emoji lar deg lage flere avatarer, kan du sammenligne dem for å finne den du liker best. Hver du lager lagrer også på telefonen din, slik at du kan bytte opp versjonen du bruker avhengig av humøret ditt.
Den siste oppdateringen til AR Emoji inkluderer ekstra frisyrer, hodeplagg som hijab og andre alternativer. Oppdateringen rulles for øyeblikket ut til ulåste versjoner av Samsung Galaxy S9 og S9 Plus i Korea, Kina og Europa. Europeiske operatørenheter og ulåste enheter i USA bør ha oppdateringen tilgjengelig for nedlasting denne uken. Oppdateringen for amerikanske operatørenheter vil rulle ut i løpet av de kommende ukene. Samsung sier at AR Emoji vil fortsette å utvikle seg i fremtiden, men foreløpig holder han seg nøye med nøyaktige detaljer.
Redaktørenes anbefalinger
- Samsung ga oss nettopp 3 store Galaxy Unpacked-teasere
- Asus sin nyeste Android-telefon kan være en stor trussel mot Galaxy S23 Ultra
- Her er vår aller første titt på Samsung Galaxy Tab S9 Plus
- Samsung har kanskje nettopp drept Galaxy S10
- Samsungs Galaxy Tab S9 kan få en funksjon som iPad aldri har hatt
