Inbäddad i Samsung Galaxy S9 kamera app, AR Emoji låter dig använda den främre kameran för att skapa och skicka digitala tecknade avatarer. Liknar Apples Animojis I konceptet fångar AR Emoji dina ansiktsrörelser och speglar dem i form av en karaktär eller ett djur. Men med funktionen "Create My Emoji" kan du också skapa en av dig själv genom att helt enkelt ta en selfie - så att du kan välja hudton, outfit, frisyr, hårfärg och glasögon.
Med AR Emoji försökte Samsung lösa det de ser som ett problem – att hitta ett sätt att ersätta befintliga emojis med sådana som är interaktiva. Företaget ville göra detta på ett sätt som var enkelt, genom att ge användarna rätt verktyg för att fånga känslor men ändå lät dem enkelt dela resultatet på en mängd olika meddelanden plattformar.
Rekommenderade videor
Så, hur skapade Samsung sina AR-emojis? Till att börja med gick det direkt till 3D-animationsexperterna som väckte liv till några av Hollywoods mest populära karaktärer.
Relaterad
- Här är allt vi förväntar oss av Samsungs nästa Unpacked-evenemang
- Galaxy Tab S9 Ultra ser ut som en av 2023 års mest spännande surfplattor
- Här är hur snabbt 5G på din Samsung Galaxy S23 verkligen är
Från storskärm till smartphonekamera
För att driva den nya funktionen samarbetade Samsung med Loom.ai — en San Francisco-baserad startup som specialiserat sig på 3D-animation. Företagets mjukvara tillåter användare att skapa helt personliga och anpassningsbara 3D-avatarer från ett enda fotografi, utan anpassad hårdvara eller djupsensorer. Genom ett partnerskap och ett mjukvaruutvecklingskit (SDK) kombinerade Samsung Loom.ais teknologi med S9:s kamerateknik (förstärkt verklighet och ansiktsigenkänning) för att göra anpassade AR Emoji möjlig.
Samsung vill hitta ett sätt att ersätta befintliga emojis med sådana som är interaktiva.
Visionen bakom Loom.ai började med filmer – tecknade serier och superhjältar för att vara exakt. Efter att tidigare ha arbetat på populära visuella effektföretag som DreamWorks och Lucasfilm, Loom.ais grundare – Mahesh Ramasubramanian och Kiran Bhat - har hjälpt till att ta välkända karaktärer, som Shrek och Hulken, till de stora skärm.
För att injicera personlighet i dessa karaktärer använde de prestationsfångningsteknik för att införliva skådespelarna som spelade dem - spela in skådespelarens rörelser, inte deras visuella utseende. Men efter att ha sett hur filmpubliken reagerade på deras 3D-skapelser bestämde sig Ramasubramanian och Bhat att ta den tekniken vidare – bortom Hollywood – genom att starta Loom.ai, som fokuserar på smartphones.
"Människor reagerar omedelbart på att dessa karaktärer kommer till liv när de drivs av mänskliga skådespelare," sa Ramasubramanian, som fungerar som VD och medgrundare, till Digital Trends. "Vi startade Loom.ai med målet att vi måste kunna hitta ett enkelt sätt för varje individ att kunna se sig själva i 3D, och för det var vi tvungna att bygga en ny teknik."
Med långfilmer kräver att skapa en 3D-avatar massor av utrustning — dyr hårdvara och mjukvara, smink och en studiomiljö. Men Loom.ai hittade ett sätt att förenkla processen att fånga en persons funktioner utan de vanliga verktygen; istället använder dess patenterade teknologi ett enda fotografi och djupinlärning för att analysera en bild. Om ett fotografi är fritt från ansiktsuttryck, tittar algoritmen för djupinlärning på pixlarna och producerar automatiskt ett ansikte som kapslar in den korrekta muskelrörelsen.
"När Samsungs partnerskap rullade runt hade vi en chans att implementera den sofistikerade tekniken på en enhet, som vi känner redan är en ganska övertygande ingenjörsuppgift i sig, säger Bhat, Loom.ai: s CTO och medgrundare, till Digital Trender. "Det är ett stort teknikhopp när det gäller att kunna ta några av dessa idéer och ambitioner från den stora skärmen och föra dem till mobilen."
För att driva AR Emoji tog Samsung hjälp av Loom.ai — en San Francisco-baserad startup som specialiserat sig på 3D-animation.
Att införliva denna teknik i Galaxy S9-hårdvaran krävde att Loom.ai omstrukturerade sina algoritmer för att kunna köras på enheten. Men Loom.ai skapade inte AR Emoji ensam: Både Ramasubramanian och Bhat krediterar Samsung för att de ägnat enorma ansträngningar för att optimera programvaran. Genom att tillhandahålla SDK för att integreras i smartphones tror Loom.ai-grundarna att Samsung kan göra ramverket mycket rikare genom att lägga till mer innehåll och anpassningsmöjligheter i framtiden.
Hur Galaxy S9 skapar en digital avatar
Så, exakt hur fungerar S9 (och S9 Plus) skapa AR-emojis? Även om Samsung inte avslöjade sin hemliga sås, gav den Digital Trends en titt under huven.
Med hjälp av Loom.ais teknologi, fångar telefonens kamera och bearbetar en 2D-bild till 3D. För att förbättra detta ytterligare använder S9 ytterligare programvara – ansiktsspårning och Samsungs Blend Shape-teknik – för att ge ansiktsuttryck för AR Emoji.
Du har sedan kvar en tecknad version av dig själv som kan uttrycka 18 olika uttryck – som Samsung planerar att långsamt utöka till 54 – allt från glädje och nöje, till sorg och ilska. All data är också lokal för enheten och lagras inte någon annanstans.
Båda arbetar tillsammans, ansiktsspårningsteknik spårar över 100 ansiktsdrag i realtid (som blinkningar eller leende) för att fånga individuella känslor, medan Blend Shape hjälper till att leverera ett större utbud av dem – som blandar uttryck tillsammans baserat på 75 grundläggande mänskliga ansiktsdrag. Samsung säger att för Blend Shape genomförde de minst 100 tester på veckobasis inom sina labb, för att se till att det finns tillräckligt med data som skulle locka sina användare. (Blend Shape används också för att skapa sina Disney AR Emojis, som Musse Pigg och Minnie.)
I vårt eget AR Emoji-test, en majoritet av oss tyckte att våra karaktärer såg extremt felaktiga ut. En författare ansåg att det saknades hudtonsalternativ, utan några mörkhyade toner att välja mellan. Andra tyckte att deras AR Emoji inte liknade dem, vilket gjorde att redigera avataren verkade mer av en syssla än en rolig uppgift.
Enligt Loom.ai är att skapa en korrekt AR Emoji mycket beroende av hur selfien tas. Användare bör ta fotot på samma sätt som de skulle ta ett passfoto. "Du vill ha jämn belysning, inget som täcker ditt ansikte och ett neutralt uttryck så att vi kan lägga till uttrycken senare," förklarade Ramasubramanian. "Det handlar om att folk vänjer sig lite vid det och sedan ser möjligheterna att animera det och använda det."
Ramasubramanian sa också att användare borde behandla det som de skulle när de tar en selfie - vilket innebär att du kan ta massor av bilder tills du är nöjd med bilden. Eftersom AR Emoji låter dig skapa flera avatarer kan du jämföra dem för att hitta den du gillar bäst. Var och en du skapar sparas också på din telefon, så att du kan ändra vilken version du använder beroende på ditt humör.
Den senaste uppdateringen av AR Emoji inkluderar ytterligare frisyrer, huvudbonader som en hijab och andra alternativ. Uppdateringen rullas för närvarande ut till olåsta versioner av Samsung Galaxy S9 och S9 Plus i Korea, Kina och Europa. Europeiska operatörsenheter och amerikanska olåsta enheter bör ha uppdateringen tillgänglig för nedladdning denna vecka. Uppdateringen för amerikanska operatörsenheter kommer att rullas ut under de kommande veckorna. Samsung säger att AR Emoji kommer att fortsätta att utvecklas i framtiden, men för närvarande håller han sig noga med exakta detaljer.
Redaktörens rekommendationer
- Samsung gav oss precis 3 stora Galaxy Unpacked-teasers
- Asus senaste Android-telefon kan vara ett stort hot mot Galaxy S23 Ultra
- Här är vår allra första titt på Samsung Galaxy Tab S9 Plus
- Samsung kan just ha dödat Galaxy S10
- Samsungs Galaxy Tab S9 kan få en funktion som iPad aldrig har haft
