Hvordan Samsung bragte AR-emojis til live i Galaxy S9

Indlejret i Samsung Galaxy S9 kamera app, AR Emoji giver dig mulighed for at bruge det fremadvendte kamera til at skabe og sende digitale tegneserieavatarer. Svarende til Apples Animojis i konceptet fanger AR Emoji dine ansigtsbevægelser og spejler dem i form af en karakter eller et dyr. Men med dens "Create My Emoji"-funktion kan du også oprette en af ​​dig selv ved blot at tage en selfie - så du kan vælge hudtone, outfit, frisure, hårfarve og briller.

Med AR Emoji satte Samsung sig for at løse det, de ser som et problem - at finde en måde at erstatte eksisterende emojis med dem, der er interaktive. Virksomheden ønskede at gøre dette på en måde, der var enkel, ved at give brugerne de rigtige værktøjer til fange følelser, men tillod dem stadig nemt at dele resultatet på en række forskellige beskeder platforme.

Så hvordan skabte Samsung sine AR-emojis? Til at begynde med gik det direkte til 3D-animationseksperterne, der bragte nogle af Hollywoods mest populære karakterer til live.

Fra storskærm til smartphone kamera

For at drive den nye funktion samarbejdede Samsung med Loom.ai — en San Francisco-baseret startup med speciale i 3D-animation. Virksomhedens software giver brugerne mulighed for at skabe fuldt personlige og tilpassede 3D-avatarer fra et enkelt fotografi uden tilpasset hardware eller dybdesensorer. Gennem et partnerskab og et softwareudviklingssæt (SDK) kombinerede Samsung Loom.ai's teknologi med S9's kamerateknologi (augmented reality og ansigtsgenkendelse) for at gøre tilpasset AR Emoji mulig.

Visionen bag Loom.ai startede alle med film - tegnefilm og superhelte for at være præcis. Efter tidligere at have arbejdet hos populære visuelle effektvirksomheder som DreamWorks og Lucasfilm, Loom.ai's grundlæggere -Mahesh Ramasubramanian og Kiran Bhat - har hjulpet med at bringe velkendte karakterer, såsom Shrek og Hulken, til de store skærmen.

For at injicere personlighed i disse karakterer, brugte de performance-capture-teknologi til at inkorporere de skuespillere, der spillede dem - optagelse af skuespillerens bevægelser, ikke deres visuelle udseende. Men efter at have set, hvordan filmpublikummet reagerede på deres 3D-kreationer, besluttede Ramasubramanian og Bhat sig at tage den teknologi videre - ud over Hollywood - ved at starte Loom.ai, som fokuserer på smartphones.

"Folk reagerer øjeblikkeligt på, at disse karakterer kommer til live, når det er drevet af menneskelige skuespillere," fortalte Ramasubramanian, der fungerer som CEO og medstifter, til Digital Trends. "Vi startede Loom.ai med det mål, at vi skal være i stand til at finde en nem måde for hver enkelt person at kunne se sig selv i 3D, og ​​til det var vi nødt til at bygge en ny teknologi."

Med spillefilm kræver det tonsvis af udstyr at skabe en 3D-avatar - dyr hardware og software, makeup og studiemiljø. Men Loom.ai fandt en måde at forenkle processen med at fange en persons funktioner uden de sædvanlige værktøjer; i stedet bruger dens patenterede teknologi et enkelt fotografi og dyb læring til at analysere et billede. Hvis et fotografi er fri for ansigtsudtryk, ser den dybe indlæringsalgoritme på pixels og producerer automatisk et ansigt, der indkapsler den korrekte muskelbevægelse.

"Da Samsungs partnerskab rullede rundt, havde vi en chance for at implementere den sofistikerede teknologi på en enhed, som vi føler, at det allerede er en ret overbevisende ingeniøropgave i sig selv," fortalte Bhat, Loom.ai's CTO og medstifter, til Digital Trends. "Det er et stort teknologispring i at kunne tage nogle af disse ideer og forhåbninger fra den store skærm og bringe dem til mobil."

At inkorporere denne teknologi i Galaxy S9-hardwaren krævede, at Loom.ai omstrukturerede sine algoritmer for at kunne køre på enheden. Men Loom.ai skabte ikke AR Emoji alene: Både Ramasubramanian og Bhat krediterer Samsung for at dedikere en enorm indsats for at optimere softwaren. Ved at levere SDK'et til at integrere i smartphones, tror Loom.ai-grundlæggerne, at Samsung kan gøre rammerne meget rigere ved at tilføje mere indhold og tilpasningsmuligheder i fremtiden.

Hvordan Galaxy S9 skaber en digital avatar

Så hvordan gør S9 (og S9 Plus) oprette AR-emojis? Selvom Samsung ikke afslørede sin hemmelige sauce, gav den Digital Trends et kig under motorhjelmen.

Ved at arbejde ud fra Loom.ai's teknologi optager og behandler telefonens kamera et 2D-billede til 3D. For at forbedre dette yderligere, bruger S9 yderligere software - ansigtssporing og Samsungs Blend Shape-teknologi - til at give ansigtsudtryk til AR Emoji.

Du står så tilbage med en tegneserie-lignende version af dig selv, der kan give udtryk for 18 forskellige udtryk - som Samsung planlægger langsomt at udvide til 54 - lige fra glæde og fornøjelse til sorg og vrede. Alle data er også lokale for enheden og bliver ikke gemt andre steder.

Begge arbejder sammen, ansigtssporingsteknologi sporer over 100 ansigtstræk i realtid (såsom blink eller smil) for at fange individuelle følelser, mens Blend Shape hjælper med at levere et større udvalg af dem - som blander udtryk sammen baseret på 75 grundlæggende menneskelige ansigtstræk. Samsung siger, at for Blend Shape udførte det mindst 100 test på en ugentlig basis i sine laboratorier for at sikre sig, at der er nok data, der ville lokke sine brugere. (Blend Shape bruges også til at skabe sine Disney AR Emojis, som Mickey og Minnie Mouse.)

I vores egen AR Emoji test, følte et flertal af os, at vores karakterer så ekstremt unøjagtige ud. En forfatter mente, at der manglede hudfarvemuligheder, uden at der var nogen mørkhudede toner at vælge imellem. Andre følte, at deres AR Emoji ikke lignede dem, hvilket fik redigering af avataren til at virke som mere en opgave end en fornøjelig opgave.

Ifølge Loom.ai afhænger skabelsen af ​​en nøjagtig AR-emoji i høj grad af den måde, selfien optages på. Brugere bør tage billedet på samme måde, som de ville tage et pasfoto. "Du vil have jævn belysning, intet der dækker dit ansigt og et neutralt udtryk, så vi kan tilføje udtrykkene senere," forklarede Ramasubramanian. "Det er et spørgsmål om, at folk vænner sig lidt til det og så ser mulighederne for at animere det og bruge det."

Ramasubramanian sagde også, at brugere skulle behandle det, som de ville, mens de tager en selfie - hvilket betyder, at du kan tage tonsvis af billeder, indtil du er tilfreds med billedet. Da AR Emoji giver dig mulighed for at oprette flere avatarer, kan du sammenligne dem for at finde den, du bedst kan lide. Hver enkelt, du opretter, gemmer også på din telefon, så du kan skifte den version, du bruger, afhængigt af dit humør.

Den seneste opdatering til AR Emoji inkluderer yderligere frisurer, hovedbeklædning såsom en hijab og andre muligheder. Opdateringen ruller i øjeblikket ud til ulåste versioner af Samsung Galaxy S9 og S9 Plus i Korea, Kina og Europa. Europæiske operatørenheder og ulåste enheder i USA bør have opdateringen tilgængelig til download i denne uge. Opdateringen til amerikanske operatørenheder vil blive rullet ud i løbet af de kommende uger. Samsung siger, at AR Emoji vil fortsætte med at udvikle sig i fremtiden, men foreløbig holder han sig tæt på præcise detaljer.

Redaktørens anbefalinger

• Samsung har lige givet os 3 store Galaxy Unpacked-teasere
• Asus’ seneste Android-telefon kan være en stor trussel mod Galaxy S23 Ultra
• Her er vores allerførste kig på Samsung Galaxy Tab S9 Plus
• Samsung har muligvis lige dræbt Galaxy S10
• Samsungs Galaxy Tab S9 får muligvis en funktion, som iPad aldrig har haft