ModiFace samarbeider med Samsung for å bringe AR-sminke til Galaxy S9

Brenda Stolyar/Digitale trender

Sjekk ut vår komplette dekning av MWC 2023

Samsung sin Galaxy S9 og S9 Plus kommer med en rekke nye kamerafunksjoner gjelder også AR Emoji, Super sakte film, og en variabel blenderåpning. Men det er enda et nytt triks som vi aldri har sett innebygd i en smarttelefon før – sminkeverktøyet for utvidet virkelighet i Bixby Vision.

Innbakt i S9s kameraapp lar Makeup deg bruke forskjellige produkter på ansiktet ditt med utvidet virkelighet. Pek selfie-kameraet mot ansiktet ditt, og sminkestilene du velger legges over ansiktet ditt, akkurat som Snapchat-filtre. Fordelen er at du prøver sminke i komforten av ditt eget hjem, samtidig som du unngår behovet for å rydde opp etterpå. Det er første gang vi har sett denne typen funksjon innebygd i en smarttelefon, men teknologien er langt fra ny. Samsung tappet ModiFace, et selskap med mer enn et tiår med forskning på dette feltet, for å integrere sin skjønnhets-AR-teknologi i kameraet.

Fra hudpleie til augmented reality-sminke

Hvis du noen gang har brukt Sephora-appen å praktisk talt prøve sminke, eller Benefit's Brow Try-On app for å teste ut en ny øyenbrynsform, så har du brukt ModiFaces AR-teknologi. Selskapet driver nå mer enn 200 tilpassede apper for utvidet virkelighet for eksklusive skjønnhetsmerker, men det hele startet i utgangspunktet med hudpleie.

Smarttelefon popularitet inspirerte ModiFace til å teste teknologien sin med utvidet virkelighet.

Før smarttelefon revolusjon, jobbet ModiFace med hudleger og visse merker for å hjelpe folk med å finne løsninger for hudpleieproblemer.

Folk kunne laste opp et bilde av seg selv til en nettapp, og selskapet ville behandle det for å finne problemområder og foreslå forbedringer av hudpleierutiner.

ModiFace brukte opprinnelig 2D-bilder med nettappen, men etter hvert som teknologien utviklet seg, kunne selskapet snart gå over til å la brukere laste opp video. Da smarttelefoner ble populære, begynte ModiFace å teste teknologien sin med utvidet virkelighet, og la til sminke og hår til listen over støttede funksjoner.

"Med smarttelefon boom, det var den perfekte muligheten for oss å utvide fordi det tillot oss å bringe AR rett til vår brukere i håndflaten, sier Jeff Houghton, visepresident for teknologi i ModiFace, til Digital Trender.

Dets nåværende programvareutviklingssett (SDK-er) er kulminasjonen av 10 års ingeniørarbeid. Ved å jobbe tett med skjønnhetsmerker er ModiFace i stand til å gi en lynrask og lett å følge brukeropplevelse, samtidig som det oppmuntrer til produktoppdagbarhet.

ModiFaces teknologi driver mer enn 200 apper for utvidet virkelighet for eksklusive skjønnhetsmerker, inkludert en rekke smarte speil, som lar kunder praktisk talt prøve sminke i sanntid. Fotokreditt: ModiFace.

Teknologien stopper ikke ved smarttelefon apper, som også strekker seg til butikker. Tilbake i november debuterte MAC Cosmetics sin MAC Virtual Try-On Mirror på visse steder. Speilet lar kunder praktisk talt prøve sminke i sanntid ved å sveipe gjennom grensesnittet. Det bidrar til å eliminere behovet for å teste mange produkter i butikken, og begrenser det til stilene du liker best.

Setter teknologien sin på Galaxy S9

Den samme teknologien og konseptet er det som er tilgjengelig på den nye Galaxy S9. Ved å samarbeide med Samsung var ModiFace i stand til å optimalisere opplevelsen.

"Fra og med hjemme trener vi våre nevrale nettverk på tusenvis av bilder for å lage basissporingen og ansiktsanalysen for appene våre," sa Houghton. "Dette nevrale nettverket er så innebygd i Samsungs app. Vi samarbeidet med Samsung for å justere flere parametere for å sikre at vi oppnådde effektene som merker og sluttbrukere ønsker å se."

Samarbeidet mellom de to selskapene kan starte en ny trend for telefonprodusenter. Mens skjønnhetsteknologi fortsatt er i sin spede begynnelse, har sminke funnet veien til skjermene våre i årevis gjennom sosiale medier. Enten det er YouTube- eller Instagram-veiledninger, leter folk stadig etter smarttelefonene sine for å finne ny inspirasjon når det kommer til sminke. Med Galaxy S9, alt du trenger å gjøre er å sveipe opp kameraet, og du har en katalog med sminke til din disposisjon.

På Galaxy S9 kan du søke gjennom en rekke forskjellige kosmetiske produkter tilgjengelig fra både Sephora eller Cover Girl, og du kan kjøpe dem på stedet. Når du blar gjennom hvert produkt, vil det påføre seg ansiktet ditt som Snapchat-filtre.

Ved å bruke ansiktssporing og 3D-videogjengivelse blir sminkefiltrene kartlagt til ansiktet med 30 bilder per sekund. Det er ingen etterslep, og ingenting er feiljustert. Det fungerer like øyeblikkelig som du trykker på det neste produktet du vil prøve. Du kan prøve komplette looks – som inkluderer leppestift, foundation, øyenskygge, blush, mascara og eyeliner – eller du kan prøve dem alle separat.

Å prøve foundation kan være ekstremt vanskelig, krever nesten alltid å være i butikken og ha en ansatt som hjelper deg med å finne akkurat din nyanse. Det er også forskjellige typer foundation å ta hensyn til – matt, ren, vannbasert eller de som gir full dekning. For å sikre at nyansene er så nøyaktige som mulig, gikk ModiFace-teamet kjedelig gjennom hvert produkt og sammenlignet hvordan det så ut i det virkelige liv med hvordan det så ut på smarttelefon. De jobbet med både Samsung og merkene direkte for å lage en matchende gjengivelse.

"Jeg var faktisk involvert i den prosessen, og det er ganske gøy," sa Houghton. «Du får prøve mange forskjellige ting, og så kan du tørke dem av og se hvordan de ser ut i appen. Det innebærer mye sammenligning av skjermbilder og manuelt arbeid for å sikre at produktet vi har inkludert er perfekt."

Men det er fortsatt rom for forbedringer. Ved å bruke dyp læring og bildeforskning studerer teamet interne data – samlet fra de som tester sluttproduktet – for å lære mer om en brukers ansikt for å trene algoritmene. Dette bidrar til å gi bedre resultater når det kommer til faktorer som hvordan farger blandes på leppen din, hvordan lyset blir lagt inn i disse fargene, og hvordan ansiktet ditt skal se ut under forskjellig belysning hvis du har en bestemt foundation på. Dataene bidrar også til å forbedre tekstur og generell dekning av sminken.

Med denne typen dyp læring er selskapet i stand til å skape nye og mer realistiske effekter. Nylig samarbeidet ModiFace med L'Oreal for å lage 3D hårsporing som kan farge håret ditt på nytt i sanntid. Selskapet har planer om å samarbeide med Samsung for å bringe lignende effekter til telefonene sine.

Men for de med personvernhensyn samler eller overvåker Modiface ingen data fra applikasjonene sine når de er i hendene på brukerne. Bilder du tar med appene vil aldri forlate enheten din.

Redaktørenes anbefalinger

• Galaxy Tab S9 Ultra ser ut som et av 2023s mest spennende nettbrett
• Samsungs Galaxy Tab S9 kan få en funksjon som iPad aldri har hatt
• Få Samsung Galaxy S9 med Amazon Echo og Echo Spot for $520
• Tregt salg av Galaxy S9 fører til nedgang i andre kvartal for Samsung

Oppgrader livsstilen dinDigitale trender hjelper leserne å følge med på den fartsfylte teknologiverdenen med alle de siste nyhetene, morsomme produktanmeldelser, innsiktsfulle redaksjoner og unike sniktitter.