ModiFace samarbejder med Samsung for at bringe AR-makeup til Galaxy S9

Brenda Stolyar/Digital Trends

Se vores komplette dækning af MWC 2023

Samsungs Galaxy S9 og S9 Plus kommer med en række forskellige nye kamerafunktioner inklusive AR Emoji, Super Slow Motion, og en variabel blænde. Men der er endnu et nyt trick, som vi aldrig har set indbygget i en smartphone før – augmented reality makeup-værktøjet i Bixby Vision.

Indbygget i S9's kamera-app giver Makeup dig mulighed for at anvende forskellige produkter på dit ansigt med augmented reality. Ret selfie-kameraet mod dit ansigt, og de makeup-stile, du vælger, er lagt over dit ansigt, præcis som Snapchat-filtre. Fordelen er, at du prøver makeup i dit eget hjem, mens du også undgår behovet for at rydde op bagefter. Det er første gang, vi har set denne form for funktion indbygget i en smartphone, men teknologien er langt fra ny. Samsung trykkede ModiFace, en virksomhed med mere end ti års forskning på dette område, for at integrere sin skønheds-AR-teknologi i kameraet.

Fra hudpleje til augmented reality makeup

Hvis du nogensinde har brugt Sephora app til nærmest at prøve makeup, eller Benefit's Brow Try-On app til at teste en ny øjenbrynsform, så har du brugt ModiFaces AR-teknologi. Virksomheden driver nu mere end 200 brugerdefinerede augmented reality apps for avancerede skønhedsmærker, men det hele startede i starten med hudpleje.

Smartphone popularitet inspirerede ModiFace til at teste sin teknologi med augmented reality.

Før smartphone revolution, arbejdede ModiFace sammen med hudlæger og visse mærker for at hjælpe folk med at finde løsninger til hudplejeproblemer.

Folk kunne uploade et billede af sig selv til en webapp, og virksomheden ville behandle det for at lokalisere problemområder og foreslå forbedringer af hudplejerutiner.

ModiFace brugte oprindeligt 2D-billeder med webappen, men efterhånden som teknologien skred frem, kunne virksomheden hurtigt gå over til at tillade brugere at uploade video. Da smartphones blev populære, begyndte ModiFace at teste sin teknologi med augmented reality og tilføjede makeup og hår til sin liste over understøttede funktioner.

"Med smartphone boom, det var den perfekte mulighed for os at udvide, fordi det gav os mulighed for at bringe AR lige til vores brugere i [deres] håndflade, siger Jeff Houghton, ModiFace vicepræsident for teknologi, til Digital Trends.

Dets nuværende softwareudviklingssæt (SDK'er) er kulminationen på 10 års ingeniørarbejde. Ved at arbejde tæt sammen med skønhedsmærker er ModiFace i stand til at give en lynhurtig og nem at følge brugeroplevelse, samtidig med at det opmuntrer til produktopdagelse.

ModiFaces teknologi driver mere end 200 augmented reality-apps til avancerede skønhedsmærker, herunder adskillige smarte spejle, der giver kunderne mulighed for virtuelt at prøve makeup i realtid. Fotokredit: ModiFace.

Dens teknologi stopper ikke ved smartphone apps, der også omfatter detailbutikker. Tilbage i november debuterede MAC Cosmetics sin MAC Virtual Try-On Mirror på bestemte steder. Spejlet lader kunder virtuelt prøve makeup i realtid ved at swipe gennem grænsefladen. Det hjælper med at eliminere behovet for at teste en masse produkter i butikken, og indsnævre det til de styles, du bedst kan lide.

Sætter sin teknologi på Galaxy S9

Den samme teknologi og koncept er, hvad der er tilgængeligt på det nye Galaxy S9. Ved at samarbejde med Samsung var ModiFace i stand til at optimere oplevelsen.

"Startende i huset træner vi vores neurale netværk på tusindvis af billeder for at skabe basissporingen og ansigtsanalysen for vores apps," sagde Houghton. "Dette neurale netværk er så indlejret i Samsungs app. Vi arbejdede sammen med Samsung om at justere flere parametre for at sikre, at vi opnåede de effekter, som brands og slutbrugere ønsker at se."

Partnerskabet mellem de to virksomheder kan sætte gang i en ny trend for telefonproducenter. Mens skønhedsteknologi stadig er i sin vorden, har makeup fundet vej til vores skærme i årevis gennem sociale medier. Uanset om det er YouTube eller Instagram tutorials, kigger folk konstant på deres smartphones for at finde ny inspiration, når det kommer til makeup. Med Galaxy S9, alt hvad du skal gøre er at stryge kameraet op, og du har et katalog med makeup til din rådighed.

På Galaxy S9 kan du søge gennem en række forskellige kosmetiske produkter, der er tilgængelige fra både Sephora eller Cover Girl, og du kan købe dem på stedet. Når du ruller gennem hvert produkt, vil det påføre sig dit ansigt som Snapchat-filtre.

Ved hjælp af ansigtssporing og 3D-videogengivelse bliver makeupfiltrene kortlagt til ansigtet med 30 billeder i sekundet. Der er ingen forsinkelse, og intet er forkert justeret. Det virker lige så øjeblikkeligt som dig at trykke på det næste produkt, du vil prøve. Du kan prøve komplette looks – som inkluderer læbestift, foundation, øjenskygge, blush, mascara og eyeliner – eller du kan prøve dem alle separat.

At prøve foundation kan være ekstremt besværligt, det kræver næsten altid at være i butikken og have en medarbejder til at hjælpe dig med at finde netop din nuance. Der er også forskellige typer foundation at tage hensyn til - mat, gennemsigtig, vandbaseret eller dem, der giver fuld dækning. For at sikre, at nuancerne er så nøjagtige som muligt, gik ModiFace-teamet kedeligt igennem hvert produkt og sammenlignede, hvordan det så ud i det virkelige liv med, hvordan det så ud på smartphone. De arbejdede med både Samsung og mærkerne direkte for at skabe en matchende gengivelse.

"Jeg var faktisk selv involveret i den proces, og det er lidt sjovt," sagde Houghton. “Du får prøvet mange forskellige ting, og så får du tørret dem af og se, hvordan de ser ud i appen. Det involverer en masse sammenligning af skærmbilleder og manuelt arbejde for at sikre, at det produkt, vi har inkluderet, bare er perfekt."

Men der er stadig plads til forbedringer. Ved hjælp af dyb læring og billedforskning studerer teamet interne data - indsamlet fra dem, der tester det endelige produkt - for at lære mere om en brugers ansigt for at træne dens algoritmer. Dette hjælper med at producere bedre resultater, når det kommer til faktorer som hvordan farver blandes på din læbe, hvordan lyset bliver tilføjet i disse farver, og hvordan dit ansigt skal se ud under forskellig belysning, hvis du har en bestemt foundation på. Dataene hjælper også med at forbedre tekstur og overordnet dækning af makeuppen.

Med denne form for dyb læring er virksomheden i stand til at skabe nye og mere realistiske effekter. For nylig samarbejdede ModiFace med L'Oreal for at skabe 3D-hårsporing, der kan omfarve dit hår i realtid. Virksomheden har planer om at arbejde med Samsung for at bringe lignende effekter til sine telefoner.

Men for dem med bekymringer om privatlivets fred indsamler eller overvåger Modiface ikke nogen data fra sine applikationer, når de er i hænderne på brugerne. Alle billeder, du tager med apps, forlader aldrig din enhed.

Redaktørens anbefalinger

• Galaxy Tab S9 Ultra ligner en af ​​2023s mest spændende tablets
• Samsungs Galaxy Tab S9 får muligvis en funktion, som iPad aldrig har haft
• Få Samsung Galaxy S9 med en Amazon Echo og Echo Spot for $520
• Det træge Galaxy S9-salg fører til fald i andet kvartal for Samsung

Opgrader din livsstilDigital Trends hjælper læserne med at holde styr på den hurtige teknologiske verden med alle de seneste nyheder, sjove produktanmeldelser, indsigtsfulde redaktionelle artikler og enestående smugkig.