ModiFace samarbetar med Samsung för att ta med AR-smink till Galaxy S9

Brenda Stolyar/Digital Trends

Kolla in vår fullständiga täckning av MWC 2023

Samsungs Galaxy S9 och S9 Plus kommer med en mängd olika nya kamerafunktioner Inklusive AR Emoji, Super Slow Motion, och en variabel bländare. Men det finns ytterligare ett nytt trick som vi aldrig har sett inbyggt i en smartphone förut – sminkverktyget för augmented reality i Bixby Vision.

Inbakad i S9:s kameraapp låter Makeup dig applicera olika produkter på ditt ansikte med förstärkt verklighet. Rikta selfiekameran mot ditt ansikte och sminkstilarna du väljer läggs över ditt ansikte, precis som Snapchat-filter. Fördelen är att du provar smink i bekvämligheten av ditt eget hem, samtidigt som du undviker behovet av att städa upp efteråt. Det är första gången vi har sett den här typen av funktion inbyggd i en smartphone, men tekniken är långt ifrån ny. Samsung knackade ModiFace, ett företag med mer än ett decennium av forskning inom detta område, för att integrera sin skönhets-AR-teknik i kameran.

Från hudvård till makeup med förstärkt verklighet

Om du någonsin har använt Sephora app att praktiskt taget prova på smink, eller Benefit's Brow Try-On app för att testa en ny ögonbrynsform, då har du använt ModiFaces AR-teknik. Företaget driver nu mer än 200 specialanpassade appar för förstärkt verklighet för exklusiva skönhetsmärken, men allt började till en början med hudvård.

Smartphone popularitet inspirerade ModiFace att testa sin teknik med förstärkt verklighet.

Innan smartphone revolution, arbetade ModiFace med hudläkare och vissa varumärken för att hjälpa människor att hitta lösningar för hudvårdsproblem.

Människor kunde ladda upp ett foto på sig själva till en webbapp, och företaget skulle bearbeta det för att lokalisera problemområden och föreslå förbättringar av hudvårdsrutiner.

ModiFace använde ursprungligen 2D-bilder med webbappen, men allt eftersom tekniken utvecklades kunde företaget snart gå över till att låta användare ladda upp video. När smartphones blev populära började ModiFace testa sin teknik med förstärkt verklighet och lade till smink och hår till sin lista över funktioner som stöds.

"Med smartphone boom, det var det perfekta tillfället för oss att expandera eftersom det gjorde det möjligt för oss att ta AR rätt till vår användare i handflatan, säger Jeff Houghton, ModiFace vice vd för teknologi, till Digital Trender.

Dess nuvarande mjukvaruutvecklingskit (SDK) är kulmen på 10 års ingenjörskonst. Genom att arbeta nära skönhetsvarumärken kan ModiFace erbjuda en blixtsnabb och lätt att följa användarupplevelsen, samtidigt som produkten upptäcks.

ModiFaces teknologi driver mer än 200 appar för augmented reality för exklusiva skönhetsmärken, inklusive många smarta speglar, som låter kunderna praktiskt taget prova smink i realtid. Fotokredit: ModiFace.

Dess teknik stannar inte vid smartphone appar, som även omfattar butiker. Tillbaka i november debuterade MAC Cosmetics sin MAC Virtual Try-On Mirror på vissa platser. Spegeln låter kunder praktiskt taget prova smink i realtid genom att svepa genom hela gränssnittet. Det hjälper till att eliminera behovet av att testa många produkter i butiken, och begränsar det till de stilar du gillar mest.

Lägger sin teknik på Galaxy S9

Samma teknik och koncept är vad som är tillgängligt på den nya Galaxy S9. Genom att samarbeta med Samsung kunde ModiFace optimera upplevelsen.

"Från och med internt tränar vi våra neurala nätverk på tusentals bilder för att skapa basspårning och ansiktsanalys för våra appar," sa Houghton. "Detta neurala nätverk är sedan inbäddat i Samsungs app. Vi arbetade med Samsung för att justera flera parametrar för att se till att vi uppnådde de effekter som varumärken och slutanvändare vill se.”

Partnerskapet mellan de två företagen kan starta en ny trend för telefontillverkare. Medan skönhetsteknologin fortfarande är i sin linda, har smink hittat sin väg till våra skärmar i flera år genom sociala medier. Oavsett om det är YouTube- eller Instagram-tutorials, tittar människor ständigt på sina smartphones för att hitta ny inspiration när det kommer till smink. Med Galaxy S9, allt du behöver göra är att svepa upp kameran så har du en katalog med smink till ditt förfogande.

På Galaxy S9 kan du söka igenom en mängd olika kosmetiska produkter tillgängliga från både Sephora eller Cover Girl, och du kan köpa dem på plats. När du bläddrar igenom varje produkt kommer den att appliceras på ditt ansikte som Snapchat-filter.

Med hjälp av ansiktsspårning och 3D-videorendering mappas makeupfiltren till ansiktet med 30 bilder per sekund. Det finns ingen fördröjning, och ingenting är felinriktat. Det fungerar lika omedelbart som du för att trycka på nästa produkt du vill prova. Du kan prova kompletta looks – som inkluderar läppstift, foundation, ögonskugga, rouge, mascara och eyeliner – eller så kan du prova dem alla separat.

Att prova på foundation kan vara extremt knepigt, kräver nästan alltid att du är i butiken och att en anställd hjälper dig att hitta din exakta nyans. Det finns också olika typer av foundation att ta hänsyn till – matt, skir, vattenbaserad eller sådana som ger full täckning. För att se till att nyanserna är så exakta som möjligt gick ModiFace-teamet tröttsamt igenom varje produkt och jämförde hur det såg ut i verkligheten med hur det såg ut på smartphone. De arbetade med både Samsung och varumärkena direkt för att skapa en matchande rendering.

"Jag var faktiskt involverad i den processen och det är ganska roligt," sa Houghton. ”Du får prova på många olika saker och sedan får du torka av dem och se hur de ser ut i appen. Det innebär en hel del jämförelse av skärmdumpar och manuellt arbete för att se till att produkten vi har inkluderat är perfekt."

Men det finns fortfarande utrymme för förbättringar. Med hjälp av djupinlärning och bildforskning studerar teamet intern data – insamlad från de som testar slutprodukten – för att lära sig mer om en användares ansikte för att träna dess algoritmer. Detta hjälper till att ge bättre resultat när det kommer till faktorer som hur färger blandas på din läpp, hur ljuset blir läggas till i de färgerna, och hur ditt ansikte ska se ut under annan belysning om du har en specifik foundation på. Uppgifterna hjälper också till att förbättra textur och övergripande täckning av sminket.

Med denna typ av djupinlärning kan företaget skapa nya och mer realistiska effekter. Nyligen samarbetade ModiFace med L'Oreal för att skapa 3D hårspårning som kan färga om ditt hår i realtid. Företaget har planer på att arbeta med Samsung för att få liknande effekter till sina telefoner.

Men för dem med integritetsproblem samlar eller övervakar Modiface inte någon data från sina applikationer när de är i händerna på användare. Alla bilder du tar med apparna kommer aldrig att lämna din enhet.

Redaktörens rekommendationer

• Galaxy Tab S9 Ultra ser ut som en av 2023 års mest spännande surfplattor
• Samsungs Galaxy Tab S9 kan få en funktion som iPad aldrig har haft
• Skaffa Samsung Galaxy S9 med Amazon Echo och Echo Spot för $520
• Trög Galaxy S9-försäljning leder till nedgång under andra kvartalet för Samsung

Uppgradera din livsstilDigitala trender hjälper läsare att hålla koll på den snabba teknikvärlden med alla de senaste nyheterna, roliga produktrecensioner, insiktsfulla redaktioner och unika smygtittar.