Ingebed in de Samsung Galaxy S9's camera-app, AR-emoji Hiermee kunt u de camera aan de voorzijde gebruiken om digitale cartoonavatars te maken en te verzenden. Vergelijkbaar met die van Apple Animoji's in concept legt AR Emoji uw gezichtsbewegingen vast en spiegelt deze in de vorm van een personage of dier. Maar met de functie 'Create My Emoji' kun je er ook een van jezelf maken door simpelweg een selfie te maken, zodat je een huidskleur, outfit, kapsel, haarkleur en bril kunt kiezen.
Met AR Emoji wilde Samsung een oplossing vinden voor wat zij als een probleem beschouwt: een manier vinden om bestaande emoji's te vervangen door interactieve emoji's. Het bedrijf wilde dit op een eenvoudige manier doen, door gebruikers de juiste tools te bieden emotie vast te leggen, maar ze toch in staat stelden het resultaat gemakkelijk te delen via verschillende berichten platforms.
Aanbevolen video's
Hoe heeft Samsung zijn AR Emoji's gemaakt? Om te beginnen ging het rechtstreeks naar de 3D-animatie-experts die enkele van de populairste personages uit Hollywood tot leven brachten.
Verwant
- Dit is alles wat we verwachten van Samsung’s volgende Unpacked-evenement
- De Galaxy Tab S9 Ultra ziet eruit als een van de meest opwindende tablets van 2023
- Hier ziet u hoe snel 5G op uw Samsung Galaxy S23 werkelijk is
Van groot scherm tot smartphonecamera
Om de nieuwe functie mogelijk te maken, heeft Samsung samengewerkt met Loom.ai – een in San Francisco gevestigde startup gespecialiseerd in 3D-animatie. Met de software van het bedrijf kunnen gebruikers volledig gepersonaliseerde en aanpasbare 3D-avatars maken van één enkele foto, zonder aangepaste hardware of dieptesensoren. Via een partnerschap en een software development kit (SDK) combineerde Samsung de technologie van Loom.ai met de cameratechnologie van de S9 (augmented reality en gezichtsherkenning) om aangepaste AR Emoji mogelijk te maken.
Samsung wil een manier vinden om bestaande emoji’s te vervangen door interactieve emoji’s.
De visie achter Loom.ai begon allemaal met films – tekenfilms en superhelden om precies te zijn. Na eerder te hebben gewerkt bij populaire bedrijven voor visuele effecten zoals DreamWorks en Lucasfilm, hebben de oprichters van Loom.ai – Mahesh Ramasubramanian en Kiran Bhat – hebben geholpen bekende personages, zoals Shrek en de Hulk, naar het grote publiek te brengen scherm.
Om persoonlijkheid in die personages te injecteren, gebruikten ze technologie voor het vastleggen van prestaties om de acteurs die ze speelden te integreren - waarbij de bewegingen van de acteur werden vastgelegd, niet hun visuele uiterlijk. Maar nadat ze hadden gezien hoe het filmpubliek reageerde op hun 3D-creaties, besloten Ramasubramanian en Bhat om die technologie verder te brengen – voorbij Hollywood – door Loom.ai te starten, dat zich richt op smartphones.
“Mensen reageren er onmiddellijk op als deze personages tot leven komen als ze worden aangestuurd door menselijke acteurs”, vertelde Ramasubramanian, CEO en mede-oprichter, aan Digital Trends. “We zijn Loom.ai gestart met het doel dat we een gemakkelijke manier moeten vinden waarop ieder individu zichzelf in 3D kan zien, en daarvoor moesten we een nieuwe technologie bouwen.”
Bij speelfilms vereist het maken van een 3D-avatar heel veel apparatuur: dure hardware en software, make-up en een studio-omgeving. Maar Loom.ai heeft een manier gevonden om het proces van het vastleggen van iemands kenmerken te vereenvoudigen zonder de gebruikelijke hulpmiddelen; in plaats daarvan gebruikt de gepatenteerde technologie een enkele foto en deep learning om een afbeelding te analyseren. Als een foto geen gezichtsuitdrukkingen bevat, kijkt het deep-learning-algoritme naar de pixels en produceert automatisch een gezicht dat de juiste spierbeweging vastlegt.
“Toen de samenwerking met Samsung zich aandiende, hadden we de kans om die geavanceerde technologie op een apparaat te implementeren volgens ons is dit op zichzelf al een behoorlijk boeiende technische taak”, vertelde Bhat, CTO en mede-oprichter van Loom.ai, aan Digital Trends. “Het is een grote technologische sprong om een aantal van die ideeën en ambities van het grote scherm naar mobiel te kunnen halen.”
Om AR Emoji mogelijk te maken heeft Samsung de hulp ingeroepen van Loom.ai – een in San Francisco gevestigde startup gespecialiseerd in 3D-animatie.
Door deze technologie in de Galaxy S9-hardware te integreren, moest Loom.ai zijn algoritmen herstructureren om op het apparaat te kunnen draaien. Maar Loom.ai heeft AR Emoji niet alleen gecreëerd: zowel Ramasubramanian als Bhat prijzen Samsung voor de enorme inspanningen die ze hebben geleverd om de software te optimaliseren. Door de SDK aan te bieden voor integratie in smartphones, denken de oprichters van Loom.ai dat Samsung het raamwerk veel rijker kan maken door in de toekomst meer inhoud en aanpasbaarheidsopties toe te voegen.
Hoe de Galaxy S9 een digitale avatar creëert
Dus, hoe werkt de S9 (en S9 Plus) AR Emoji's maken? Hoewel Samsung zijn geheime saus niet prijsgaf, gaf het Digital Trends wel een kijkje onder de motorkap.
De camera van de telefoon maakt gebruik van de technologie van Loom.ai en legt een 2D-beeld vast en verwerkt dit tot 3D. Om dit verder te verbeteren, gebruikt de S9 aanvullende software – gezichtstracking en Samsung’s Blend Shape-technologie – om gezichtsuitdrukkingen voor de AR Emoji te bieden.
Je houdt dan een cartoonachtige versie van jezelf over die 18 verschillende uitdrukkingen kan uitstralen – die Samsung van plan is langzaam uit te breiden naar 54 – variërend van vreugde en plezier tot verdriet en woede. Alle gegevens zijn ook lokaal op het apparaat en worden nergens anders opgeslagen.
Beide werken samen en de gezichtstrackingtechnologie volgt in realtime meer dan 100 gezichtskenmerken (zoals knipogen of glimlachen) om vast te leggen individuele emoties, terwijl Blend Shape helpt om een groter bereik ervan te creëren – waarbij uitdrukkingen worden samengevoegd op basis van 75 fundamentele menselijke emoties. gezichtskenmerken. Samsung zegt dat het voor Blend Shape wekelijks minstens 100 tests heeft uitgevoerd in zijn laboratoria, om er zeker van te zijn dat er voldoende gegevens zijn die zijn gebruikers zouden kunnen verleiden. (Blend Shape wordt ook gebruikt om Disney AR Emoji's te maken, zoals Mickey en Minnie Mouse.)
In het onze AR Emoji-test, vond een meerderheid van ons dat onze karakters er buitengewoon onnauwkeurig uitzagen. Eén schrijver vond dat er een gebrek aan huidtinten beschikbaar was, en dat er geen donkere huidtinten waren om uit te kiezen. Anderen vonden dat hun AR Emoji in niets op hen leek, waardoor het bewerken van de avatar meer een klus dan een plezierige taak leek.
Volgens Loom.ai hangt het creëren van een nauwkeurige AR Emoji sterk af van de manier waarop de selfie wordt gemaakt. Gebruikers moeten de foto op dezelfde manier maken als een pasfoto. “Je wilt een gelijkmatige verlichting, niets dat je gezicht bedekt, en een neutrale uitdrukking, zodat we de uitdrukkingen later kunnen toevoegen”, legde Ramasubramanian uit. “Het is een kwestie van mensen eraan wennen en dan de mogelijkheden zien om het te animeren en te gebruiken.”
Ramasubramanian zei ook dat gebruikers ermee moeten omgaan zoals ze dat zouden doen bij het maken van een selfie – wat betekent dat je heel veel foto’s kunt maken totdat je tevreden bent met de foto. Omdat je met AR Emoji meerdere avatars kunt maken, kun je ze vergelijken om degene te vinden die je het leukst vindt. Elke versie die u maakt, wordt ook op uw telefoon opgeslagen, zodat u de versie die u gebruikt kunt wijzigen, afhankelijk van uw humeur.
De nieuwste update voor AR Emoji bevat extra kapsels, hoofddeksels zoals een hijab en andere opties. De update wordt momenteel uitgerold naar ontgrendelde versies van de Samsung Galaxy S9 en S9 Plus in Korea, China en Europa. Voor apparaten van Europese providers en Amerikaanse ontgrendelde apparaten zou de update deze week beschikbaar moeten zijn om te downloaden. De update voor apparaten van Amerikaanse providers wordt de komende weken uitgerold. Samsung zegt dat AR Emoji in de toekomst zal blijven evolueren, maar houdt voorlopig de lippen stijf op elkaar over de exacte details.
Aanbevelingen van de redactie
- Samsung heeft ons zojuist 3 grote Galaxy Unpacked-teasers gegeven
- De nieuwste Android-telefoon van Asus zou een grote bedreiging kunnen vormen voor de Galaxy S23 Ultra
- Hier is onze allereerste blik op de Samsung Galaxy Tab S9 Plus
- Samsung heeft misschien net de Galaxy S10 gedood
- De Galaxy Tab S9 van Samsung krijgt mogelijk een functie die de iPad nog nooit heeft gehad
