Comment Samsung a donné vie aux émojis AR dans le Galaxy S9

Intégré dans le Samsung Galaxy S9 application appareil photo, Emoji AR vous permet d'utiliser la caméra frontale pour créer et envoyer des avatars de dessins animés numériques. Similaire à celui d'Apple Animojis dans son concept, AR Emoji capture les mouvements de votre visage et les reflète sous la forme d'un personnage ou d'un animal. Mais avec sa fonction « Créer mon Emoji », vous pouvez également en créer un en prenant simplement un selfie, vous permettant ainsi de choisir un teint, une tenue, une coiffure, une couleur de cheveux et des lunettes.

Avec AR Emoji, Samsung a décidé de résoudre ce qu'il considère comme un problème: trouver un moyen de remplacer les emojis existants par des emojis interactifs. L'entreprise souhaitait y parvenir de manière simple, en fournissant aux utilisateurs les bons outils pour capturer l'émotion tout en leur permettant de partager facilement le résultat sur une variété de messages plates-formes.

Alors, comment Samsung a-t-il créé ses Emojis AR? Pour commencer, l’argent a été directement confié aux experts en animation 3D qui ont donné vie à certains des personnages les plus populaires d’Hollywood.

Du grand écran à l’appareil photo du smartphone

Pour alimenter la nouvelle fonctionnalité, Samsung a collaboré avec Métier à tisser.ai — une startup basée à San Francisco spécialisée dans l'animation 3D. Le logiciel de la société permet aux utilisateurs de créer des avatars 3D entièrement personnalisés et personnalisables à partir d’une seule photo, sans matériel personnalisé ni capteurs de profondeur. Grâce à un partenariat et à un kit de développement logiciel (SDK), Samsung a combiné la technologie de Loom.ai avec la technologie de l'appareil photo du S9 (réalité augmentée et reconnaissance faciale) pour rendre possible la personnalisation des Emoji AR.

La vision derrière Loom.ai a commencé avec les films – les dessins animés et les super-héros pour être exact. Ayant déjà travaillé dans des sociétés d'effets visuels populaires comme DreamWorks et Lucasfilm, les fondateurs de Loom.ai – Mahesh Ramasubramanian et Kiran Bhat – ont contribué à faire connaître des personnages bien connus, tels que Shrek et Hulk, au grand public. écran.

Pour donner de la personnalité à ces personnages, ils ont utilisé la technologie de capture de performance pour incorporer les acteurs qui les jouaient – ​​en enregistrant les mouvements de l'acteur, et non son apparence visuelle. Mais après avoir vu comment le public des films réagissait à leurs créations 3D, Ramasubramanian et Bhat ont décidé pousser cette technologie plus loin – au-delà d’Hollywood – en lançant Loom.ai, qui se concentre sur smartphones.

"Les gens réagissent instantanément lorsque ces personnages prennent vie lorsqu'ils sont dirigés par des acteurs humains", a déclaré Ramasubramanian, PDG et co-fondateur, à Digital Trends. "Nous avons lancé Loom.ai dans le but de trouver un moyen simple pour chaque individu de se voir en 3D, et pour cela, nous avons dû créer une nouvelle technologie."

Avec les longs métrages, la création d’un avatar 3D nécessite des tonnes d’équipement: du matériel et des logiciels coûteux, du maquillage et un décor en studio. Mais Loom.ai a trouvé un moyen de simplifier le processus de capture des caractéristiques d’une personne sans les outils habituels; au lieu de cela, sa technologie brevetée utilise une seule photographie et l’apprentissage en profondeur pour analyser une image. Si une photographie ne contient aucune expression faciale, l'algorithme d'apprentissage en profondeur examine les pixels et produit automatiquement un visage qui résume le mouvement musculaire correct.

«Lorsque le partenariat avec Samsung s'est concrétisé, nous avons eu l'occasion de mettre en œuvre cette technologie sophistiquée sur un appareil, ce qui nous pensons que c'est déjà une tâche d'ingénierie assez convaincante en soi », a déclaré Bhat, CTO et co-fondateur de Loom.ai, à Digital. Les tendances. "C'est un grand saut technologique que de pouvoir prendre certaines de ces idées et aspirations du grand écran et les amener sur mobile."

L'intégration de cette technologie dans le matériel du Galaxy S9 a obligé Loom.ai à restructurer ses algorithmes, afin de fonctionner sur l'appareil. Mais Loom.ai n'a pas créé AR Emoji seul: Ramasubramanian et Bhat remercient Samsung d'avoir consacré d'énormes efforts à l'optimisation du logiciel. En fournissant le SDK à intégrer dans les smartphones, les fondateurs de Loom.ai pensent que Samsung peut rendre le cadre beaucoup plus riche en ajoutant davantage de contenu et d'options de personnalisation à l'avenir.

Comment le Galaxy S9 crée un avatar numérique

Alors, comment fonctionne exactement le S9 (et S9 Plus) créer des Emojis AR? Bien que Samsung n’ait pas révélé sa sauce secrète, il a donné un aperçu de Digital Trends sous le capot.

Utilisant la technologie de Loom.ai, l’appareil photo du téléphone capture et transforme une image 2D en 3D. Pour améliorer encore cela, le S9 utilise un logiciel supplémentaire – suivi du visage et technologie Blend Shape de Samsung – pour fournir des expressions faciales pour l'AR Emoji.

Vous vous retrouvez alors avec une version de vous-même ressemblant à un dessin animé qui peut exprimer 18 expressions différentes – que Samsung prévoit d'étendre lentement à 54 – allant de la joie et du plaisir au chagrin et à la colère. Toutes les données sont également locales sur l’appareil et ne sont stockées nulle part ailleurs.

Fonctionnant ensemble, la technologie de suivi du visage suit plus de 100 caractéristiques du visage en temps réel (comme un clin d'œil ou un sourire) pour capturer émotions individuelles, tandis que Blend Shape aide à en offrir une plus grande gamme, ce qui mélange des expressions basées sur 75 principes humains de base. traits du visage. Samsung affirme que pour Blend Shape, il a effectué au moins 100 tests par semaine dans ses laboratoires, afin de s'assurer qu'il existe suffisamment de données pour attirer ses utilisateurs. (Blend Shape est également utilisé pour créer ses Emojis Disney AR, comme Mickey et Minnie Mouse.)

Dans notre propre Test d'Emoji AR, la majorité d'entre nous ont trouvé que nos personnages semblaient extrêmement inexacts. Un écrivain a estimé qu’il y avait un manque d’options de tons chair disponibles, sans aucun choix de tons foncés. D’autres ont estimé que leur AR Emoji ne leur ressemblait en rien, ce qui faisait que la modification de l’avatar semblait plus une corvée qu’une tâche agréable.

Selon Loom.ai, la création d'un Emoji AR précis dépend fortement de la façon dont le selfie est pris. Les utilisateurs doivent prendre la photo de la même manière qu’ils prendraient une photo d’identité. "Vous voulez un éclairage uniforme, rien ne couvrant votre visage et une expression neutre pour que nous puissions ajouter les expressions plus tard", a expliqué Ramasubramanian. "Il s'agit pour les gens de s'y habituer un peu et de voir ensuite les possibilités de l'animer et de l'utiliser."

Ramasubramanian a également déclaré que les utilisateurs devraient le traiter comme ils le feraient lorsqu'ils prennent n'importe quel selfie, ce qui signifie que vous pouvez prendre des tonnes de photos jusqu'à ce que vous soyez satisfait de la photo. Puisque AR Emoji vous permet de créer plusieurs avatars, vous pouvez les comparer pour trouver celui que vous préférez. Chacune que vous créez est également enregistrée sur votre téléphone, vous pouvez donc changer de version que vous utilisez en fonction de votre humeur.

La dernière mise à jour d'AR Emoji inclut des coiffures supplémentaires, des couvre-chefs tels qu'un hijab et d'autres options. La mise à jour est actuellement déployée sur les versions déverrouillées du SamsungGalaxy S9 et S9 Plus en Corée, en Chine et en Europe. Les appareils des opérateurs européens et les appareils déverrouillés aux États-Unis devraient avoir la mise à jour disponible en téléchargement cette semaine. La mise à jour pour les appareils des opérateurs américains sera déployée dans les semaines à venir. Samsung affirme que AR Emoji continuera d'évoluer à l'avenir, mais pour l'instant, il reste discret sur les détails exacts.

Recommandations des rédacteurs

• Samsung vient de nous offrir 3 gros teasers du Galaxy Unpacked
• Le dernier téléphone Android d’Asus pourrait être une grande menace pour le Galaxy S23 Ultra
• Voici notre tout premier aperçu du Samsung Galaxy Tab S9 Plus
• Samsung vient peut-être de tuer le Galaxy S10
• La Galaxy Tab S9 de Samsung pourrait bénéficier d'une fonctionnalité que l'iPad n'a jamais eue