Cómo Samsung dio vida a los AR Emojis en el Galaxy S9

Incrustado en el Samsung Galaxy S9 aplicación de cámara, emojis de realidad aumentada le permite utilizar la cámara frontal para crear y enviar avatares de dibujos animados digitales. Similar al de Apple animojis En concepto, AR Emoji captura tus movimientos faciales y los refleja en la forma de un personaje o animal. Pero con su función "Crear mi emoji", también puedes crear uno tuyo simplemente tomándote una selfie, lo que te permite elegir un tono de piel, vestimenta, peinado, color de cabello y gafas.

Con AR Emoji, Samsung se propuso resolver lo que considera un problema: encontrar una manera de reemplazar los emojis existentes por otros interactivos. La empresa quería hacer esto de una manera sencilla, proporcionando a los usuarios las herramientas adecuadas para capturar la emoción pero aun así les permitió compartir fácilmente el resultado en una variedad de mensajes plataformas.

Entonces, ¿cómo creó Samsung sus AR Emojis? Para empezar, se dirigió directamente a los expertos en animación 3D que dieron vida a algunos de los personajes más populares de Hollywood.

De la pantalla grande a la cámara del smartphone

Para impulsar la nueva función, Samsung colaboró ​​con Telar.ai – una startup con sede en San Francisco que se especializa en animación 3D. El software de la empresa permite a los usuarios crear avatares 3D totalmente personalizados y personalizables a partir de una sola fotografía, sin hardware personalizado ni sensores de profundidad. A través de una asociación y un kit de desarrollo de software (SDK), Samsung combinó la tecnología de Loom.ai con la tecnología de cámara del S9 (realidad aumentada y reconocimiento facial) para hacer posible AR Emoji personalizados.

La visión detrás de Loom.ai comenzó con películas: dibujos animados y superhéroes para ser exactos. Habiendo trabajado anteriormente en compañías de efectos visuales populares como DreamWorks y Lucasfilm, los fundadores de Loom.ai –Mahesh Ramasubramanian y Kiran Bhat han ayudado a llevar a personajes conocidos, como Shrek y Hulk, a la gran fama. pantalla.

Para inyectar personalidad a esos personajes, utilizaron tecnología de captura de desempeño para incorporar a los actores que los interpretaban, registrando los movimientos del actor, no su apariencia visual. Pero después de ver cómo reaccionaba el público ante sus creaciones en 3D, Ramasubramanian y Bhat decidieron llevar esa tecnología más allá de Hollywood, iniciando Loom.ai, que se centra en teléfonos inteligentes.

"La gente reacciona instantáneamente cuando estos personajes cobran vida cuando son impulsados ​​por actores humanos", dijo a Digital Trends Ramasubramanian, quien se desempeña como director ejecutivo y cofundador. "Comenzamos Loom.ai con el objetivo de poder encontrar una manera fácil para que cada individuo pueda verse a sí mismo en 3D, y para eso tuvimos que desarrollar una nueva tecnología".

En el caso de los largometrajes, crear un avatar 3D requiere toneladas de equipo: hardware y software costosos, maquillaje y un ambiente de estudio. Pero Loom.ai encontró una manera de simplificar el proceso de capturar los rasgos de una persona sin las herramientas habituales; en cambio, su tecnología patentada utiliza una sola fotografía y aprendizaje profundo para analizar una imagen. Si una fotografía no tiene expresiones faciales, el algoritmo de aprendizaje profundo mira los píxeles y produce automáticamente una cara que encapsula el movimiento muscular correcto.

“Cuando se estableció la asociación con Samsung, tuvimos la oportunidad de implementar esa tecnología sofisticada en un dispositivo, que Creemos que ya es una tarea de ingeniería bastante convincente en sí misma”, dijo a Digital Bhat, director de tecnología y cofundador de Loom.ai. Tendencias. "Es un gran salto tecnológico poder tomar algunas de esas ideas y aspiraciones de la pantalla grande y llevarlas a los dispositivos móviles".

La incorporación de esta tecnología al hardware del Galaxy S9 requirió que Loom.ai reestructurara sus algoritmos para poder ejecutarse en el dispositivo. Pero Loom.ai no creó AR Emoji solo: tanto Ramasubramanian como Bhat le dan crédito a Samsung por dedicar un tremendo esfuerzo a optimizar el software. Al proporcionar el SDK para integrarlo en los teléfonos inteligentes, los fundadores de Loom.ai creen que Samsung puede enriquecer mucho el marco agregando más contenido y opciones de personalización en el futuro.

Cómo el Galaxy S9 crea un avatar digital

Entonces, ¿cómo funciona exactamente el S9 (y S9 más) crear AR Emojis? Si bien Samsung no reveló su salsa secreta, le dio a Digital Trends una mirada debajo del capó.

Trabajando con la tecnología de Loom.ai, la cámara del teléfono captura y procesa una imagen 2D en 3D. Para mejorar esto aún más, el S9 utiliza software adicional (seguimiento facial y tecnología Blend Shape de Samsung) para proporcionar expresiones faciales para el AR Emoji.

Luego te quedas con una versión de ti mismo similar a una caricatura que puede expresar 18 expresiones diferentes, que Samsung planea expandir lentamente a 54, que van desde alegría y placer hasta tristeza y enojo. Todos los datos también son locales del dispositivo y no se almacenan en ningún otro lugar.

Ambas trabajan juntas, la tecnología de seguimiento facial rastrea más de 100 rasgos faciales en tiempo real (como guiños o sonrisas) para capturar emociones individuales, mientras que Blend Shape ayuda a brindar una mayor variedad de ellas, que combina expresiones basadas en 75 emociones humanas básicas. rasgos faciales. Samsung dice que para Blend Shape realizó al menos 100 pruebas semanales en sus laboratorios para asegurarse de que haya suficientes datos que atraigan a sus usuarios. (Blend Shape también se utiliza para crear sus Disney AR Emojis, como Mickey y Minnie Mouse).

en nuestro propio Prueba de AR Emoji, la mayoría de nosotros sentimos que nuestros personajes parecían extremadamente inexactos. Un escritor sintió que faltaban opciones de tonos de piel disponibles, y no había tonos de piel oscuros para elegir. Otros sintieron que su AR Emoji no se parecía en nada a ellos, lo que hizo que editar el avatar pareciera más una tarea ardua que una tarea agradable.

Según Loom.ai, la creación de un AR Emoji preciso depende en gran medida de la forma en que se toma la selfie. Los usuarios deben tomar la foto de la misma manera que tomarían una foto de pasaporte. "Quieres una iluminación uniforme, nada que cubra tu rostro y una expresión neutra para que podamos agregar las expresiones más tarde", explicó Ramasubramanian. "Es cuestión de que la gente se acostumbre un poco y luego vea las posibilidades de animarlo y utilizarlo".

Ramasubramanian también dijo que los usuarios deberían tratarlo como lo harían cuando se toman cualquier selfie, es decir, puedes tomar toneladas de fotos hasta que estés satisfecho con la foto. Dado que AR Emoji te permite crear múltiples avatares, puedes compararlos para encontrar el que más te guste. Cada uno que creas también se guarda en tu teléfono, por lo que puedes cambiar la versión que usas según tu estado de ánimo.

La última actualización de AR Emoji incluye peinados adicionales, sombreros como un hijab y otras opciones. La actualización se está implementando actualmente en versiones desbloqueadas del samsung galaxy s9 y S9 Plus en Corea, China y Europa. Los dispositivos de operadores europeos y los dispositivos desbloqueados de EE. UU. deberían tener la actualización disponible para descargar esta semana. La actualización para los dispositivos de los operadores de EE. UU. se implementará en las próximas semanas. Samsung dice que AR Emoji continuará evolucionando en el futuro, pero por ahora se mantiene callado sobre los detalles exactos.

Recomendaciones de los editores

• Samsung nos acaba de dar 3 grandes avances del Galaxy Unpacked
• El último teléfono Android de Asus podría ser una gran amenaza para el Galaxy S23 Ultra
• Aquí está nuestro primer vistazo al Samsung Galaxy Tab S9 Plus
• Es posible que Samsung haya matado al Galaxy S10
• El Galaxy Tab S9 de Samsung puede tener una característica que el iPad nunca ha tenido