Como a Samsung deu vida aos emojis AR no Galaxy S9

Incorporado no Samsung Galaxy S9 aplicativo de câmera, Emoji de RA permite que você use a câmera frontal para criar e enviar avatares de desenhos animados digitais. Semelhante ao da Apple Animojis Conceitualmente, AR Emoji captura seus movimentos faciais e os espelha na forma de um personagem ou animal. Mas com o recurso “Create My Emoji”, você também pode criar um de você mesmo simplesmente tirando uma selfie – permitindo escolher tom de pele, roupa, penteado, cor de cabelo e óculos.

Com AR Emoji, a Samsung decidiu resolver o que considera um problema – encontrar uma maneira de substituir os emojis existentes por outros interativos. A empresa queria fazer isso de uma forma simples, fornecendo aos usuários as ferramentas certas para capturar emoções, mas ainda permitiu que eles compartilhassem facilmente o resultado em uma variedade de mensagens plataformas.

Então, como a Samsung criou seus AR Emojis? Para começar, foi direto para os especialistas em animação 3D que deram vida a alguns dos personagens mais populares de Hollywood.

Da tela grande à câmera do smartphone

Para potencializar o novo recurso, a Samsung colaborou com Tear.ai — uma startup com sede em São Francisco especializada em animação 3D. O software da empresa permite aos usuários criar avatares 3D totalmente personalizados e personalizáveis ​​a partir de uma única fotografia, sem hardware personalizado ou sensores de profundidade. Por meio de uma parceria e de um kit de desenvolvimento de software (SDK), a Samsung combinou a tecnologia Loom.ai com a tecnologia de câmera do S9 (realidade aumentada e reconhecimento facial) para tornar possível AR Emoji personalizado.

A visão por trás do Loom.ai começou com filmes – desenhos animados e super-heróis, para ser exato. Tendo trabalhado anteriormente em empresas populares de efeitos visuais como DreamWorks e Lucasfilm, os fundadores da Loom.ai –Mahesh Ramasubramanian e Kiran Bhat – ajudaram a trazer personagens conhecidos, como Shrek e o Hulk, para o grande tela.

Para injetar personalidade nesses personagens, eles usaram tecnologia de captura de performance para incorporar os atores que os interpretavam – gravando os movimentos do ator, não sua aparência visual. Mas depois de ver como o público do cinema reagiu às suas criações em 3D, Ramasubramanian e Bhat decidiram levar essa tecnologia adiante - além de Hollywood - iniciando o Loom.ai, que se concentra em smartphones.

“As pessoas reagem instantaneamente ao fato de esses personagens ganharem vida quando são conduzidos por atores humanos”, disse Ramasubramanian, que atua como CEO e cofundador, à Digital Trends. “Começamos o Loom.ai com o objetivo de encontrar uma maneira fácil para que cada indivíduo possa se ver em 3D e, para isso, tivemos que construir uma nova tecnologia.”

Com longas-metragens, criar um avatar 3D requer toneladas de equipamentos – hardware e software caros, maquiagem e ambiente de estúdio. Mas Loom.ai encontrou uma maneira de simplificar o processo de captura das características de uma pessoa sem as ferramentas usuais; em vez disso, sua tecnologia patenteada utiliza uma única fotografia e aprendizado profundo para analisar uma imagem. Se uma fotografia não contém expressões faciais, o algoritmo de aprendizagem profunda analisa os pixels e produz automaticamente um rosto que encapsula o movimento muscular correto.

“Quando a parceria com a Samsung surgiu, tivemos a oportunidade de implementar essa tecnologia sofisticada em um dispositivo, que achamos que já é uma tarefa de engenharia bastante atraente por si só”, disse Bhat, CTO e cofundador da Loom.ai, à Digital Tendências. “É um grande salto tecnológico poder levar algumas dessas ideias e aspirações da tela grande e trazê-las para os dispositivos móveis.”

A incorporação dessa tecnologia ao hardware do Galaxy S9 exigiu que o Loom.ai reestruturasse seus algoritmos para poder rodar no aparelho. Mas Loom.ai não criou o AR Emoji sozinho: tanto Ramasubramanian quanto Bhat dão crédito à Samsung por dedicar um esforço tremendo na otimização do software. Ao fornecer o SDK para integração em smartphones, os fundadores do Loom.ai acreditam que a Samsung pode tornar a estrutura muito mais rica adicionando mais conteúdo e opções de personalização no futuro.

Como o Galaxy S9 cria um avatar digital

Então, como exatamente o S9 (e S9 mais) criar Emojis AR? Embora a Samsung não tenha revelado seu segredo, ela deu uma olhada no Digital Trends.

Trabalhando com a tecnologia Loom.ai, a câmera do telefone captura e processa uma imagem 2D em 3D. Para melhorar ainda mais, o S9 usa software adicional – rastreamento facial e tecnologia Blend Shape da Samsung – para fornecer expressões faciais para o AR Emoji.

Você fica então com uma versão de desenho animado que pode expressar 18 expressões diferentes – que a Samsung planeja expandir lentamente para 54 – variando de alegria e prazer a tristeza e raiva. Todos os dados também são locais no dispositivo e não são armazenados em nenhum outro lugar.

Ambas trabalhando juntas, a tecnologia de rastreamento facial rastreia mais de 100 características faciais em tempo real (como piscar ou sorrir) para capturar emoções individuais, enquanto o Blend Shape ajuda a fornecer uma gama maior delas - o que combina expressões com base em 75 humanos básicos características faciais. A Samsung afirma que, para o Blend Shape, realizou pelo menos 100 testes semanais em seus laboratórios, para garantir que haja dados suficientes que atraiam seus usuários. (O Blend Shape também é usado para criar seus Emojis AR da Disney, como Mickey e Minnie Mouse.)

Em nosso próprio Teste de Emoji AR, a maioria de nós sentiu que nossos personagens pareciam extremamente imprecisos. Um escritor sentiu que faltavam opções de tons de pele disponíveis, sem tons de pele escura para escolher. Outros achavam que seu AR Emoji não se parecia em nada com eles, o que fazia com que a edição do avatar parecesse mais uma tarefa árdua do que uma tarefa divertida.

De acordo com Loom.ai, a criação de um AR Emoji preciso depende muito da forma como a selfie é tirada. Os usuários devem tirar a foto da mesma forma que tirariam uma foto para passaporte. “Você quer uma iluminação uniforme, nada cobrindo seu rosto e uma expressão neutra para que possamos adicionar as expressões mais tarde”, explicou Ramasubramanian. “É uma questão de as pessoas se acostumarem um pouco e depois verem as possibilidades de animá-lo e utilizá-lo.”

Ramasubramanian também disse que os usuários devem tratá-lo da mesma forma que fariam ao tirar qualquer selfie – ou seja, você pode tirar toneladas de fotos até ficar satisfeito com elas. Como AR Emoji permite criar vários avatares, você pode compará-los para encontrar o que mais gosta. Cada um que você cria também é salvo em seu telefone, para que você possa mudar a versão usada dependendo do seu humor.

A atualização mais recente do AR Emoji inclui penteados adicionais, chapéus como hijab e outras opções. A atualização está sendo lançada para versões desbloqueadas do Samsung Galaxy S9 e S9 Plus na Coréia, China e Europa. Dispositivos de operadoras europeias e dispositivos desbloqueados nos EUA devem ter a atualização disponível para download esta semana. A atualização para dispositivos de operadoras dos EUA será lançada nas próximas semanas. A Samsung diz que o AR Emoji continuará a evoluir no futuro, mas, por enquanto, permanece calado sobre os detalhes exatos.

Recomendações dos Editores

• A Samsung acaba de nos dar três grandes teasers do Galaxy Unpacked
• O mais recente telefone Android da Asus pode ser uma grande ameaça para o Galaxy S23 Ultra
• Aqui está nossa primeira olhada no Samsung Galaxy Tab S9 Plus
• Samsung pode ter acabado de matar o Galaxy S10
• O Galaxy Tab S9 da Samsung pode ter um recurso que o iPad nunca teve