Veja como o Facebook ensinou seu Portal AI. pensar como um cineasta de Hollywood

Quando Mark Zuckerberg construiu a primeira versão do Facebook em seu dormitório universitário em Harvard, ele o imaginou como uma janela que permitiria às pessoas observar a vida de outros usuários. Se o Google era um mecanismo de busca de informações, o Facebook, por outro lado, era um mecanismo de busca de pessoas. Quinze anos depois, o Facebook elevou esta ambição ao próximo nível. Ao criar Portal e Portal+, sua linha de alto-falantes inteligentes com tela aprimorada, lançada em novembro de 2018, a gigante da mídia social estabeleceu uma janela muito mais literal, permitindo que os usuários do Facebook façam chamadas de vídeo para um outro.

Os alto-falantes inteligentes do Portal literalizam outra Facebook sonhe também. Enquanto o Facebook era, em essência, um mecanismo de busca de pessoas, o Portal na verdade faz procure-os: com uma câmera itinerante de 12 megapixels, com um campo de visão de 140 graus, que segue você pela sala para ver o que você está fazendo. Como tendências digitais

coloque em nossa análise, “se você está ocupado andando pela cozinha enquanto pergunta à vovó como fazer suas famosas almôndegas, você pode se manter ocupado enquanto a ouve falar”.

Qual é exatamente a tecnologia inteligente que impulsiona o Portal? E como o Facebook acha que superou o desafio de fazer com que o bate-papo por vídeo normal pareça tão pessoal quanto sentar para uma conversa real? A resposta envolve alguma inteligência artificial impressionante – e um toque humano adicional.

Tornando as câmeras mais inteligentes

Desde o início, o Facebook sabia que o núcleo da experiência do Portal seria o chamado sistema “Smart Camera”. A ideia da Smart Camera era ir além do tipo de imagem estática que serviços como o Skype nos oferecem há anos e desempenhar um papel mais criativo no processo. Assim como um diretor de cinema ou cinegrafista sabe quando utilizar uma tomada ampla ou quando ampliar para um close-up íntimo, também Facebook desafiou seus engenheiros a imitar essa mesma habilidade com o Portal.

Para dar a esta câmera o toque humano necessário, o Facebook trabalhou com cineastas para descobrir a melhor maneira de destilar sua sabedoria em insights que podem ser aprendidos por máquinas. Num caso, pediu-lhes que demonstrassem como poderiam filmar uma cena em que era impossível capturar toda a informação relevante a partir de um ângulo fixo.

Em outro, os engenheiros do Facebook analisaram os diferentes elementos fotográficos que os operadores de câmera priorizam em fotos de retratos e paisagens. Estas observações formaram a base de modelos de software que tentam imbuir o Portal de algumas das peculiaridades de tomada de decisão que normalmente atribuiríamos à criatividade humana.

“Queríamos criar uma experiência de videochamada viva-voz que eliminasse a sensação de distância física e fosse é mais como sair juntos”, explicou Eric Hwang, um dos engenheiros por trás do Portal, ao Digital Trends.

O sistema resultante – que o Facebook diz ter levado “menos de dois anos” para ser criado do zero – permite que o Portal tome decisões destinadas a melhorar o fluxo de uma conversa. Em um postagem de blog recém-publicada, ele detalha algumas das ilustrações de por que isso pode ser necessário. Por exemplo, se você estiver em uma sala lotada, cheia de pessoas interagindo entre si, ele deverá escolher quando seguir um indivíduo fora do quadro ou quando diminuir o zoom para acomodar novos assuntos.

Da mesma forma, deve aprender a lidar com situações de mudança de luz em tempo real. O que você faz se o objeto estiver deitado em um quarto escuro, meio coberto por um cobertor, mas houver crianças correndo ao fundo, causando desfoque de movimento? Portal pesa todas essas informações em menos de um piscar de olhos e tenta determinar o melhor resultado. (Se você quiser controlar manualmente em quem ele se concentra, agora isso também é possível.)

Desafios técnicos

Do ponto de vista técnico, algumas coisas tornam a tecnologia do Portal impressionante. A primeira é que ele pode fazer tudo isso sem o uso de uma câmera em movimento real. No início do processo de desenvolvimento, os engenheiros do Portal testaram protótipos que usavam uma câmera motorizada, que girava para ficar de frente para os sujeitos. No entanto, isto foi decidido contra o facto de causar um atraso e um ponto de potencial falha mecânica. Em vez disso, o Portal compreende uma lente extremamente grande angular na qual todas as decisões de movimento e edição são feitas inteiramente digitalmente.

Em segundo lugar, a equipe que trabalha no Portal encontrou uma maneira de realizar seus processos de tomada de decisão sem precisar depender da computação em nuvem. De acordo com Hwang, todo o poder de fogo computacional é alcançado no dispositivo.

“Capturar todos em um quadro de vídeo não é um problema difícil de engenharia, pois muitos engenheiros podem fazer isso com os avanços atuais da visão computacional”, disse ele. “A inovação está em capturar as pessoas ou pessoas relevantes em tempo real, no dispositivo, usando apenas o pequeno chip móvel dentro do Portal como poder de processamento. Normalmente, esses tipos de IA. as tarefas exigem servidores grandes e dedicados. [Nós] superamos esse obstáculo comprimindo modelos complexos de visão computacional até que eles pudessem caber no chip que usamos para o Portal e ainda funcionar com precisão e confiabilidade.”

Para fazer isso, o Portal baseia-se no investimento de longo prazo do Facebook em inteligência artificial. Ele usa um sistema de detecção de pose 2D que funciona a 30 quadros por segundo. A intencionalidade dessas poses ajuda o Portal a tomar decisões contínuas sobre o que seus assuntos estão fazendo – e quando pode ser necessário fazer panorâmica ou zoom digital como resultado. Além disso, utiliza pesquisas em câmeras de profundidade desenvolvidas pelo Facebook Reality Labs como parte dos esforços de realidade virtual do gigante da mídia social.

Um mercado em crescimento

O Facebook está convencido de que é um vencedor com o Portal. É fácil ver de onde vem sua confiança. No momento, o mercado de alto-falantes inteligentes está crescendo. Embora amplamente dominado pela líder de mercado Amazon, é crescendo mais de 100 por cento ano a ano. Essa é uma boa notícia para as empresas de tecnologia que buscam o próximo grande sucesso em um momento de estagnação Smartphone vendas.

Embora o Facebook tenha sido o último dos quatro grandes gigantes da tecnologia (Amazon, Alphabet, Facebook e Apple) para entrar no movimento, ainda é um dos primeiros onda de alto-falantes inteligentes centralizados na tela como um dispositivo de comunicação.

“O Portal é o único produto desse tipo no mercado”, disse Hwang. “Hoje, alto-falantes e telas inteligentes são construídos em torno da informação e do comércio. O Portal foi criado para facilitar a conexão com as pessoas mais importantes: nossos amigos e familiares mais próximos. E o Portal está focado em conectar pessoas – parte da missão do Facebook – o que atualmente não é bem atendido pelo mercado de dispositivos domésticos.”

Desafios de privacidade futuros?

Então, o que está impedindo o Facebook? Bem, potencialmente privacidade. Os usuários mostraram-se surpreendentemente dispostos a adotar gadgets “sempre atentos” de empresas como o Google, com interesse nos dados do usuário. Mas um dispositivo que observa e ouve você é ainda mais invasivo. Além disso, a reputação do Facebook ainda está sofrendo depois escândalo Cambridge Analytica do ano passado.

Poucos dias antes da publicação deste mesmo artigo, o Washington Post relatado que o Facebook está negociando um acordo multibilionário e recorde com a FTC por suas infrações de privacidade. Com uma reação crescente de muitos ex-usuários, ainda não foi revelado se Facebook tem um sucesso no estilo Amazon Echo em mãos – ou um fracasso no estilo Amazon Fire Phone.

O Facebook garantiu-nos que não ouve, visualiza ou guarda o conteúdo das videochamadas do Portal, que são adicionalmente encriptadas para evitar escutas. O fato de a IA do Portal. smarts é executado localmente no dispositivo e não em Facebook servidores, também significa que essas informações não saem de sua casa. Os comandos de voz são enviados para a empresa somente depois que você diz “Ei, Portal”, e os usuários podem excluir seu histórico de voz no registro de atividades do Facebook a qualquer momento.

Mas não há como negar o fato de que ainda há um certo grau de coleta de dados. “Embora não ouçamos, visualizemos ou guardemos o conteúdo das videochamadas do seu Portal, ou usemos essas informações para direcionar anúncios, nós processamos algumas informações de uso do dispositivo para entender como o Portal está sendo usado e para melhorar o produto”, observa o Facebook. (Política de privacidade do Portal pode ser lido aqui.)

O Portal oferece algumas tecnologias muito inteligentes com enormes implicações para o futuro do chat de vídeo. Não há dúvida de que a empresa conseguiu realizar algo muito impressionante do ponto de vista tecnológico. Mas conseguir convencer os potenciais clientes de que esta é uma solução de que necessitam nas suas vidas será, em última análise, uma verdadeira conquista.

Recomendações dos Editores

• Leia a estranhamente bela “escritura sintética” de uma IA. que pensa que é Deus
• Supermodelo de linguagem: como o GPT-3 está silenciosamente inaugurando a IA. revolução
• Usamos uma IA. ferramenta de design para criar um novo logotipo. Aqui está o que aconteceu
• IA neuro-simbólica é o futuro da inteligência artificial. É assim que funciona
• Revisitando a ascensão da IA: Até onde avançou a inteligência artificial desde 2010?