Así es como Facebook enseñó a su Portal A.I. Pensar como un cineasta de Hollywood.

Cuando Mark Zuckerberg construyó la primera versión de Facebook en su dormitorio universitario en Harvard, la imaginó como una ventana que permitiría a las personas ver las vidas de otros usuarios. Si Google era un motor de búsqueda de información, Facebook, por el contrario, era un motor de búsqueda de personas. Quince años después, Facebook ha llevado esta ambición al siguiente nivel. Al crear Portal y Portal+, su línea de parlantes inteligentes con pantalla mejorada, lanzada en noviembre de 2018, la El gigante de las redes sociales ha establecido una ventana mucho más literal, permitiendo a los usuarios de Facebook realizar videollamadas a uno otro.

Los altavoces inteligentes Portal literalizan otro Facebook soñar también. Mientras que Facebook era, en esencia, un motor de búsqueda de personas, Portal en realidad hace Búscalos: con una cámara móvil de 12 megapíxeles, con un campo de visión de 140 grados, que te sigue por la habitación para ver lo que estás haciendo. Como tendencias digitales

ponlo en nuestra reseña, “si estás ocupado moviéndose por la cocina mientras le preguntas a la abuela cómo hacer sus famosas albóndigas, puedes mantenerte ocupado mientras la escuchas hablar”.

¿Cuál es exactamente la tecnología inteligente que impulsa Portal? ¿Y cómo cree Facebook que ha superado el desafío de hacer que un chat de vídeo normal se sienta tan personal como sentarse a tener una conversación real? La respuesta implica una inteligencia artificial impresionante y un toque humano añadido.

Hacer que las cámaras sean más inteligentes

Desde el principio, Facebook supo que el núcleo de su experiencia Portal sería el llamado sistema de “cámara inteligente”. La idea de la Smart Camera era ir más allá del tipo de toma estática que servicios como Skype nos ofrecen desde hace años y desempeñar un papel más creativo en el proceso. Así como un director de cine o un director de fotografía sabe cuándo emplear una toma amplia o cuándo hacer un acercamiento para un primer plano íntimo, así Facebook retó a sus ingenieros a imitar esta misma habilidad con Portal.

Para darle a esta cámara el toque humano necesario, Facebook trabajó con cineastas para encontrar la mejor manera de destilar su sabiduría en conocimientos que se puedan aprender automáticamente. En un caso, les pidió que demostraran cómo podrían filmar una escena en la que fuera imposible capturar toda la información relevante desde un ángulo fijo.

En otro, los ingenieros de Facebook observaron los diferentes elementos fotográficos que los operadores de cámara priorizan en tomas de retratos y paisajes. Estas observaciones formaron la base de modelos de software que intentan dotar a Portal de algunas de las peculiaridades de la toma de decisiones que normalmente atribuiríamos a la creatividad humana.

"Queríamos crear una experiencia de videollamadas con manos libres que elimine la sensación de distancia física y sea más como pasar el rato juntos”, explicó a Digital Trends Eric Hwang, uno de los ingenieros detrás de Portal.

El sistema resultante, que según Facebook tardó “menos de dos años” en crearse desde cero, permite a Portal tomar decisiones diseñadas para mejorar el flujo de una conversación. en un entrada de blog recién publicada, detalla algunas de las ilustraciones de por qué esto podría ser necesario. Por ejemplo, si estás en una habitación llena de gente interactuando entre sí, debes elegir cuándo seguir a un individuo fuera del encuadre o cuándo alejarte para dar cabida a nuevos sujetos.

Del mismo modo, debe aprender a afrontar situaciones de iluminación cambiantes en tiempo real. ¿Qué haces si el sujeto está acostado en una habitación oscura, medio cubierto por una manta, pero hay niños corriendo en el fondo provocando un desenfoque de movimiento? Portal sopesa toda esta información en menos de un abrir y cerrar de ojos e intenta determinar el mejor resultado. (Si deseas controlar manualmente en quién se enfoca, eso ahora también es posible.)

Desafíos técnicos

Desde una perspectiva técnica, un par de cosas hacen que la tecnología de Portal sea impresionante. La primera es que puede hacer todo esto sin el uso de una cámara en movimiento real. Al principio del proceso de desarrollo, los ingenieros de Portal probaron prototipos que utilizaban una cámara motorizada que giraba para mirar a los sujetos. Sin embargo, se decidió no hacerlo porque causaba un retraso y un punto de posible falla mecánica. En cambio, Portal comprende una lente extremadamente gran angular en la que todas las decisiones de movimiento y edición se toman de forma totalmente digital.

En segundo lugar, el equipo que trabajó en Portal encontró una manera de lograr sus procesos de toma de decisiones sin tener que depender de la computación en la nube. Según Hwang, toda la potencia computacional se logra en el dispositivo.

"Capturar a todos en un cuadro de vídeo no es un problema de ingeniería difícil, ya que muchos ingenieros pueden hacerlo con los avances actuales en visión por computadora", dijo. “La innovación está en capturar a las personas relevantes en tiempo real, en el dispositivo, utilizando solo el pequeño chip móvil dentro de Portal como potencia de procesamiento. Por lo general, estos tipos de A.I. Las tareas requieren servidores grandes y dedicados. [Nosotros] superamos ese obstáculo comprimiendo modelos complejos de visión por computadora hasta que pudieran caber en el chip que usamos para Portal y seguir funcionando de manera precisa y confiable”.

Para ello, Portal recurre a la inversión a largo plazo de Facebook en inteligencia artificial. Utiliza un sistema de detección de pose 2D que funciona a 30 fotogramas por segundo. La intencionalidad de estas poses ayuda a Portal a tomar decisiones continuas sobre lo que están haciendo sus sujetos y, como resultado, cuándo podría necesitar realizar una panorámica o un zoom digital. También utiliza la investigación sobre cámaras de profundidad desarrolladas por Facebook Reality Labs como parte de los esfuerzos de realidad virtual del gigante de las redes sociales.

Un mercado en crecimiento

Facebook está convencido de que con Portal ha salido ganador. Es fácil ver de dónde viene su confianza. En este momento, el mercado de los altavoces inteligentes está en auge. Aunque está dominada en gran medida por el líder del mercado Amazon, es creciendo a más del 100 por ciento interanual. Esta es una buena noticia para las empresas de tecnología que buscan el próximo gran avance en un momento de aplanamiento. teléfono inteligente ventas.

Si bien Facebook fue el último de los cuatro grandes gigantes tecnológicos (Amazon, Alphabet, Facebook y Apple) para subirse al carro, todavía es uno de los primeros ola de parlantes inteligentes centrados alrededor de la pantalla como dispositivo de comunicación.

"Portal es el único producto de este tipo en el mercado", afirmó Hwang. “Hoy en día, los altavoces y pantallas inteligentes se basan en la información y el comercio. Portal está diseñado para facilitar la conexión con las personas que más importan: nuestros amigos y familiares más cercanos. Y Portal se centra en conectar a las personas, parte de la misión de Facebook, algo que actualmente no es bien atendido en el mercado de dispositivos domésticos”.

¿Desafíos de privacidad por delante?

Entonces, ¿qué impide que Facebook deje de funcionar? Bueno, potencialmente privacidad. Los usuarios han demostrado sorprendentemente estar dispuestos a adoptar dispositivos de “siempre escuchando” de empresas como Google con un gran interés en los datos de los usuarios. Pero un dispositivo que te observa y escucha es aún más invasivo. Además, la reputación de Facebook sigue sufriendo tras El escándalo de Cambridge Analytica del año pasado.

Apenas unos días antes de que se publicara este mismo artículo, el El Correo de Washington reportado que Facebook está negociando un acuerdo récord de miles de millones de dólares con la FTC por sus delitos menores contra la privacidad. Con una creciente reacción de muchos antiguos usuarios, aún no se ha revelado si Facebook tiene un éxito al estilo Amazon Echo en sus manos, o un fracaso al estilo Amazon Fire Phone.

Facebook nos aseguró que no escucha, ve ni guarda el contenido de las videollamadas del Portal, que además están encriptados para evitar escuchas ilegales. El hecho de que la A.I. de Portal. La inteligencia se ejecuta localmente en el dispositivo y no en Facebook servidores, también significa que esta información no sale de tu casa. Los comandos de voz se envían a la empresa sólo después de decir "Hola Portal" y los usuarios pueden eliminar su historial de voz en el Registro de actividad de Facebook en cualquier momento.

Pero no se puede eludir el hecho de que todavía se está recopilando cierto grado de datos. “Si bien no escuchamos, vemos ni conservamos el contenido de sus videollamadas del Portal, ni utilizamos esta información para orientar anuncios, sí Procesamos cierta información de uso del dispositivo para comprender cómo se utiliza Portal y mejorar el producto”, señala Facebook. (Política de privacidad del portal se puede leer aquí.)

Portal ofrece una tecnología muy inteligente con enormes implicaciones para el futuro del video chat. No hay duda de que la empresa ha logrado lograr algo muy impresionante desde el punto de vista tecnológico. Pero, en última instancia, el verdadero logro será si logra convencer a los clientes potenciales de que esta es la solución que necesitan en sus vidas.

Recomendaciones de los editores

• Lea la inquietantemente hermosa "escritura sintética" de una IA. que piensa que es dios
• Supermodelo del lenguaje: cómo GPT-3 está marcando el comienzo silenciosamente de la inteligencia artificial revolución
• Usamos una A.I. herramienta de diseño para crear un nuevo logotipo. Esto es lo que pasó
• IA neurosimbólica es el futuro de la inteligencia artificial. Así es como funciona
• Revisando el auge de la IA: ¿Hasta dónde ha llegado la inteligencia artificial desde 2010?