Voici comment Facebook a enseigné à son Portal A.I. penser comme un cinéaste hollywoodien

Lorsque Mark Zuckerberg a construit la première version de Facebook dans sa résidence universitaire à Harvard, il l'a imaginé comme une fenêtre permettant aux gens de suivre la vie des autres utilisateurs. Si Google était un moteur de recherche d’informations, Facebook, en revanche, était un moteur de recherche de personnes. Quinze ans plus tard, Facebook a porté cette ambition à un niveau supérieur. En créant Portal et Portal+, sa gamme d'enceintes intelligentes avec écran amélioré, lancée en novembre 2018, le le géant des médias sociaux a créé une fenêtre beaucoup plus littérale, permettant aux utilisateurs de Facebook de passer des appels vidéo vers un autre un autre.

Les enceintes intelligentes Portal en littéralisent une autre Facebook rêver aussi. Là où Facebook était, par essence, un moteur de recherche pour les gens, Portal en réalité

fait recherchez-les: avec un appareil photo mobile de 12 mégapixels, doté d'un champ de vision de 140 degrés, qui vous suit dans la pièce pour voir ce que vous faites. Comme tendances numériques mettez-le dans notre revue"Si vous êtes occupé à vous déplacer dans la cuisine en demandant à grand-mère comment faire ses fameuses boulettes de viande, vous pouvez vous occuper en l'écoutant parler."

Quelle est exactement la technologie intelligente qui anime Portal? Et comment Facebook pense-t-il avoir relevé le défi de rendre le chat vidéo régulier aussi personnel que de s'asseoir pour une vraie conversation? La réponse implique une intelligence artificielle impressionnante – et une touche humaine supplémentaire.

Rendre les caméras plus intelligentes

Dès le début, Facebook savait que le cœur de son expérience de portail serait le système dit de « caméra intelligente ». L'idée de la Smart Camera était d'aller au-delà du type de prise de vue statique que des services comme Skype nous proposent depuis des années et de jouer un rôle plus créatif dans le processus. Tout comme un réalisateur ou un directeur de la photographie sait quand utiliser un plan large ou quand zoomer pour un gros plan intime, de même Facebook a mis ses ingénieurs au défi d'imiter cette même capacité avec Portal.

Pour donner à cette caméra la touche humaine nécessaire, Facebook a travaillé avec des cinéastes pour trouver le meilleur moyen de distiller leur sagesse en informations exploitables par machine. Dans un cas, il leur a été demandé de démontrer comment ils pourraient filmer une scène dans laquelle il était impossible de capturer toutes les informations pertinentes sous un angle fixe.

Dans une autre, les ingénieurs de Facebook ont ​​examiné les différents éléments photographiques que les caméramans donnent la priorité aux portraits et aux paysages. Ces observations ont constitué la base de modèles logiciels qui tentent d'imprégner Portal de certaines des bizarreries décisionnelles que nous attribuerions normalement à la créativité humaine.

« Nous voulions créer une expérience d'appel vidéo mains libres qui supprime les sensations de distance physique et qui soit c'est plutôt passer du temps ensemble », a expliqué Eric Hwang, l'un des ingénieurs derrière Portal, à Digital Trends.

Le système qui en résulte – dont la création, selon Facebook, a pris « moins de deux ans » à partir de zéro – permet à Portal de prendre des décisions conçues pour améliorer le flux d’une conversation. Dans un article de blog récemment publié, il détaille certaines des illustrations expliquant pourquoi cela pourrait être nécessaire. Par exemple, si vous vous trouvez dans une pièce bondée, remplie de personnes interagissant les unes avec les autres, l’appareil doit choisir quand suivre un individu hors cadre ou quand effectuer un zoom arrière pour s’adapter à de nouveaux sujets.

De même, il doit apprendre à gérer en temps réel des situations lumineuses changeantes. Que faire si votre sujet est allongé dans une pièce sombre, à moitié recouvert par une couverture, mais qu'il y a des enfants qui courent en arrière-plan provoquant un flou de mouvement? Portal pèse toutes ces informations en moins d’un clin d’œil et tente de déterminer le meilleur résultat. (Si vous souhaitez contrôler manuellement sur qui il se concentre, c'est aussi désormais possible.)

Défis techniques

D’un point de vue technique, plusieurs éléments rendent la technologie de Portal impressionnante. La première est qu’il peut faire tout cela sans utiliser de véritable caméra mobile. Dès le début du processus de développement, les ingénieurs de Portal ont testé des prototypes utilisant une caméra motorisée qui pivotait pour faire face aux sujets. Cependant, cette solution a été refusée au motif que cela provoquait un décalage et un point de défaillance mécanique potentielle. Au lieu de cela, Portal comprend un objectif extrêmement grand angle dans lequel toutes les décisions de mouvement et d'édition sont prises entièrement numériquement.

Deuxièmement, l'équipe travaillant sur Portal a trouvé un moyen de mettre en œuvre ses processus de prise de décision sans avoir recours au cloud computing. Selon Hwang, la puissance de feu informatique est entièrement réalisée dans l’appareil.

"Capturer tout le monde dans une image vidéo n'est pas un problème d'ingénierie difficile, car de nombreux ingénieurs peuvent le faire grâce aux progrès actuels de la vision par ordinateur", a-t-il déclaré. « L'innovation réside dans la capture des personnes ou personnes concernées en temps réel, sur l'appareil, en utilisant uniquement la petite puce mobile à l'intérieur de Portal comme puissance de traitement. Habituellement, ces types d’IA. les tâches nécessitent de grands serveurs dédiés. [Nous] avons surmonté cet obstacle en compressant des modèles de vision par ordinateur complexes jusqu'à ce qu'ils puissent s'adapter à la puce que nous utilisons pour Portal tout en continuant à fonctionner de manière précise et fiable.

Pour ce faire, Portal s’appuie sur l’investissement à long terme de Facebook dans l’intelligence artificielle. Il utilise un système de détection de pose 2D qui fonctionne à 30 images par seconde. L’intentionnalité de ces poses aide Portal à prendre des décisions continues sur ce que font ses sujets – et quand il pourrait en conséquence avoir besoin d’un panoramique ou d’un zoom numérique. Il utilise également des recherches sur les caméras de profondeur développées par Facebook Reality Labs dans le cadre des efforts de réalité virtuelle du géant des médias sociaux.

Un marché en croissance

Facebook est convaincu d'être gagnant avec Portal. Il est facile de comprendre d’où vient sa confiance. À l’heure actuelle, le marché des enceintes intelligentes est en plein essor. Bien que largement dominé par le leader du marché Amazon, il est une croissance de plus de 100 pour cent par an. C’est une bonne nouvelle pour les entreprises technologiques à la recherche de la prochaine grande nouveauté à une époque d’aplatissement. téléphone intelligent ventes.

Alors que Facebook était le dernier des quatre grands géants de la technologie (Amazon, Alphabet, Facebook et Apple) pour prendre le train en marche, il reste encore l'un des premiers vague de haut-parleurs intelligents centrés autour de l’écran comme moyen de communication.

« Portal est le seul produit de ce type sur le marché », a déclaré Hwang. « Aujourd’hui, les haut-parleurs et écrans intelligents sont construits autour de l’information et du commerce. Portal est conçu pour faciliter la connexion avec les personnes qui comptent le plus: nos amis les plus proches et notre famille. Et Portal se concentre sur la connexion des gens – ce qui fait partie de la mission de Facebook – ce qui n’est actuellement pas bien servi par le marché des appareils domestiques.

Des défis en matière de confidentialité à venir ?

Alors, qu’est-ce qui empêche Facebook d’être arrêté? Eh bien, potentiellement la vie privée. Les utilisateurs se sont montrés étonnamment disposés à adopter les gadgets « toujours à l’écoute » d’entreprises comme Google qui s’intéressent directement aux données des utilisateurs. Mais un appareil qui vous surveille et vous écoute est encore plus invasif. De plus, la réputation de Facebook souffre encore après le scandale Cambridge Analytica de l’année dernière.

Quelques jours seulement avant la publication de cet article, le Washington Post signalé que Facebook négocie un règlement record de plusieurs milliards de dollars avec la FTC pour ses délits en matière de confidentialité. Avec une réaction croissante de la part de nombreux anciens utilisateurs, il n’a pas encore été révélé si Facebook a un succès de style Amazon Echo entre les mains – ou un flop de style Amazon Fire Phone.

Facebook nous a assuré qu'il n'écoute, ne visualise ni ne conserve le contenu des appels vidéo du portail, qui sont en outre cryptés pour éviter les écoutes clandestines. Le fait que l’IA de Portal. les smarts s'exécutent localement sur l'appareil, et non sur Facebook serveurs, signifie également que ces informations ne quittent pas votre domicile. Les commandes vocales sont envoyées à l'entreprise uniquement après que vous ayez dit « Hey Portal », et les utilisateurs peuvent supprimer leur historique vocal dans le journal d'activité de Facebook à tout moment.

Mais il est indéniable qu’un certain degré de collecte de données est encore en cours. "Bien que nous n'écoutions pas, ne visualisions pas ou ne conservions pas le contenu de vos appels vidéo sur le portail, ni n'utilisons ces informations pour cibler des publicités, nous Nous traitons certaines informations sur l'utilisation de l'appareil pour comprendre comment le portail est utilisé et pour améliorer le produit », note Facebook. (Politique de confidentialité du portail peut être lu ici.)

Portal propose une technologie très intelligente avec des implications énormes pour l'avenir du chat vidéo. Il ne fait aucun doute que l’entreprise a réussi à réaliser quelque chose de très impressionnant d’un point de vue technologique. Mais la véritable réussite sera, en fin de compte, la véritable réussite de savoir si elle parviendra à convaincre les clients potentiels qu'il s'agit d'une solution dont ils ont besoin dans leur vie.

Recommandations des rédacteurs

• Lisez les « écritures synthétiques » étrangement belles d’un IA. qui pense que c'est Dieu
• Mannequin du langage: comment GPT-3 inaugure discrètement l'IA. révolution
• Nous avons utilisé une IA. outil de conception pour créer un nouveau logo. Voici ce qui s'est passé
• L'IA neuro-symbolique est l’avenir de l’intelligence artificielle. Voici comment cela fonctionne
• Revisiter l’essor de l’IA: où en est l’intelligence artificielle depuis 2010?