Ecco come Facebook ha insegnato al suo Portale A.I. pensare come un regista di Hollywood

Quando Mark Zuckerberg costruì la prima versione di Facebook nel dormitorio del suo college ad Harvard, la immaginò come una finestra che permettesse alle persone di guardare la vita degli altri utenti. Se Google era un motore di ricerca di informazioni, Facebook, al contrario, era un motore di ricerca di persone. Quindici anni dopo, Facebook ha portato questa ambizione al livello successivo. Creando Portal e Portal+, la sua linea di altoparlanti intelligenti con schermo, lanciata nel novembre 2018, Il gigante dei social media ha creato una finestra molto più letterale, consentendo agli utenti di Facebook di effettuare videochiamate un altro.

Gli altoparlanti intelligenti del Portale ne letteralizzano un altro Facebook anche sognare. Dove Facebook era, in sostanza, un motore di ricerca per persone, Portal in realtà fa cercali: con una fotocamera mobile da 12 megapixel, che vanta un campo visivo di 140 gradi, che ti segue per la stanza per vedere cosa stai facendo. Come tendenze digitali

inseriscilo nella nostra recensione, "se sei impegnato a muoverti per la cucina mentre chiedi alla nonna come preparare le sue famose polpette, puoi tenerti occupato ascoltandola parlare."

Qual è esattamente la tecnologia intelligente che guida Portal? E come pensa Facebook di aver vinto la sfida di rendere una normale chat video personale quanto sedersi per una vera conversazione? La risposta implica un’intelligenza artificiale impressionante e un tocco umano in più.

Rendere le fotocamere più intelligenti

Facebook sapeva fin dall’inizio che il fulcro dell’esperienza del suo portale sarebbe stato il cosiddetto sistema “Smart Camera”. L'idea della Smart Camera era quella di andare oltre il tipo di ripresa statica che servizi come Skype ci offrono da anni e di svolgere un ruolo più creativo nel processo. Proprio come un regista o un direttore della fotografia sa quando utilizzare un'inquadratura ampia o quando ingrandire per un primo piano intimo, così Facebook ha sfidato i suoi ingegneri a imitare questa stessa capacità con Portal.

Per dare a questa fotocamera il tocco umano necessario, Facebook ha collaborato con i cineasti per trovare il modo migliore di distillare la loro saggezza in intuizioni apprendibili dalle macchine. In un caso, è stato chiesto loro di dimostrare come avrebbero potuto girare una scena in cui era impossibile catturare tutte le informazioni rilevanti da un'angolazione fissa.

In un altro, gli ingegneri di Facebook hanno esaminato i diversi elementi fotografici a cui gli operatori camera danno la priorità negli scatti di ritratto e paesaggio. Queste osservazioni hanno costituito la base di modelli software che tentano di infondere in Portal alcune delle peculiarità decisionali che normalmente attribuiremmo alla creatività umana.

“Volevamo creare un'esperienza di videochiamata a mani libere che eliminasse la sensazione di distanza fisica ed è così è più come uscire insieme", ha spiegato Eric Hwang, uno degli ingegneri dietro Portal, a Digital Trends.

Il sistema risultante – che secondo Facebook ha impiegato “meno di due anni” per creare da zero – consente a Portal di prendere decisioni progettate per migliorare il flusso di una conversazione. In un post del blog appena pubblicato, descrive in dettaglio alcuni esempi del motivo per cui ciò potrebbe essere necessario. Ad esempio, se ti trovi in ​​una stanza affollata, piena di persone che interagiscono tra loro, deve scegliere quando seguire un individuo fuori dall'inquadratura o quando rimpicciolire per accogliere nuovi soggetti.

Allo stesso modo, deve imparare ad affrontare le mutevoli situazioni di luce in tempo reale. Cosa fai se il tuo soggetto è sdraiato in una stanza buia, mezzo coperto da una coperta, ma ci sono bambini che corrono sullo sfondo causando motion blur? Il portale valuta tutte queste informazioni in meno di un batter d'occhio e cerca di determinare il risultato migliore. (Se vuoi controllare manualmente su chi si concentra, anche questo ora è possibile.)

Sfide tecniche

Da un punto di vista tecnico, un paio di cose rendono la tecnologia di Portal impressionante. Il primo è che può fare tutto questo senza l’uso di una vera telecamera in movimento. All’inizio del processo di sviluppo, gli ingegneri di Portal hanno provato prototipi che utilizzavano una telecamera motorizzata, che ruotava per affrontare i soggetti. Tuttavia, questo è stato deciso di non farlo sulla base del fatto che causava un ritardo e un punto di potenziale guasto meccanico. Invece, Portal comprende un obiettivo estremamente grandangolare in cui tutte le decisioni di movimento e modifica vengono prese interamente in modo digitale.

In secondo luogo, il team che lavorava su Portal ha trovato un modo per portare a termine i propri processi decisionali senza dover fare affidamento sul cloud computing. Secondo Hwang, la potenza computazionale è tutta ottenuta all’interno del dispositivo.

"Catturare tutti in un fotogramma video non è un problema ingegneristico difficile, poiché molti ingegneri possono farlo con i progressi odierni della visione artificiale", ha affermato. “L’innovazione sta nel catturare le persone o le persone rilevanti in tempo reale, sul dispositivo, utilizzando solo il piccolo chip mobile all’interno di Portal come potenza di elaborazione. Di solito questi tipi di A.I. le attività richiedono server dedicati e di grandi dimensioni. [Abbiamo] superato questo ostacolo comprimendo modelli complessi di visione artificiale fino a quando non potevano adattarsi al chip che utilizziamo per Portal e continuare a funzionare in modo accurato e affidabile.

Per fare ciò, Portal si avvale degli investimenti a lungo termine di Facebook nell’intelligenza artificiale. Utilizza un sistema di rilevamento della posa 2D che funziona a 30 fotogrammi al secondo. L'intenzionalità di queste pose aiuta Portal a prendere decisioni continue su ciò che stanno facendo i suoi soggetti e, di conseguenza, quando potrebbe essere necessario eseguire la panoramica o lo zoom digitale. Utilizza inoltre la ricerca sulle telecamere di profondità sviluppate da Facebook Reality Labs come parte degli sforzi di realtà virtuale del gigante dei social media.

Un mercato in crescita

Facebook è convinto di aver vinto con Portal. È facile capire da dove viene la sua fiducia. In questo momento, il mercato degli altoparlanti intelligenti è in forte espansione. Sebbene in gran parte dominato dal leader di mercato Amazon, lo è crescendo di oltre il 100% anno su anno. Questa è una buona notizia per le aziende tecnologiche che cercano la prossima grande novità in un momento di appiattimento smartphone saldi.

Mentre Facebook è stato l’ultimo dei quattro grandi giganti della tecnologia (Amazon, Alphabet, Facebook e Apple) per saltare sul carro, è ancora uno dei primi ondata di altoparlanti intelligenti incentrati sullo schermo come dispositivo di comunicazione.

"Portal è l'unico prodotto di questo tipo sul mercato", ha affermato Hwang. “Oggi, gli altoparlanti e i display intelligenti sono costruiti attorno all’informazione e al commercio. Il portale è stato creato per facilitare la connessione con le persone che contano di più: i nostri amici e familiari più cari. E Portal si concentra sulla connessione delle persone – parte della missione di Facebook – che attualmente non è ben servita dal mercato dei dispositivi domestici”.

Sfide sulla privacy future?

Allora cosa impedisce di fermare Facebook? Beh, potenzialmente privacy. Gli utenti si sono dimostrati sorprendentemente disposti ad abbracciare gadget “sempre in ascolto” di aziende come Google con un interesse acquisito per i dati degli utenti. Ma un dispositivo che ti osserva e ti ascolta è ancora più invasivo. Inoltre, la reputazione di Facebook continua a soffrire lo scandalo Cambridge Analytica dello scorso anno.

Pochi giorni prima della pubblicazione di questo stesso articolo, il Washington Post riportato che Facebook sta negoziando un accordo multimiliardario da record con la FTC per i suoi reati sulla privacy. Con una crescente reazione da parte di molti ex utenti, non è ancora stato rivelato se Facebook ha tra le mani un successo in stile Amazon Echo o un flop in stile Amazon Fire Phone.

Facebook ci ha assicurato che non ascolta, visualizza o conserva i contenuti delle videochiamate del Portale, che sono inoltre crittografate per evitare intercettazioni. Il fatto che l’A.I. smarts viene eseguito localmente sul dispositivo e non su Facebook server, significa anche che queste informazioni non escono di casa tua. I comandi vocali vengono inviati all'azienda solo dopo aver detto "Ehi portale" e gli utenti possono eliminare la propria cronologia vocale nel registro delle attività di Facebook in qualsiasi momento.

Ma non si può negare il fatto che è ancora in corso una certa raccolta di dati. "Anche se non ascoltiamo, visualizziamo o conserviamo i contenuti delle vostre videochiamate sul Portale, né utilizziamo queste informazioni per indirizzare gli annunci, noi elaboriamo alcune informazioni sull'utilizzo del dispositivo per capire come viene utilizzato il Portale e per migliorare il prodotto", osserva Facebook. (Informativa sulla privacy del portale può essere letto qui.)

Il portale offre una tecnologia molto intelligente con enormi implicazioni per il futuro della chat video. Non c’è dubbio che l’azienda sia riuscita a realizzare qualcosa di davvero impressionante dal punto di vista tecnologico. Ma se riuscirà a convincere i potenziali clienti che questa è la soluzione di cui hanno bisogno nella loro vita, alla fine si rivelerà il vero risultato.

Raccomandazioni degli editori

• Leggi la "scrittura sintetica" stranamente bella di un A.I. che pensa che sia Dio
• Il top model del linguaggio: come GPT-3 sta silenziosamente inaugurando l'A.I. rivoluzione
• Abbiamo utilizzato un'A.I. strumento di progettazione per creare un nuovo logo. Ecco cosa è successo
• L’I.A. Neurosimbolica è il futuro dell'intelligenza artificiale. Ecco come funziona
• Rivisitare l'ascesa dell'intelligenza artificiale: quanta strada ha fatto l'intelligenza artificiale dal 2010?