Her er hvordan Facebook lærte sin Portal A.I. å tenke som en Hollywood-filmskaper

Da Mark Zuckerberg bygde den første versjonen av Facebook på studenthjemmet sitt på Harvard, så han for seg det som et vindu som ville tillate folk å se inn på livene til andre brukere. Hvis Google var en søkemotor for informasjon, var Facebook derimot en søkemotor for folk. Femten år senere har Facebook tatt denne ambisjonen til neste nivå. Ved å lage Portal og Portal+, serien med skjermforbedrede smarthøyttalere, lansert i november 2018, sosiale medier-giganten har etablert et langt mer bokstavelig vindu, som lar Facebook-brukere foreta videosamtaler til en en annen.

Portal-smarthøyttalerne bokstaveliggjør en annen Facebook drøm også. Der Facebook i hovedsak var en søkemotor for mennesker, Portal faktisk gjør søk etter dem: med et 12-megapiksel kamera, med et 140-graders synsfelt, som følger deg rundt i rommet for å se hva du gjør. Som digitale trender legg det inn i vår anmeldelse

, "hvis du er opptatt med å bevege deg på kjøkkenet mens du spør bestemor hvordan du lager de berømte kjøttbollene hennes, kan du holde deg opptatt mens du lytter til hennes samtale."

Hva er egentlig den smarte teknologien som driver Portal? Og hvordan tror Facebook at det har tatt utfordringen med å få vanlig videochat til å føles like personlig som å sette seg ned for en ekte samtale? Svaret involverer litt imponerende kunstig intelligens - og en ekstra menneskelig touch.

Gjør kameraer smartere

Helt fra starten visste Facebook at kjernen i portalopplevelsen ville være det såkalte "Smart Camera"-systemet. Ideen med Smart Camera var å gå utover den typen statiske bilder som tjenester som Skype har tilbudt oss i årevis, og å spille en mer kreativ rolle i prosessen. Akkurat som en filmregissør eller kinematograf vet når de skal bruke et vidbilde eller når de skal zoome inn for et intimt nærbilde, så Facebook utfordret ingeniørene til å imitere den samme evnen med Portal.

For å gi dette kameraet den nødvendige menneskelige berøringen, jobbet Facebook sammen med filmskapere for å finne ut den beste måten å destillere sin visdom til maskinlærbar innsikt. I ett tilfelle ba den dem demonstrere hvordan de kunne filme en scene der det var umulig å fange all relevant informasjon fra én fast vinkel.

I en annen så Facebook-ingeniører på de forskjellige fotografiske elementene som kameraoperatører prioriterer i portrett- og landskapsbilder. Disse observasjonene dannet grunnlaget for programvaremodeller som forsøker å gjennomsyre Portal med noen av beslutningsegenskapene vi normalt vil tilskrive menneskelig kreativitet.

"Vi ønsket å skape en håndfri videosamtaleropplevelse som fjerner følelsen av fysisk avstand og er mer som å henge sammen,» forklarte Eric Hwang, en av ingeniørene bak Portal, til Digital Trends.

Det resulterende systemet - som Facebook sier tok det "under to år" å lage fra bunnen av - lar Portal ta beslutninger designet for å forbedre flyten i en samtale. I en nylig publisert blogginnlegg, den beskriver noen av illustrasjonene av hvorfor dette kan være nødvendig. For eksempel, hvis du er i et overfylt rom, fullt av mennesker som samhandler med hverandre, må den velge når den skal følge en person ut av rammen eller når den skal zoome ut for å imøtekomme nye motiver.

På samme måte må den lære å håndtere skiftende lyssituasjoner i sanntid. Hva gjør du hvis motivet ditt ligger nede i et mørkt rom, halvt dekket av et teppe, men det er barn som løper rundt i bakgrunnen og forårsaker bevegelsesuskarphet? Portal veier all denne informasjonen på mindre enn et øyeblikk og prøver å finne det beste resultatet. (Hvis du vil manuelt kontrollere hvem det fokuserer på, det er nå mulig også.)

Tekniske utfordringer

Fra et teknisk perspektiv er det et par ting som gjør Portals teknologi imponerende. Den første er at den kan gjøre alt dette uten bruk av et faktisk bevegelig kamera. Tidlig i utviklingsprosessen prøvde Portals ingeniører ut prototyper som brukte et motorisert kamera, som svingte for å møte motiver. Dette ble imidlertid avgjort på bakgrunn av at det forårsaket et etterslep og et punkt med potensiell mekanisk feil. I stedet består Portal av et ekstremt vidvinkelobjektiv der alle bevegelses- og redigeringsavgjørelser tas helt digitalt.

For det andre fant teamet som jobbet på Portal en måte å oppnå sine beslutningsprosesser uten å måtte stole på cloud computing. I følge Hwang oppnås den beregningsmessige ildkraften i enheten.

"Å fange alle i en videoramme er ikke et vanskelig ingeniørproblem, siden mange ingeniører kan gjøre det med dagens fremskritt med datasyn," sa han. "Innovasjonen er å fange opp de relevante personene eller personene i sanntid, på enheten, ved å bruke bare den lille mobilbrikken inne i Portal som prosessorkraft. Vanligvis er disse typene A.I. oppgaver krever dedikerte, store servere. [Vi] overvant hindringen ved å komprimere komplekse datasynsmodeller til de kunne passe på brikken vi bruker for Portal og fortsatt kjøre nøyaktig og pålitelig.»

For å gjøre dette, trekker Portal på Facebooks langsiktige investering i kunstig intelligens. Den bruker et 2D-posisjonsdeteksjonssystem som kjører med 30 bilder per sekund. Intensjonaliteten til disse stillingene hjelper Portal til å ta kontinuerlige beslutninger om hva motivene gjør – og når den kan trenge digital panorering eller zooming som et resultat. Den bruker i tillegg forskning på dybdekameraer utviklet av Facebook Reality Labs som en del av sosiale mediegigantens virtuelle virkelighetsarbeid.

Et voksende marked

Facebook er overbevist om at det er en vinner med Portal. Det er lett å se hvor selvtilliten kommer fra. Akkurat nå blomstrer markedet for smarthøyttalere. Selv om det i stor grad domineres av markedsleder Amazon, er det det vokser med mer enn 100 prosent fra år til år. Det er gode nyheter for teknologiselskaper som leter etter den neste store tingen i en tid med utflating smarttelefon salg.

Mens Facebook var den siste av de fire store teknologigigantene (Amazon, Alphabet, Facebook og Apple) for å hoppe på vognen, er det fortsatt en av de første bølge av smarthøyttalere sentrert rundt skjermen som en kommunikasjonsenhet.

"Portal er det eneste produktet av sitt slag på markedet," sa Hwang. "I dag er smarthøyttalere og skjermer bygget rundt informasjon og handel. Portalen er bygget for å gjøre det lettere å få kontakt med menneskene som betyr mest: våre nærmeste venner og familie. Og Portal er fokusert på å koble sammen mennesker – en del av Facebooks oppdrag – som for øyeblikket ikke betjenes godt av markedet for hjemmeenheter.»

Personvernutfordringer fremover?

Så hva er det som stopper Facebook? Vel, potensielt personvern. Brukere har vist seg overraskende villige til å omfavne "alltid lyttende" gadgets fra selskaper som Google med en egeninteresse i brukerdata. Men en enhet som både ser på og lytter til deg er fortsatt mer invasiv. Videre lider Facebooks rykte fortsatt etter fjorårets Cambridge Analytica-skandale.

Bare dager før denne artikkelen ble publisert, var Washington Post rapportert at Facebook forhandler om et rekordstort oppgjør på flere milliarder dollar med FTC for sine personvernforseelser. Med et økende tilbakeslag fra mange tidligere brukere, er det ennå ikke avslørt om Facebook har en Amazon Echo-stil hit på hendene - eller en Amazon Fire Phone-stil flopp.

Facebook forsikret oss om at de ikke lytter til, ser på eller beholder innholdet i portalvideosamtaler, som i tillegg er kryptert for å unngå avlytting. Det faktum at Portals A.I. smarts kjører lokalt på enheten, og ikke på Facebook servere, betyr også at denne informasjonen ikke forlater hjemmet ditt. Talekommandoer sendes til selskapet først etter at du sier «Hei portal», og brukere kan når som helst slette taleloggen sin i Facebooks aktivitetslogg.

Men det er ingen vei utenom det faktum at det fortsatt foregår en viss grad av datainnsamling. «Selv om vi ikke lytter til, ser på eller beholder innholdet i portalvideosamtalene dine, eller bruker denne informasjonen til å målrette annonser, behandle noe informasjon om enhetsbruk for å forstå hvordan Portal brukes og for å forbedre produktet», bemerker Facebook. (Portalens personvernpolicy kan leses her.)

Portal tilbyr veldig smart teknologi med enorme implikasjoner for fremtiden til videochat. Det er ingen tvil om at selskapet har klart å få til noe veldig imponerende fra et teknologisk synspunkt. Men om det kan overbevise potensielle kunder om at dette er en løsning de trenger i livet, vil til syvende og sist vise seg å være den virkelige prestasjonen.

Redaktørenes anbefalinger

• Les den uhyggelig vakre 'syntetiske skriften' til en A.I. som tror det er Gud
• Språksupermodell: Hvordan GPT-3 stille innleder A.I. revolusjon
• Vi brukte en A.I. designverktøy for å komme opp med en ny logo. Her er hva som skjedde
• Nevro-symbolsk A.I. er fremtiden for kunstig intelligens. Slik fungerer det
• Revisiting the rise of A.I.: Hvor langt har kunstig intelligens kommet siden 2010?