Her er, hvordan Facebook lærte sin Portal A.I. at tænke som en Hollywood-filmskaber

Da Mark Zuckerberg byggede den første version af Facebook i sit kollegieværelse på Harvard, forestillede han sig det som et vindue, der ville give folk mulighed for at se ind i andre brugeres liv. Hvis Google var en søgemaskine til information, så var Facebook derimod en søgemaskine for mennesker. Femten år senere har Facebook taget denne ambition til næste niveau. Ved at skabe Portal og Portal+, dens serie af skærmforbedrede smarthøjttalere, lanceret i november 2018, giganten på sociale medier har etableret et langt mere bogstaveligt vindue, der giver Facebook-brugere mulighed for at foretage videoopkald til en en anden.

Portal smarte højttalere bogstaveligt talt en anden Facebook drøm også. Hvor Facebook i bund og grund var en søgemaskine for mennesker, Portal faktisk gør søg dem ud: med et omstrejfende 12-megapixel kamera, der kan prale af et 140-graders synsfelt, som følger dig rundt i lokalet for at se, hvad du laver. Som digitale trends

læg det i vores anmeldelse, "hvis du har travlt med at bevæge dig rundt i køkkenet, mens du spørger bedstemor, hvordan man laver sine berømte frikadeller, kan du holde dig beskæftiget, mens du lytter til hendes tale."

Hvad er præcis den smarte teknologi, der driver Portal? Og hvordan mener Facebook, at det har løst udfordringen med at få almindelig videochat til at føles lige så personlig som at sidde ned til en rigtig samtale? Svaret involverer noget imponerende kunstig intelligens - og et ekstra menneskeligt præg.

Gør kameraer smartere

Lige fra starten vidste Facebook, at kernen i deres portaloplevelse ville være det såkaldte "Smart Camera"-system. Ideen med Smart Camera var at bevæge sig ud over den slags statiske skud, som tjenester som Skype har tilbudt os i årevis, og at spille en mere kreativ rolle i processen. Ligesom en filminstruktør eller filmfotograf ved, hvornår han skal bruge et bredbillede, eller hvornår man skal zoome ind for et intimt nærbillede, så Facebook udfordrede sine ingeniører til at efterligne den samme evne med Portal.

For at give dette kamera det nødvendige menneskelige præg, arbejdede Facebook sammen med filmskabere for at finde ud af den bedste måde at destillere deres visdom til maskinlærelig indsigt. I et tilfælde bad den dem om at demonstrere, hvordan de kunne optage en scene, hvor det var umuligt at fange al relevant information fra én fast vinkel.

I en anden kiggede Facebooks ingeniører på de forskellige fotografiske elementer, som kameraoperatører prioriterer i portræt- og landskabsbilleder. Disse observationer dannede grundlaget for softwaremodeller, som forsøger at gennemsyre Portal med nogle af de beslutningsmæssige særheder, vi normalt vil tilskrive menneskelig kreativitet.

"Vi ønskede at skabe en håndfri videoopkaldsoplevelse, der fjerner følelsen af ​​fysisk afstand og er mere som at hænge ud sammen,” forklarede Eric Hwang, en af ​​ingeniørerne bag Portal, til Digital Trends.

Det resulterende system - som Facebook siger, tog det "under to år" at skabe fra bunden - giver Portal mulighed for at træffe beslutninger designet til at forbedre flowet af en samtale. I en nyligt offentliggjort blogindlæg, den beskriver nogle af illustrationerne af, hvorfor dette kan være nødvendigt. For eksempel, hvis du er i et fyldt rum, fyldt med mennesker, der interagerer med hinanden, skal det vælge, hvornår det skal følge en person ud af rammen, eller hvornår den skal zoome ud for at rumme nye motiver.

På samme måde skal den lære at håndtere skiftende lyssituationer i realtid. Hvad gør du, hvis dit motiv ligger ned i et mørkt rum, halvt dækket af et tæppe, men der løber børn rundt i baggrunden og forårsager bevægelsessløring? Portal vejer al denne information på mindre end et øjeblik og forsøger at bestemme det bedste resultat. (Hvis du manuelt vil kontrollere, hvem det fokuserer på, det er nu også muligt.)

Tekniske udfordringer

Fra et teknisk perspektiv er der et par ting, der gør Portals teknologi imponerende. Den første er, at den kan gøre alt dette uden brug af et faktisk bevægeligt kamera. Tidligt i udviklingsprocessen afprøvede Portals ingeniører prototyper, der brugte et motoriseret kamera, som drejede for at se motiver. Dette blev dog afvist på baggrund af, at det forårsagede en forsinkelse og et punkt med potentiel mekanisk fejl. I stedet omfatter Portal et ekstremt vidvinkelobjektiv, hvor alle bevægelses- og redigeringsbeslutninger tages helt digitalt.

For det andet fandt teamet, der arbejdede på Portal, en måde at opnå sine beslutningsprocesser på uden at skulle stole på cloud computing. Ifølge Hwang opnås den beregningsmæssige ildkraft alt sammen i enheden.

"At fange alle i en videoramme er ikke et svært teknisk problem, da mange ingeniører kan gøre det med nutidens fremskridt med computersyn," sagde han. "Innovationen går ud på at fange de relevante personer eller personer i realtid, on-device, ved at bruge kun den lille mobile chip inde i Portal som processorkraft. Normalt er disse typer af A.I. opgaver kræver dedikerede, store servere. [Vi] overvandt denne hindring ved at komprimere komplekse computervisionsmodeller, indtil de kunne passe på den chip, vi bruger til Portal, og stadig køre præcist og pålideligt."

For at gøre dette trækker Portal på Facebooks langsigtede investering i kunstig intelligens. Den bruger et 2D-positionsdetektionssystem, som kører med 30 billeder i sekundet. Intentionaliteten i disse positurer hjælper Portal med at træffe løbende beslutninger om, hvad dens emner laver - og hvornår den muligvis skal panorere eller zoome digitalt som et resultat. Den bruger desuden forskning i dybdekameraer udviklet af Facebook Reality Labs som en del af den sociale mediegigants virtual reality-indsats.

Et marked i vækst

Facebook er overbevist om, at det er på vej til en vinder med Portal. Det er nemt at se, hvor dens selvtillid kommer fra. Lige nu boomer markedet for smarte højttalere. Selvom det i høj grad er domineret af markedslederen Amazon, er det det vokser med mere end 100 procent år-til-år. Det er gode nyheder for teknologivirksomheder, der leder efter den næste store ting på et tidspunkt med udfladning smartphone salg.

Mens Facebook var den sidste af de fire store teknologigiganter (Amazon, Alphabet, Facebook og Apple) for at hoppe med på vognen, er det stadig en af ​​de første bølge af smarte højttalere centreret omkring skærmen som en kommunikationsenhed.

"Portal er det eneste produkt på markedet af sin art," sagde Hwang. “I dag er smarte højttalere og skærme bygget op omkring information og handel. Portalen er bygget til at gøre det nemmere at forbinde med de mennesker, der betyder mest: vores nærmeste venner og familie. Og Portal er fokuseret på at forbinde mennesker - en del af Facebooks mission - som i øjeblikket ikke betjenes godt af markedet for hjemmeenheder."

Privatlivsudfordringer forude?

Så hvad stopper Facebook? Nå, potentielt privatliv. Brugere har vist sig overraskende villige til at omfavne "altid lyttende" gadgets fra virksomheder som Google med en særlig interesse i brugerdata. Men en enhed, der både ser og lytter til dig, er stadig mere invasiv. Desuden lider Facebooks omdømme stadig efter sidste års Cambridge Analytica-skandale.

Få dage før netop denne artikel blev offentliggjort, var Washington Post rapporteret at Facebook forhandler et rekordstort forlig på flere milliarder dollar med FTC for sine forseelser i privatlivets fred. Med et voksende tilbageslag fra mange tidligere brugere, er det endnu ikke afsløret, om Facebook har et Amazon Echo-stil hit på hænderne - eller et Amazon Fire Phone-stil flop.

Facebook forsikrede os om, at de ikke lytter til, ser eller opbevarer indholdet af Portal-videoopkald, som desuden er krypteret for at undgå aflytning. Det faktum, at Portals A.I. smarts kører lokalt på enheden og ikke på Facebook servere, betyder også, at disse oplysninger ikke forlader dit hjem. Stemmekommandoer sendes først til virksomheden, når du siger "Hey Portal", og brugere kan til enhver tid slette deres stemmehistorik i Facebooks aktivitetslog.

Men der er ingen udenom, at der stadig foregår en vis grad af dataindsamling. "Selvom vi ikke lytter til, ser eller opbevarer indholdet af dine portalvideoopkald eller bruger disse oplysninger til at målrette annoncer, vi behandle nogle oplysninger om enhedens brug for at forstå, hvordan Portal bliver brugt, og for at forbedre produktet,” bemærker Facebook. (Portalens privatlivspolitik kan læses her.)

Portal tilbyder noget meget smart teknologi med massive konsekvenser for fremtiden for videochat. Der er ingen tvivl om, at virksomheden har formået at skabe noget meget imponerende ud fra et teknologisk synspunkt. Men om det kan overbevise potentielle kunder om, at dette er en løsning, de har brug for i deres liv, vil i sidste ende vise sig at være den virkelige præstation.

Redaktørens anbefalinger

• Læs det uhyggeligt smukke 'syntetiske skrift' af en A.I. der tror, ​​det er Gud
• Sprogsupermodel: Hvordan GPT-3 stille og roligt indvarsler A.I. revolution
• Vi brugte en A.I. designværktøj til at komme med et nyt logo. Her er hvad der skete
• Neuro-symbolsk A.I. er fremtiden for kunstig intelligens. Sådan fungerer det
• Gensyn med fremkomsten af ​​A.I.: Hvor langt er kunstig intelligens kommet siden 2010?