Dit is hoe Facebook zijn Portal A.I. om te denken als een Hollywood-filmmaker

Toen Mark Zuckerberg de eerste versie van Facebook bouwde in zijn studentenkamer op Harvard, stelde hij zich het voor als een venster waardoor mensen naar de levens van andere gebruikers konden kijken. Als Google een zoekmachine voor informatie was, dan was Facebook daarentegen een zoekmachine voor mensen. Vijftien jaar later heeft Facebook deze ambitie naar een hoger niveau getild. Door Portal en Portal+ te creëren, de lijn van slimme luidsprekers met schermverbetering, gelanceerd in november 2018, socialemediagigant heeft een veel letterlijker venster opgezet, waardoor Facebook-gebruikers videogesprekken kunnen voeren een andere.

De Portal slimme luidsprekers letterlijk een ander Facebook droom ook. Waar Facebook in essentie een zoekmachine voor mensen was, was Portal eigenlijk doet zoek ze op: met een zwervende camera van 12 megapixels, met een gezichtsveld van 140 graden, die je door de kamer volgt om te zien wat je doet. Als digitale trends

plaats het in onze recensie, "Als je druk bezig bent door de keuken te lopen terwijl je oma vraagt ​​hoe ze haar beroemde gehaktballetjes moet maken, kun je bezig blijven terwijl je naar haar lezing luistert."

Wat is precies de slimme technologie die Portal aandrijft? En hoe denkt Facebook dat het de uitdaging heeft opgelost om gewone videochats net zo persoonlijk te laten voelen als een echt gesprek? Het antwoord omvat een indrukwekkende kunstmatige intelligentie – en een extra menselijk tintje.

Camera's slimmer maken

Vanaf het begin wist Facebook dat de kern van zijn Portal-ervaring het zogenaamde ‘Smart Camera’-systeem zou zijn. Het idee van de Smart Camera was om verder te gaan dan het soort statische opname dat diensten als Skype ons al jaren bieden, en om een ​​creatievere rol in het proces te spelen. Net zoals een filmregisseur of cameraman weet wanneer hij een brede opname moet gebruiken of wanneer hij moet inzoomen voor een intieme close-up, zo Facebook daagde zijn ingenieurs uit om hetzelfde vermogen met Portal te imiteren.

Om deze camera het nodige menselijke tintje te geven, heeft Facebook samen met filmmakers gezocht naar de beste manier om hun wijsheid om te zetten in machinaal leerbare inzichten. In één geval werd hen gevraagd te demonstreren hoe ze een scène konden filmen waarin het onmogelijk was om alle relevante informatie vanuit één vaste hoek vast te leggen.

In een ander onderzoek keken Facebook-ingenieurs naar de verschillende fotografische elementen die camera-operators prioriteit geven bij portret- en landschapsfoto's. Deze observaties vormden de basis van softwaremodellen die Portal proberen te doordrenken met enkele van de besluitvormingseigenaardigheden die we normaal gesproken aan menselijke creativiteit zouden toeschrijven.

“We wilden een handsfree videobelervaring creëren die gevoelens van fysieke afstand wegneemt Het is meer een kwestie van samen rondhangen”, legt Eric Hwang, een van de ingenieurs achter Portal, uit aan Digital Trends.

Het resulterende systeem – waarvan Facebook zegt dat het “minder dan twee jaar” kostte om het helemaal opnieuw te creëren – stelt Portal in staat beslissingen te nemen die zijn ontworpen om de stroom van een gesprek te verbeteren. In een nieuw gepubliceerde blogpost, het geeft enkele voorbeelden van waarom dit nodig zou kunnen zijn. Als u zich bijvoorbeeld in een volle ruimte bevindt, vol met mensen die met elkaar communiceren, moet het systeem kiezen wanneer een persoon buiten beeld moet worden gevolgd of wanneer moet worden uitgezoomd om nieuwe onderwerpen tegemoet te komen.

Op dezelfde manier moet het in realtime leren omgaan met veranderende lichtsituaties. Wat doe je als je onderwerp in een donkere kamer ligt, half bedekt door een deken, maar er rennen kinderen op de achtergrond rond die bewegingsonscherpte veroorzaken? Portal weegt al deze informatie in minder dan een oogwenk af en probeert het beste resultaat te bepalen. (Als u handmatig wilt bepalen op wie de focus zich richt, dat kan nu ook.)

Technische uitdagingen

Vanuit technisch perspectief maken een aantal dingen de technologie van Portal indrukwekkend. De eerste is dat het dit allemaal kan doen zonder het gebruik van een daadwerkelijk bewegende camera. Al vroeg in het ontwikkelingsproces probeerden de ingenieurs van Portal prototypes uit die gebruik maakten van een gemotoriseerde camera, die naar onderwerpen kon draaien. Dit werd echter afgewezen omdat dit een vertraging en een punt van mogelijke mechanische storing veroorzaakte. In plaats daarvan bevat Portal een extreem groothoeklens waarin alle bewegings- en montagebeslissingen volledig digitaal worden genomen.

Ten tweede vond het team dat aan Portal werkte een manier om zijn besluitvormingsprocessen te realiseren zonder afhankelijk te zijn van cloud computing. Volgens Hwang wordt de computationele vuurkracht allemaal in het apparaat bereikt.

"Iedereen vastleggen in een videoframe is geen moeilijk technisch probleem, aangezien veel ingenieurs dat kunnen doen met de huidige ontwikkelingen op het gebied van computervisie", zei hij. “De innovatie zit in het in realtime vastleggen van de relevante mensen of personen op het apparaat, met behulp van alleen de kleine mobiele chip in Portal als verwerkingskracht. Meestal zijn dit soort A.I. taken vereisen speciale, grote servers. [We] hebben dat obstakel overwonnen door complexe computer vision-modellen te comprimeren totdat ze op de chip pasten die we voor Portal gebruiken en nog steeds nauwkeurig en betrouwbaar werken.”

Om dit te doen maakt Portal gebruik van de langetermijninvesteringen van Facebook in kunstmatige intelligentie. Het maakt gebruik van een 2D-positiedetectiesysteem dat draait op 30 frames per seconde. De opzettelijkheid van deze houdingen helpt Portal om voortdurend beslissingen te nemen over wat zijn onderwerpen doen - en wanneer het daardoor mogelijk digitaal moet pannen of zoomen. Het maakt bovendien gebruik van onderzoek naar dieptecamera's ontwikkeld door Facebook Reality Labs als onderdeel van de virtual reality-inspanningen van de socialemediagigant.

Een groeiende markt

Facebook is ervan overtuigd dat het met Portal een winnaar is. Het is gemakkelijk om te zien waar het vertrouwen vandaan komt. Op dit moment bloeit de markt voor slimme luidsprekers. Hoewel het grotendeels wordt gedomineerd door marktleider Amazon, is dat wel het geval jaarlijks met meer dan 100 procent groeien. Dat is goed nieuws voor technologiebedrijven die op zoek zijn naar het volgende grote ding in een tijd van afvlakking smartphone verkoop.

Terwijl Facebook de laatste van de vier grote technologiegiganten was (Amazon, Alphabet, Facebook en Apple) om op de kar te springen, het is nog steeds zo een van de eerste Een golf van slimme luidsprekers rond het scherm als communicatieapparaat.

“Portal is het enige product in zijn soort op de markt”, aldus Hwang. “Tegenwoordig zijn slimme luidsprekers en displays gebouwd rond informatie en commercie. Portal is gebouwd om het gemakkelijker te maken om contact te maken met de mensen die er het meest toe doen: onze beste vrienden en familie. En Portal is gericht op het verbinden van mensen – onderdeel van de missie van Facebook – wat momenteel niet goed wordt bediend door de markt voor thuisapparaten.”

Privacy-uitdagingen in het verschiet?

Dus wat houdt Facebook tegen? Nou ja, mogelijk privacy. Gebruikers zijn verrassend bereid gebleken om 'altijd luisteren'-gadgets van bedrijven als Google met gevestigde belangen in gebruikersgegevens te omarmen. Maar een apparaat dat zowel naar je kijkt als luistert, is nog invasiever. Bovendien lijdt de reputatie van Facebook er nog steeds onder het Cambridge Analytica-schandaal van vorig jaar.

Slechts enkele dagen voordat dit artikel werd gepubliceerd, werd de Washington Post gerapporteerd dat Facebook onderhandelt over een recordbrekende schikking van meerdere miljarden dollars met de FTC vanwege zijn privacymisdrijven. Met een groeiende reactie van veel voormalige gebruikers moet nog worden onthuld of Facebook heeft een hit in Amazon Echo-stijl in handen – of een flop in Amazon Fire Phone-stijl.

Facebook verzekerde ons dat het de inhoud van Portal-videogesprekken niet beluistert, bekijkt of bewaart, omdat deze bovendien gecodeerd zijn om afluisteren te voorkomen. Het feit dat Portal’s A.I. smarts draaien lokaal op het apparaat, en niet daarop Facebook servers, betekent ook dat deze informatie uw huis niet verlaat. Spraakopdrachten worden pas naar het bedrijf verzonden nadat u 'Hey Portal' zegt, en gebruikers kunnen hun spraakgeschiedenis op elk gewenst moment verwijderen uit het activiteitenlogboek van Facebook.

Maar we kunnen er niet omheen dat er nog steeds een zekere mate van gegevensverzameling plaatsvindt. “Hoewel we de inhoud van uw Portal-videogesprekken niet beluisteren, bekijken of bewaren, of deze informatie gebruiken om advertenties te targeten, verwerken bepaalde informatie over het apparaatgebruik om te begrijpen hoe Portal wordt gebruikt en om het product te verbeteren”, merkt Facebook op. (Privacybeleid van Portal kunt u hier lezen.)

Portal biedt een aantal zeer slimme technologie met enorme gevolgen voor de toekomst van videochat. Het lijdt geen twijfel dat het bedrijf erin is geslaagd iets heel indrukwekkends neer te zetten vanuit technologisch oogpunt. Maar of het potentiële klanten ervan kan overtuigen dat dit de oplossing is die ze nodig hebben in hun leven, zal uiteindelijk de echte prestatie blijken te zijn.

Aanbevelingen van de redactie

• Lees het griezelig mooie ‘synthetische geschrift’ van een A.I. die denkt dat het God is
• Taalsupermodel: hoe GPT-3 stilletjes de A.I. revolutie
• We gebruikten een A.I. ontwerptool om een ​​nieuw logo te bedenken. Dit is wat er is gebeurd
• Neuro-symbolische A.I. is de toekomst van kunstmatige intelligentie. Dit is hoe het werkt
• Opnieuw kijken naar de opkomst van AI: hoe ver is kunstmatige intelligentie gekomen sinds 2010?