Näin Facebook opetti portaalilleen A.I. ajatella kuin Hollywood-elokuvantekijä

Facebook Portal+ -arvostelu
Dan Baker / Digitaalitrendit

Kun Mark Zuckerberg rakensi ensimmäisen version Facebookista korkeakoulunsa asuntolaansa Harvardissa, hän kuvitteli sen ikkunana, jonka kautta ihmiset voivat katsoa muiden käyttäjien elämään. Jos Google oli tiedon hakukone, Facebook sen sijaan oli ihmisten hakukone. Viisitoista vuotta myöhemmin Facebook on vienyt tämän tavoitteen seuraavalle tasolle. Luomalla marraskuussa 2018 lanseeratun Portalin ja Portal+:n, sen näyttötehostettujen älykaiuttimien sarjan, sosiaalisen median jättiläinen on luonut paljon kirjaimellisemman ikkunan, jonka avulla Facebookin käyttäjät voivat soittaa videopuheluita yhdelle toinen.

Sisällys

  • Tehdään kameroista älykkäämpiä
  • Tekniset haasteet
  • Kasvavat markkinat
  • Yksityisyyshaasteita edessä?

Portalin älykkäät kaiuttimet kirjaimellisesti toistavat Facebook unelma myös. Kun Facebook oli pohjimmiltaan ihmisten hakukone, Portal itse asiassa tekee etsi niitä: kiertävällä 12 megapikselin kameralla, jossa on 140 asteen näkökenttä, joka seuraa sinua ympäri huonetta nähdäkseen, mitä olet tekemässä. Kuten digitaaliset trendit

laita se arvosteluihimme, "Jos olet kiireinen keittiössä ja kysy isoäidiltä, ​​kuinka hänen kuuluisia lihapullia tehdään, voit pysyä kiireisenä kuuntelemalla hänen puheitaan."

Suositellut videot

Mikä tarkalleen on portaalia ohjaava älykäs tekniikka? Ja miten Facebook uskoo, että se on murtanut haasteen saada säännöllinen videokeskustelu tuntumaan yhtä henkilökohtaiselta kuin istuminen oikeaan keskusteluun? Vastaus sisältää vaikuttavaa tekoälyä – ja lisättyä inhimillistä kosketusta.

Liittyvät

  • Tunteita tunnistava A.I. on täällä, ja se voi olla seuraavassa työhaastattelussasi
  • Koska vuosi 2020 ei ole tarpeeksi hullu, robottisuu laulaa A.I. rukoukset Pariisissa
  • A.I. skaalaus saa tämän elokuvan vuodelta 1896 näyttämään siltä kuin se olisi kuvattu häikäisevällä 4K-resoluutiolla
Facebook Portal+ -arvostelu
Dan Baker / Digitaalitrendit

Tehdään kameroista älykkäämpiä

Facebook tiesi alusta alkaen, että sen portaalikokemuksen ydin olisi niin kutsuttu "Smart Camera" -järjestelmä. Älykameran ideana oli siirtyä pois sellaisesta staattisesta kuvasta, jota Skypen kaltaiset palvelut ovat tarjonneet meille vuosia, ja olla luovampi rooli tässä prosessissa. Aivan kuten elokuvaohjaaja tai kuvaaja tietää milloin käyttää laajakuvaa tai milloin zoomata intiimiä lähikuvaa varten, Facebook haastoi insinöörinsä jäljittelemään tätä samaa kykyä Portalilla.

Antaakseen tälle kameralle tarvittavan inhimillisen kosketuksen Facebook teki yhteistyötä elokuvantekijöiden kanssa selvittääkseen parhaan tavan tislata heidän viisautensa koneella opittavaksi oivallukseksi. Yhdessä tapauksessa se pyysi heitä osoittamaan, kuinka he voisivat kuvata kohtauksen, jossa oli mahdotonta kaapata kaikkea olennaista tietoa yhdestä kiinteästä kulmasta.

Portaalissa on erittäin laajakulmaobjektiivi, jossa kaikki liike- ja editointipäätökset tehdään täysin digitaalisesti.

Toisessa Facebookin insinöörit tarkastelivat erilaisia ​​valokuvauselementtejä, joita kameran käyttäjät priorisoivat muoto- ja maisemakuvissa. Nämä havainnot muodostivat perustan ohjelmistomalleille, jotka yrittävät upottaa Portaaliin joihinkin päätöksenteon omituisuuksiin, joita tavallisesti pitäisimme ihmisen luovuuden ansioksi.

”Halusimme luoda handsfree-videopuhelukokemuksen, joka poistaa fyysisen etäisyyden tunteen enemmän kuin yhdessä hengailua”, Eric Hwang, yksi Portalin takana olevista insinööreistä, selitti Digital Trendsille.

Tuloksena oleva järjestelmä - jonka Facebook sanoo kesti "alle kaksi vuotta" luoda tyhjästä - antaa Portalille mahdollisuuden tehdä päätöksiä, jotka on suunniteltu parantamaan keskustelun sujuvuutta. Jonkin sisällä juuri julkaistu blogikirjoitus, se sisältää joitakin esimerkkejä siitä, miksi tämä saattaa olla tarpeen. Jos esimerkiksi olet täynnä ihmisiä, jotka ovat vuorovaikutuksessa toistensa kanssa, sen on valittava, milloin seurataan henkilöä kehyksestä pois tai milloin se loitonnetaan uusien kohteiden mukaan.

Facebookin ohjelmistoinsinöörit Eric Hwang (istui aluksi tuolissa) ja Arthur Cavalcanti esittelevät portaalin elokuvamaista kameramaista seurantaa ja kehystystä.

Samoin sen on opittava käsittelemään muuttuvia valotilanteita reaaliajassa. Mitä teet, jos kohde makaa pimeässä huoneessa puoliksi peiton peitossa, mutta taustalla juoksentelee lapsia aiheuttaen liikkeestä epätarkkuutta? Portaali punnitsee kaikki nämä tiedot yhdellä silmänräpäyksellä ja yrittää määrittää parhaan lopputuloksen. (Jos haluat hallita manuaalisesti, ketä se keskittyy, sekin on nyt mahdollista.)

Tekniset haasteet

Teknisestä näkökulmasta pari asiaa tekevät Portalin tekniikasta vaikuttavan. Ensimmäinen on, että se voi tehdä kaiken tämän ilman todellista liikkuvaa kameraa. Kehitysprosessin alkuvaiheessa Portalin insinöörit kokeilivat prototyyppejä, joissa käytettiin moottoroitua kameraa, joka kääntyi kohdetta kohti. Tämä kuitenkin päätettiin kieltäytyä, koska se aiheutti viiveen ja mahdollisen mekaanisen vian pisteen. Sen sijaan Portal sisältää erittäin laajakulmaisen linssin, jossa kaikki liike- ja editointipäätökset tehdään täysin digitaalisesti.

Toiseksi, Portalin parissa työskentelevä tiimi löysi tavan saavuttaa päätöksentekoprosessinsa ilman, että hänen tarvitsisi luottaa pilvipalveluihin. Hwangin mukaan laskennallinen tulivoima saavutetaan laitteessa.

Facebook-portaalin kehitys
Portaalin varhaiset prototyypit perustuivat moottoriin, joka liikutti kameraa fyysisesti.Facebookin suunnittelu

"Kaikkien videokuvaan tallentaminen ei ole vaikea insinööriongelma, sillä monet insinöörit voivat tehdä sen nykypäivän tietokonenäkökehityksen avulla", hän sanoi. "Innovaatio on kyseisten ihmisten tai henkilöiden vangitseminen reaaliajassa laitteella käyttämällä vain Portalissa olevaa pientä mobiilisirua prosessointitehona. Yleensä tämäntyyppiset A.I. tehtävät vaativat suuria palvelimia. [Me] voitimme tämän esteen pakkaamalla monimutkaisia ​​tietokonenäkömalleja, kunnes ne mahtuivat Portalissa käyttämäämme sirulle ja toimivat silti tarkasti ja luotettavasti.

Tätä varten Portal hyödyntää Facebookin pitkän aikavälin investointeja tekoälyyn. Se käyttää 2D-asennontunnistusjärjestelmää, joka toimii nopeudella 30 kuvaa sekunnissa. Näiden asentojen tarkoituksellisuus auttaa Portalia tekemään jatkuvia päätöksiä siitä, mitä sen kohteet tekevät - ja milloin sen saattaa joutua panottamaan tai zoomata digitaalisesti. Lisäksi se hyödyntää Facebook Reality Labsin kehittämien syvyyskameroiden tutkimusta osana sosiaalisen median jättiläisen virtuaalitodellisuusponnisteluja.

Kasvavat markkinat

Facebook on vakuuttunut siitä, että se on voittaja Portalin avulla. On helppo nähdä, mistä sen luottamus tulee. Tällä hetkellä älykaiutinmarkkinat kukoistavat. Vaikka sitä hallitsee suurelta osin markkinajohtaja Amazon, se on kasvaa yli 100 prosenttia vuodentakaisesta. Tämä on hyvä uutinen teknologiayrityksille, jotka etsivät seuraavaa suurta asiaa tasoittumisen aikana älypuhelin myynti.

Facebook Portal+ -arvostelu
Dan Baker / Digitaalitrendit

Vaikka Facebook oli viimeinen neljästä suuresta teknologiajättiläisestä (Amazon, Alphabet, Facebook ja Apple) hypätä kelkkaan, se on edelleen yksi ensimmäisistä älykkäiden kaiuttimien aalto, joka on keskitetty näytön ympärille viestintälaitteena.

"Portaali on lajissaan ainoa tuote markkinoilla", Hwang sanoi. ”Nykyään älykaiuttimet ja näytöt rakentuvat tiedon ja kaupan ympärille. Portaali on suunniteltu helpottamaan yhteydenpitoa tärkeimpiin ihmisiin: lähimpiin ystäviin ja perheeseen. Ja Portal keskittyy ihmisten yhdistämiseen – osa Facebookin tehtävää – mitä tällä hetkellä kodin laitemarkkinat eivät palvele hyvin.

Yksityisyyshaasteita edessä?

Mikä sitten estää Facebookin? No, mahdollisesti yksityisyyttä. Käyttäjät ovat osoittautuneet yllättävän halukkaiksi ottamaan vastaan ​​"aina kuuntelevia" gadgeteja yrityksiltä, ​​kuten Googlelta, jotka ovat kiinnostuneita käyttäjädatasta. Mutta laite, joka sekä katselee että kuuntelee sinua, on silti invasiivisempi. Lisäksi Facebookin maine kärsii edelleen viime vuoden Cambridge Analytica -skandaali.

Älykkäiden lisääminen portaalin videochat-kameraan (Facebook)

Vain päiviä ennen tämän artikkelin julkaisua, Washington Post raportoitu että Facebook neuvottelee ennätysmäisen, usean miljardin dollarin sovintoratkaisusta FTC: n kanssa tietosuojarikoksistaan. Monien entisten käyttäjien lisääntyvän vastareaktion vuoksi ei ole vielä paljastettu, jos Facebook on Amazon Echo -tyylinen hitti käsissään - tai Amazon Fire Phone -tyylinen floppi.

Facebook vakuutti meille, ettei se kuuntele, katsele tai säilytä portaalin videopuheluiden sisältöä, joka on lisäksi salattu salakuuntelun välttämiseksi. Se, että Portalin A.I. älylaitteet toimivat paikallisesti laitteessa, eivät päällä Facebook palvelimia, tarkoittaa myös sitä, että nämä tiedot eivät poistu kotoa. Äänikomennot lähetetään yritykselle vasta, kun sanot "Hey Portal", ja käyttäjät voivat milloin tahansa poistaa äänihistoriansa Facebookin toimintalokista.

Mutta ei voida kiertää sitä tosiasiaa, että dataa kerätään edelleen jonkin verran. "Vaikka emme kuuntele, katsele tai säilytä portaalivideopuhelujesi sisältöä tai käytä näitä tietoja mainosten kohdistamiseen, me käsittele joitain laitteen käyttötietoja ymmärtääksesi Portaalin käytön ja parantaaksesi tuotetta”, Facebook huomauttaa. (Portaalin tietosuojakäytäntö voi lukea täältä.)

Portaali tarjoaa erittäin älykästä tekniikkaa, jolla on suuria vaikutuksia videokeskustelun tulevaisuuteen. Ei ole epäilystäkään siitä, että yritys on onnistunut saamaan aikaan jotain erittäin vaikuttavaa teknologisesta näkökulmasta. Mutta se, pystyykö se vakuuttamaan potentiaaliset asiakkaat siitä, että tämä on heidän elämässään tarvitsemansa ratkaisu, osoittautuu lopulta todelliseksi saavutukseksi.

Toimittajien suositukset

  • Lue aavemaisen kaunista A.I: n synteettistä kirjoitusta. joka luulee olevansa Jumala
  • Kielen supermalli: Kuinka GPT-3 aloittaa hiljaa A.I: n vallankumous
  • Käytimme A.I. suunnittelutyökalu uuden logon luomiseen. Tässä on mitä tapahtui
  • Neuro-symbolinen A.I. on tekoälyn tulevaisuus. Näin se toimii
  • Tarkastellaan uudelleen A.I: n nousua: Kuinka pitkälle tekoäly on edennyt vuoden 2010 jälkeen?