Nii õpetas Facebook oma portaalile A.I. mõelda nagu Hollywoodi filmitegija

Facebooki portaal+ ülevaade
Dan Baker / digitaalsed suundumused

Kui Mark Zuckerberg ehitas oma Harvardi kolledži ühiselamus Facebooki esimese versiooni, kujutas ta seda ette aknana, mis võimaldab inimestel teiste kasutajate ellu vaadata. Kui Google oli teabe otsimootor, siis Facebook oli seevastu inimeste otsingumootor. Viisteist aastat hiljem on Facebook selle ambitsiooni viinud järgmisele tasemele. Luues 2018. aasta novembris turule toodud ekraaniga täiustatud nutikõlarite sarja Portal ja Portal+, sotsiaalmeedia hiiglane on loonud palju sõnasõnalisema akna, võimaldades Facebooki kasutajatel ühele videokõnesid teha teine.

Sisu

  • Kaamerate targemaks muutmine
  • Tehnilised väljakutsed
  • Kasvav turg
  • Kas ees ootavad privaatsusprobleemid?

Portaali nutikõlarid muudavad sõnasõnaliseks teise Facebook unistus ka. Kui Facebook oli sisuliselt inimeste otsingumootor, siis tegelikult portaal teeb Otsige neid välja: 12-megapikslise pöördelise kaameraga, millel on 140-kraadine vaateväli, mis jälgib teid mööda tuba, et näha, mida te teete. Nagu digitaalsed suundumused

pane see meie arvustusse, "Kui olete hõivatud köögis liikumisega ja küsite vanaemalt, kuidas tema kuulsaid lihapalle valmistada, võite olla hõivatud tema juttu kuulates."

Soovitatavad videod

Mis täpselt on portaali juhtiv nutikas tehnoloogia? Ja kuidas Facebook arvab, et see on lahendanud väljakutse muuta tavaline videovestlus sama isiklikuks kui tõeliseks vestluseks maha istumine? Vastus hõlmab muljetavaldavat tehisintellekti ja täiendavat inimlikku puudutust.

Seotud

  • Emotsioone tajuv A.I. on siin ja see võib olla teie järgmisel tööintervjuul
  • Kuna 2020. aasta pole piisavalt hull, laulab robotsuu A.I. palved Pariisis
  • A.I. Suurendamine muudab selle 1896. aasta filmi mulje, nagu oleks see filmitud pimestavas 4K-s
Facebooki portaal+ ülevaade
Dan Baker / digitaalsed suundumused

Kaamerate targemaks muutmine

Facebook teadis algusest peale, et selle portaalikogemuse tuumaks on nn nutika kaamera süsteem. Nutikaamera idee oli liikuda kaugemale sellest staatilisest pildist, mida sellised teenused nagu Skype on meile juba aastaid pakkunud, ja mängida selles protsessis loovamat rolli. Nii nagu filmirežissöör või operaator teab, millal kasutada laikaadrit või millal suumida intiimseks lähivõtteks, nii Facebook esitas oma inseneridele väljakutse seda sama võimet Portaliga jäljendada.

Sellele kaamerale vajaliku inimliku puudutuse andmiseks töötas Facebook koos filmitegijatega, et leida parim viis nende tarkuse masinõpitavateks teadmisteks destilleerimiseks. Ühel juhul paluti neil näidata, kuidas nad saaksid filmida stseeni, mille puhul ei olnud võimalik kogu asjakohast teavet ühe fikseeritud nurga alt jäädvustada.

Portaal sisaldab äärmiselt lainurkobjektiivi, milles kõik liikumis- ja redigeerimisotsused tehakse täielikult digitaalselt.

Teises vaatlesid Facebooki insenerid erinevaid fotoelemente, mida kaameraoperaatorid portree- ja maastikupiltide puhul eelistavad. Need tähelepanekud moodustasid aluse tarkvaramudelitele, mis üritavad portaali immutada mõningate otsuste tegemise veidrustega, mida me tavaliselt inimeste loovusele omistaksime.

„Tahtsime luua käed-vabad videokõnede kogemuse, mis eemaldab füüsilise kauguse tunde rohkem nagu koos hängimine,” selgitas Eric Hwang, üks portaali taga olevatest inseneridest Digital Trendsile.

Saadud süsteem – mille nullist loomiseks kulus Facebooki sõnul alla kahe aasta – võimaldab Portal teha otsuseid, mille eesmärk on parandada vestluse kulgu. Sees äsja avaldatud ajaveebi postitus, see üksikasjalikult illustreerib, miks see võib olla vajalik. Näiteks kui viibite rahvarohkes ruumis, kus on inimesi, kes omavahel suhtlevad, peab see valima, millal jälgida inimest kaadrist väljas või millal suumida välja, et uusi objekte võtta.

Facebooki tarkvarainsenerid Eric Hwang (istub algselt toolil) ja Arthur Cavalcanti demonstreerivad portaali kinokaameralaadset jälgimist ja kadreerimist.

Samamoodi peab see õppima reaalajas toime tulema muutuvate valgusolukordadega. Mida teha, kui objekt lamab pimedas toas, pooleldi tekiga kaetud, kuid taustal jooksevad ringi lapsed, mis tekitavad liikumise hägusust? Portaal kaalub kogu selle teabe vähem kui ühe silmapilguga ja püüab kindlaks teha parima tulemuse. (Kui soovite käsitsi juhtida, kellele see keskendub, see on ka nüüd võimalik.)

Tehnilised väljakutsed

Tehnilisest vaatenurgast muudavad portaali tehnoloogia muljetavaldavaks paar asja. Esimene on see, et see suudab seda kõike teha ilma tegelikku liikuvat kaamerat kasutamata. Arendusprotsessi alguses katsetasid Portaali insenerid prototüüpe, mis kasutasid mootoriga kaamerat, mis pöörati objektidega silmitsi. Selle vastu otsustati aga põhjusel, et see põhjustas viivituse ja võimaliku mehaanilise rikke punkti. Selle asemel sisaldab Portal äärmiselt lainurkobjektiivi, milles kõik liikumis- ja redigeerimisotsused tehakse täielikult digitaalselt.

Teiseks leidis portaaliga töötav meeskond viisi, kuidas saavutada oma otsustusprotsesse ilma pilvandmetöötlusele tuginemata. Hwangi sõnul saavutatakse arvutuslik tulejõud seadmes.

Facebooki portaali areng
Portaali varased prototüübid tuginesid kaamera füüsiliseks liigutamiseks mootorile.Facebooki tehnika

"Kõigi videokaadrisse jäädvustamine ei ole keeruline inseneriprobleem, kuna paljud insenerid saavad seda teha tänapäevaste arvutinägemise edusammudega," ütles ta. „Uuendus seisneb asjakohaste inimeste või inimeste jäädvustamises reaalajas, seadmes, kasutades töötlemisvõimsusena vaid portaalis olevat väikest mobiilikiipi. Tavaliselt seda tüüpi A.I. ülesanded nõuavad spetsiaalseid suuri servereid. [Me] ületasime selle takistuse, tihendades keerukaid arvutinägemismudeleid, kuni need mahuvad portaali jaoks kasutatavale kiibile ja töötavad endiselt täpselt ja usaldusväärselt.

Selleks kasutab portaal Facebooki pikaajalist investeeringut tehisintellekti. See kasutab 2D poosi tuvastamise süsteemi, mis töötab 30 kaadrit sekundis. Nende pooside tahtlikkus aitab portaalil teha pidevaid otsuseid selle kohta, mida tema subjektid teevad – ja millal võib tekkida vajadus digitaalselt panoraamida või suumida. Lisaks kasutab see Facebook Reality Labsi poolt välja töötatud sügavuskaamerate uuringuid osana sotsiaalmeedia hiiglase virtuaalreaalsuse jõupingutustest.

Kasvav turg

Facebook on veendunud, et ta on Portaaliga võitja. On lihtne näha, kust selle enesekindlus pärineb. Praegu õitseb nutikõlarite turg. Kuigi valdavalt domineerib turuliider Amazon, on see nii aastaga rohkem kui 100 protsenti. See on hea uudis tehnoloogiaettevõtetele, kes otsivad lamendamise ajal järgmist suurt asja nutitelefoni müük.

Facebooki portaal+ ülevaade
Dan Baker / digitaalsed suundumused

Kui Facebook oli neljast suurest tehnoloogiahiiglast viimane (Amazon, Alphabet, Facebook ja Apple) hüppama, see on endiselt üks esimesi Nutikate kõlarite laine, mis on tsentreeritud ekraani kui sideseadme ümber.

"Portaal on ainus toode turul, " ütles Hwang. „Tänapäeval on nutikõlarid ja -ekraanid üles ehitatud teabe ja kaubanduse ümber. Portaal on loodud selleks, et hõlbustada ühenduse loomist kõige olulisemate inimestega: meie lähimate sõprade ja perega. Ja portaal on keskendunud inimeste ühendamisele – osa Facebooki missioonist –, mida koduseadmete turg praegu hästi ei teeni.

Kas ees ootavad privaatsusprobleemid?

Mis siis peatab Facebooki peatamise? Noh, potentsiaalselt privaatsus. Kasutajad on osutunud üllatavalt valmis omaks võtma "alati kuulavaid" vidinaid sellistelt ettevõtetelt nagu Google, kellel on kasutajaandmete vastu huvi. Kuid seade, mis teid nii vaatab kui ka kuulab, on veelgi invasiivsem. Lisaks kannatab Facebooki maine pärast seda endiselt eelmise aasta Cambridge Analytica skandaal.

Nutikate lisamine portaali videovestluskaamerasse (Facebook)

Vaid mõni päev enne selle artikli avaldamist, Washington Post teatatud et Facebook peab FTC-ga läbirääkimisi rekordilise mitme miljardi dollari suuruse kokkuleppe üle oma privaatsusrikkumiste eest. Kuna paljude endiste kasutajate vastureaktsioon kasvab, pole veel selgunud, kas Facebook on käes Amazon Echo stiilis hitt – või Amazon Fire Phone’i stiilis flop.

Facebook kinnitas meile, et ta ei kuula, vaata ega hoia portaali videokõnede sisu, mis on pealtkuulamise vältimiseks täiendavalt krüpteeritud. Asjaolu, et Portaali A.I. nutiseadmed töötavad lokaalselt seadmes, mitte sees Facebook serverid, tähendab ka seda, et see teave ei lahku teie kodust. Häälkäsklused saadetakse ettevõttele alles pärast seda, kui ütlete "Hei portaal" ja kasutajad saavad igal ajal oma häälajaloo Facebooki tegevuste logist kustutada.

Kuid ei saa mööda sellest, et teatud määral andmeid kogutakse ikka veel. „Kuigi me ei kuula, vaata ega hoia teie portaali videokõnede sisu ega kasuta seda teavet reklaamide sihtimiseks, töötlege mõnda seadme kasutusteavet, et mõista, kuidas portaali kasutatakse ja toodet täiustada, " märgib Facebook. (Portaali privaatsuspoliitika saab lugeda siit.)

Portaal pakub väga nutikat tehnoloogiat, millel on tohutu mõju videovestluse tulevikule. Pole kahtlust, et ettevõte on suutnud välja tuua midagi tehnoloogilisest vaatepunktist väga muljetavaldavat. Kuid see, kas see suudab potentsiaalseid kliente veenda, et see on lahendus, mida nad oma elus vajavad, osutub lõpuks tõeliseks saavutuseks.

Toimetajate soovitused

  • Lugege A.I kohutavalt ilusat "sünteetilist pühakirja". kes arvab, et see on jumal
  • Keele supermodell: kuidas GPT-3 hakkab vaikselt sisse juhatama A.I. revolutsioon
  • Kasutasime A.I. disainitööriist uue logo väljamõtlemiseks. Siin on, mis juhtus
  • Neuro-sümboolne A.I. on tehisintellekti tulevik. See toimib järgmiselt
  • A.I tõusu uuesti läbivaatamine: kui kaugele on tehisintellekt alates 2010. aastast jõudnud?