Ось як Facebook навчив свій портал A.I. думати як голлівудський режисер

Коли Марк Цукерберг створив першу версію Facebook у своїй кімнаті гуртожитку коледжу в Гарварді, він уявляв це як вікно, яке дозволить людям дивитися на життя інших користувачів. Якщо Google був пошуковою системою для інформації, то Facebook, навпаки, був пошуковою системою для людей. Через п’ятнадцять років Facebook підняв ці амбіції на новий рівень. Створивши Portal і Portal+, лінійку розумних динаміків із покращеним екраном, запущену в листопаді 2018 року, гігант соціальних мереж створив набагато більш буквальне вікно, дозволяючи користувачам Facebook здійснювати відеодзвінки одному інший.

Розумні динаміки Portal буквалізують інше Facebook мрія теж. Там, де Facebook був, по суті, пошуковою системою для людей, насправді Порталом робить шукайте їх: з рухомою 12-мегапіксельною камерою з кутом огляду 140 градусів, яка стежить за вами по кімнаті, щоб побачити, що ви робите. Як Digital Trends

помістіть це в наш огляд, «якщо ви зайняті ходою по кухні, розпитуючи бабусю, як приготувати її знамениті фрикадельки, ви можете зайнятися, слухаючи її розмову».

Що саме є розумною технологією, яка керує порталом? І як, на думку Facebook, він впорався з проблемою зробити звичайний відеочат таким же особистим, як сидіти за справжньою розмовою? Відповідь передбачає вражаючий штучний інтелект — і додатковий людський дотик.

Робимо камери розумнішими

З самого початку Facebook знав, що основою роботи з порталом буде так звана система «Розумна камера». Ідея Smart Camera полягала в тому, щоб вийти за межі статичних знімків, які такі служби, як Skype, пропонували нам роками, і зіграти більш творчу роль у цьому процесі. Подібно до того, як кінорежисер або оператор знає, коли використовувати широкий кадр, а коли збільшити для інтимної зйомки великим планом, так і Facebook закликав своїх інженерів імітувати цю саму здатність за допомогою Portal.

Щоб надати цій камері необхідного людського дотику, Facebook працював із режисерами, щоб знайти найкращий спосіб дистиляції їхньої мудрості в технологію машинного навчання. В одному випадку він попросив їх продемонструвати, як вони можуть зняти сцену, в якій неможливо охопити всю відповідну інформацію під одним фіксованим кутом.

В іншому інженери Facebook розглядали різні фотоелементи, яким оператори віддають пріоритет у портретних і пейзажних знімках. Ці спостереження лягли в основу моделей програмного забезпечення, які намагаються надати Порталу деякі особливості прийняття рішень, які ми зазвичай приписуємо людській творчості.

«Ми хотіли створити відеодзвінки без використання рук, які усувають відчуття фізичної відстані більше схоже на спільне спілкування», – пояснив Digital Trends Ерік Хван, один з інженерів Portal.

Отримана система, на створення якої з нуля, за словами Facebook, знадобилося «менше двох років», дозволяє порталу приймати рішення, спрямовані на покращення потоку розмов. В щойно опублікована публікація в блозі, деталізовано деякі ілюстрації того, чому це може бути необхідно. Наприклад, якщо ви перебуваєте в переповненій кімнаті, повній людей, які взаємодіють один з одним, він повинен вибрати, коли стежити за особою поза кадром або коли зменшити масштаб, щоб розмістити нових об’єктів.

Так само він повинен навчитися справлятися зі зміною освітленості в реальному часі. Що робити, якщо об’єкт зйомки лежить у темній кімнаті, наполовину накритий ковдрою, а на задньому плані бігають діти, що спричиняє розмиття руху. Портал зважує всю цю інформацію менше, ніж мить оком, і намагається визначити найкращий результат. (Якщо ви хочете вручну контролювати, на кого він фокусується, це теж тепер можливо.)

Технічні проблеми

З технічної точки зору, кілька речей роблять технологію Portal вражаючою. По-перше, він може робити все це без використання фактично рухомої камери. На початку процесу розробки інженери Portal випробували прототипи, які використовували моторизовану камеру, яка оберталася, щоб дивитися обличчям до об’єктів. Однак це було прийнято проти, оскільки це спричинило затримку та точку потенційної механічної несправності. Натомість Portal містить надзвичайно ширококутний об’єктив, у якому всі рішення щодо переміщення та редагування приймаються повністю цифровим способом.

По-друге, команда, яка працювала над Portal, знайшла спосіб досягти процесу прийняття рішень, не покладаючись на хмарні обчислення. За словами Хвана, вся обчислювальна вогнева потужність досягається в пристрої.

«Зафіксувати кожного у відеокадрі не є складною інженерною проблемою, оскільки багато інженерів можуть зробити це завдяки сучасному комп’ютерному зору», — сказав він. «Інновація полягає в тому, щоб фіксувати відповідних людей або людину в режимі реального часу, на пристрої, використовуючи лише невеликий мобільний чіп у порталі як обчислювальну потужність. Зазвичай ці типи А.І. завдання потребують виділених великих серверів. [Ми] подолали цю перешкоду, стиснувши складні моделі комп’ютерного зору, доки вони не помістяться на чіпі, який ми використовуємо для Portal, і далі працюватимуть точно й надійно».

Для цього Portal спирається на довгострокові інвестиції Facebook у штучний інтелект. Він використовує 2D-систему визначення пози, яка працює зі швидкістю 30 кадрів на секунду. Цілеспрямованість цих поз допомагає порталу приймати постійні рішення про те, що роблять суб’єкти — і коли в результаті може знадобитися цифрове панорамування або масштабування. Він додатково використовує дослідження камер глибини, розроблені Facebook Reality Labs у рамках зусиль гіганта соціальних медіа у сфері віртуальної реальності.

Зростаючий ринок

Facebook переконаний, що з Portal він переможець. Легко зрозуміти, звідки така впевненість. Зараз ринок розумних колонок процвітає. Хоча в основному домінує лідер ринку Amazon, це так зростає більш ніж на 100 відсотків у порівнянні з минулим роком. Це гарна новина для технологічних компаній, які шукають наступну велику справу в період спаду смартфон продажу.

Хоча Facebook був останнім із чотирьох великих технологічних гігантів (Amazon, Alphabet, Facebook і Apple) стрибнути на підножку, це все ще одним із перших хвиля розумних колонок, зосереджених навколо екрана як комунікаційного пристрою.

«Портал — це єдиний продукт такого роду на ринку», — сказав Хван. «Сьогодні розумні колонки та дисплеї побудовані навколо інформації та комерції. Портал створено, щоб полегшити зв’язок із людьми, які є найважливішими: нашими найближчими друзями та родиною. Портал зосереджений на об’єднанні людей, що є частиною місії Facebook, і наразі ринок домашніх пристроїв не дуже добре обслуговується».

Виклики конфіденційності попереду?

Отже, що заважає зупинити Facebook? Ну, потенційно конфіденційність. Користувачі виявилися напрочуд готові прийняти гаджети, які «завжди слухають» від таких компаній, як Google, які зацікавлені в даних користувачів. Але пристрій, який і спостерігає, і слухає вас, ще більш агресивний. Крім того, репутація Facebook все ще страждає минулорічний скандал із Cambridge Analytica.

Лише за кілька днів до публікації цієї статті, Washington Post повідомили що Facebook веде переговори про рекордну багатомільярдну угоду з FTC за порушення конфіденційності. Зважаючи на зростаючу негативну реакцію багатьох колишніх користувачів, це ще невідомо Facebook має на руках удар у стилі Amazon Echo — або провал у стилі Amazon Fire Phone.

Facebook запевнив нас, що не прослуховує, не переглядає та не зберігає вміст відеодзвінків порталу, які додатково шифруються, щоб уникнути прослуховування. Той факт, що ШІ порталу smarts запускаються локально на пристрої, а не на Facebook серверів, також означає, що ця інформація не покидає ваш дім. Голосові команди надсилаються в компанію лише після того, як ви скажете «Hey Portal», і користувачі можуть будь-коли видалити свою голосову історію в журналі активності Facebook.

Але неможливо обійти той факт, що все ще відбувається певний рівень збору даних. «Хоча ми не прослуховуємо, не переглядаємо та не зберігаємо вміст ваших відеодзвінків на порталі та не використовуємо цю інформацію для націлювання реклами, ми обробляти деяку інформацію про використання пристрою, щоб зрозуміти, як використовується Portal, і покращити продукт», — зазначає Facebook. (Політика конфіденційності порталу можна прочитати тут.)

Портал пропонує дуже інтелектуальну технологію з величезним впливом на майбутнє відеочату. Немає сумніву, що компанії вдалося зробити щось дуже вражаюче з технологічної точки зору. Але те, чи зможе він переконати потенційних клієнтів, що це рішення, яке їм потрібно в житті, зрештою, виявиться справжнім досягненням.

Рекомендації редакції

• Прочитайте моторошно красиве «синтетичне писання» штучного інтелекту. що думає, що це Бог
• Мовна супермодель: як GPT-3 тихо запроваджує ШІ. революція
• Ми використовували A.I. інструмент для розробки нового логотипу. Ось що сталося
• Нейросимволічний А.І. це майбутнє штучного інтелекту. Ось як це працює
• Перегляд розвитку штучного інтелекту: як далеко просунувся штучний інтелект з 2010 року?