Oto, jak Facebook nauczył swoją sztuczną inteligencję Portalu myśleć jak hollywoodzki filmowiec

Kiedy Mark Zuckerberg zbudował pierwszą wersję Facebooka w swoim pokoju w akademiku na Harvardzie, wyobrażał sobie, że będzie to okno, które pozwoli ludziom podglądać życie innych użytkowników. Jeśli Google był wyszukiwarką informacji, to Facebook był wyszukiwarką ludzi. Piętnaście lat później Facebook przeniósł te ambicje na wyższy poziom. Tworząc Portal i Portal+, linię inteligentnych głośników z ulepszonym ekranem, wprowadzoną na rynek w listopadzie 2018 r., gigant mediów społecznościowych stworzył znacznie bardziej dosłowne okno, umożliwiając użytkownikom Facebooka prowadzenie rozmów wideo z jednym z nich inny.

Inteligentne głośniki Portal dosłownie urzeczywistniają coś innego Facebook też śnij. Tam, gdzie Facebook był w istocie wyszukiwarką ludzi, właściwie Portalem robi przeszukaj je: za pomocą ruchomego aparatu o rozdzielczości 12 megapikseli i polu widzenia 140 stopni, który podąża za Tobą po pomieszczeniu i sprawdza, co robisz. Jako trendy cyfrowe

umieść to w naszej recenzji„Jeśli jesteś zajęty chodzeniem po kuchni i pytaniem babci, jak zrobić jej słynne klopsiki, możesz zająć się tym, słuchając jej rozmowy”.

Czym dokładnie jest inteligentna technologia, która napędza Portal? I dlaczego Facebook uważa, że ​​sprostał wyzwaniu, jakim jest sprawienie, aby zwykły czat wideo był tak osobisty, jak prawdziwa rozmowa? Odpowiedź obejmuje imponującą sztuczną inteligencję i dodatkowy ludzki akcent.

Zwiększanie inteligencji aparatów

Facebook od samego początku wiedział, że podstawą funkcjonalności Portalu będzie tak zwany system „inteligentnej kamery”. Pomysł inteligentnej kamery polegał na wyjściu poza statyczne ujęcia oferowane nam od lat przez usługi takie jak Skype i odegranie w tym procesie bardziej kreatywnej roli. Tak jak reżyser filmowy lub operator wie, kiedy zastosować szerokie ujęcie, a kiedy powiększyć, aby uzyskać intymne zbliżenie, tak samo Facebook rzucił wyzwanie swoim inżynierom, aby naśladowali tę samą zdolność w Portalu.

Aby nadać temu aparatowi niezbędny ludzki charakter, Facebook współpracował z filmowcami, aby znaleźć najlepszy sposób na przekształcenie ich mądrości w spostrzeżenia, których można uczyć się maszynowo. W jednym przypadku poproszono ich o pokazanie, jak mogliby nakręcić scenę, w której nie da się uchwycić wszystkich istotnych informacji pod jednym stałym kątem.

W innym przypadku inżynierowie Facebooka przyjrzeli się różnym elementom fotograficznym, dla których operatorzy kamer traktują priorytetowo w przypadku zdjęć portretowych i krajobrazowych. Obserwacje te stały się podstawą modeli oprogramowania, które próbują nasycić Portal pewnymi dziwactwami związanymi z podejmowaniem decyzji, które normalnie przypisalibyśmy ludzkiej kreatywności.

„Chcieliśmy stworzyć usługę rozmów wideo bez użycia rąk, która eliminowałaby poczucie fizycznego dystansu i tak jest bardziej jak wspólne spędzanie czasu” – wyjaśnił Digital Trends Eric Hwang, jeden z inżynierów odpowiedzialnych za Portal.

Powstały system – którego stworzenie od zera według Facebooka zajęło „niecałe dwa lata” – umożliwia Portalowi podejmowanie decyzji mających na celu poprawę przepływu rozmowy. W nowo opublikowany wpis na blogu, szczegółowo opisuje niektóre ilustracje pokazujące, dlaczego może to być konieczne. Na przykład, jeśli znajdujesz się w zatłoczonym pokoju, pełnym ludzi wchodzących w interakcje ze sobą, aparat musi wybrać, kiedy podążać za osobą poza kadrem, a kiedy pomniejszyć, aby uwzględnić nowe obiekty.

Podobnie musi nauczyć się radzić sobie w czasie rzeczywistym ze zmieniającymi się sytuacjami oświetleniowymi. Co zrobić, jeśli obiekt leży w ciemnym pokoju, do połowy przykryty kocem, ale w tle biegają dzieci, powodując rozmycie ruchu? Portal waży wszystkie te informacje w czasie krótszym niż mrugnięcie okiem i stara się określić najlepszy wynik. (Jeśli chcesz ręcznie kontrolować, na kim ma się skupiać, to też jest teraz możliwe.)

Wyzwania techniczne

Z technicznego punktu widzenia technologię Portalu imponuje kilka rzeczy. Po pierwsze, może to wszystko zrobić bez użycia ruchomej kamery. Na początku procesu opracowywania inżynierowie Portalu wypróbowali prototypy wykorzystujące kamerę z napędem silnikowym, która obracała się w stronę obiektów. Jednak odrzucono tę decyzję na tej podstawie, że powodowało to opóźnienie i punkt potencjalnej awarii mechanicznej. Zamiast tego Portal zawiera niezwykle szerokokątny obiektyw, w którym wszystkie decyzje dotyczące ruchu i edycji są podejmowane całkowicie cyfrowo.

Po drugie, zespół pracujący nad Portalem znalazł sposób na realizację procesów decyzyjnych bez konieczności polegania na chmurze obliczeniowej. Według Hwanga cała moc obliczeniowa jest osiągana w urządzeniu.

„Uchwycenie wszystkich osób w klatce wideo nie jest trudnym problemem inżynieryjnym, ponieważ wielu inżynierów może tego dokonać dzięki dzisiejszym postępom w zakresie rozpoznawania obrazu komputerowego” – powiedział. „Innowacja polega na przechwytywaniu odpowiednich osób lub osób w czasie rzeczywistym na urządzeniu, przy użyciu jedynie małego mobilnego chipa w Portalu jako mocy obliczeniowej. Zwykle tego typu sztuczna inteligencja zadania wymagają dedykowanych, dużych serwerów. [Pokonaliśmy] tę przeszkodę, kompresując złożone modele widzenia komputerowego do momentu, aż zmieściły się na chipie, którego używamy w Portalu, a mimo to nadal działały dokładnie i niezawodnie”.

W tym celu Portal czerpie z długoterminowych inwestycji Facebooka w sztuczną inteligencję. Wykorzystuje system wykrywania pozy 2D, który działa z szybkością 30 klatek na sekundę. Celowość tych póz pomaga Portalowi w ciągłym podejmowaniu decyzji dotyczących tego, co robią bohaterowie i kiedy w rezultacie może zaistnieć potrzeba cyfrowego przesuwania lub powiększania. Wykorzystuje dodatkowo badania nad kamerami głębi opracowanymi przez Facebook Reality Labs w ramach wysiłków giganta mediów społecznościowych w zakresie rzeczywistości wirtualnej.

Rosnący rynek

Facebook jest przekonany, że dzięki Portalowi ma szansę na zwycięstwo. Łatwo zobaczyć, skąd bierze się jego pewność siebie. Obecnie rynek inteligentnych głośników kwitnie. Choć w dużej mierze zdominowany przez lidera rynku Amazon, tak jest rośnie rok do roku o ponad 100%.. To dobra wiadomość dla firm technologicznych poszukujących kolejnej wielkiej rzeczy w czasach stagnacji smartfon obroty.

Chociaż Facebook był ostatnim z czterech wielkich gigantów technologicznych (Amazon, Alphabet, Facebook i Apple), aby wskoczyć na modę, nadal jest jeden z pierwszych fala inteligentnych głośników skupionych wokół ekranu jako urządzenia komunikacyjnego.

„Portal to jedyny tego typu produkt na rynku” – powiedział Hwang. „Dzisiaj inteligentne głośniki i wyświetlacze budowane są z myślą o informacjach i handlu. Portal został zbudowany, aby ułatwić kontakt z osobami, które są dla nas najważniejsze: naszymi najbliższymi przyjaciółmi i rodziną. Portal koncentruje się na łączeniu ludzi – co jest częścią misji Facebooka – co obecnie nie jest dobrze obsługiwane na rynku urządzeń domowych.

Wyzwania dotyczące prywatności przed nami?

Co zatem powstrzymuje Facebooka? Cóż, potencjalnie prywatność. Użytkownicy okazali się zaskakująco skłonni do korzystania z gadżetów „zawsze nasłuchujących” takich firm jak Google, którym zależy na danych użytkowników. Ale urządzenie, które Cię obserwuje i słucha, jest jeszcze bardziej inwazyjne. Co więcej, reputacja Facebooka nadal cierpi ubiegłoroczny skandal z Cambridge Analytica.

Na kilka dni przed publikacją tego artykułu, Poczta Waszyngtońska zgłoszone że Facebook negocjuje rekordową, wielomiliardową ugodę z FTC w związku z wykroczeniami dotyczącymi prywatności. W obliczu rosnącej reakcji wielu byłych użytkowników nie wiadomo jeszcze, czy Facebook ma na koncie hit w stylu Amazon Echo — lub klapę w stylu Amazon Fire Phone.

Facebook zapewnił nas, że nie podsłuchuje, nie przegląda i nie przechowuje treści rozmów wideo Portalu, które są dodatkowo szyfrowane, aby uniknąć podsłuchu. Fakt, że sztuczna inteligencja Portalu smarts działają lokalnie na urządzeniu, a nie na nim Facebook serwerów, oznacza także, że informacje te nie opuszczą Twojego domu. Polecenia głosowe są wysyłane do firmy dopiero po powiedzeniu „Hej, portal”. Użytkownicy mogą w dowolnej chwili usunąć historię swoich poleceń głosowych w Dzienniku aktywności Facebooka.

Nie można jednak pominąć faktu, że nadal w pewnym stopniu gromadzone są dane. „Chociaż nie słuchamy, nie przeglądamy ani nie przechowujemy treści rozmów wideo w Portalu ani nie wykorzystujemy tych informacji do kierowania reklam, przetwarzają niektóre informacje o użytkowaniu urządzenia, aby zrozumieć, w jaki sposób Portal jest używany i ulepszyć produkt” – zauważa Facebook. (Polityka prywatności Portalu można przeczytać tutaj.)

Portal oferuje bardzo inteligentną technologię o ogromnych implikacjach dla przyszłości czatów wideo. Nie ma wątpliwości, że firmie udało się stworzyć coś naprawdę imponującego z technologicznego punktu widzenia. Ale to, czy uda mu się przekonać potencjalnych klientów, że jest to rozwiązanie, którego potrzebują w swoim życiu, ostatecznie okaże się prawdziwym osiągnięciem.

Zalecenia redaktorów

• Przeczytaj niesamowicie piękne „syntetyczne pismo” AI. który myśli, że jest Bogiem
• Supermodelka językowa: jak GPT-3 po cichu wprowadza A.I. rewolucja
• Użyliśmy sztucznej inteligencji. narzędzie do projektowania, aby wymyślić nowe logo. Oto, co się stało
• Neuro-symboliczna sztuczna inteligencja to przyszłość sztucznej inteligencji. Oto jak to działa
• Wracając do rozwoju sztucznej inteligencji: jak daleko zaszła sztuczna inteligencja od 2010 roku?