Begini cara Facebook mengajarkan Portal A.I. untuk berpikir seperti pembuat film Hollywood

Ketika Mark Zuckerberg membangun versi pertama Facebook di kamar asrama kampusnya di Harvard, dia membayangkannya sebagai jendela yang memungkinkan orang melihat kehidupan pengguna lain. Jika Google adalah mesin pencari informasi, maka Facebook sebaliknya adalah mesin pencari manusia. Lima belas tahun kemudian, Facebook membawa ambisi ini ke tingkat berikutnya. Dengan membuat Portal dan Portal+, jajaran speaker pintar dengan layar yang disempurnakan, diluncurkan pada bulan November 2018, Raksasa media sosial telah membuat jendela yang jauh lebih literal, memungkinkan pengguna Facebook melakukan panggilan video ke salah satunya lain.

Speaker pintar Portal mengartikan yang lain Facebook mimpi juga. Jika Facebook pada dasarnya adalah mesin pencari untuk orang-orang, Portal sebenarnya melakukan cari tahu: dengan kamera keliling 12 megapiksel, dengan bidang pandang 140 derajat, yang mengikuti Anda berkeliling ruangan untuk melihat apa yang Anda lakukan. Sebagai Tren Digital

masukkan ke dalam ulasan kami, “kalau kamu sibuk berpindah-pindah dapur sambil bertanya pada Nenek cara membuat bakso terkenalnya, kamu bisa menyibukkan diri sambil mendengarkan ceramahnya.”

Apa sebenarnya teknologi pintar yang menggerakkan Portal? Dan bagaimana menurut Facebook mereka memecahkan tantangan untuk membuat obrolan video biasa terasa personal seperti duduk untuk percakapan nyata? Jawabannya melibatkan kecerdasan buatan yang mengesankan – dan sentuhan manusia tambahan.

Menjadikan kamera lebih pintar

Sejak awal, Facebook tahu bahwa inti dari pengalaman Portal-nya adalah apa yang disebut sistem “Kamera Cerdas”. Ide dari Kamera Cerdas adalah untuk melampaui jenis pengambilan gambar statis yang telah ditawarkan oleh layanan seperti Skype selama bertahun-tahun, dan untuk memainkan peran yang lebih kreatif dalam proses tersebut. Sebagaimana seorang sutradara film atau sinematografer mengetahui kapan harus menggunakan pengambilan gambar lebar atau kapan harus memperbesar untuk pengambilan gambar close-up yang intim, demikian pula Facebook menantang para insinyurnya untuk meniru kemampuan yang sama dengan Portal.

Untuk memberikan sentuhan manusia yang diperlukan pada kamera ini, Facebook bekerja sama dengan para pembuat film untuk mencari cara terbaik dalam menyaring kebijaksanaan mereka menjadi wawasan yang dapat dipelajari mesin. Dalam satu kasus, mereka diminta untuk mendemonstrasikan bagaimana mereka dapat memotret sebuah adegan yang tidak mungkin menangkap semua informasi relevan dari satu sudut tetap.

Di sisi lain, para insinyur Facebook melihat berbagai elemen fotografi yang diprioritaskan oleh operator kamera dalam pengambilan gambar potret dan lanskap. Pengamatan ini membentuk dasar model perangkat lunak yang mencoba memberi Portal beberapa kebiasaan pengambilan keputusan yang biasanya kita kaitkan dengan kreativitas manusia.

“Kami ingin menciptakan pengalaman panggilan video hands-free yang menghilangkan perasaan jarak fisik dan jarak lebih seperti jalan-jalan bersama,” Eric Hwang, salah satu insinyur di balik Portal, menjelaskan kepada Digital Trends.

Sistem yang dihasilkan – yang menurut Facebook membutuhkan waktu “kurang dari dua tahun” untuk dibuat dari awal – memungkinkan Portal membuat keputusan yang dirancang untuk meningkatkan alur percakapan. Di sebuah postingan blog yang baru diterbitkan, ini merinci beberapa ilustrasi mengapa hal ini mungkin diperlukan. Misalnya, jika Anda berada di ruangan yang penuh sesak, penuh dengan orang-orang yang berinteraksi satu sama lain, kamera harus memilih kapan harus mengikuti seseorang keluar dari bingkai atau kapan harus memperkecil tampilan untuk mengakomodasi subjek baru.

Demikian pula, ia harus belajar menghadapi perubahan situasi cahaya secara real time. Apa yang Anda lakukan jika subjek Anda berbaring di ruangan gelap, setengah tertutup selimut, namun ada anak-anak berlarian di latar belakang sehingga menyebabkan gerakan kabur? Portal menimbang semua informasi ini dalam waktu kurang dari sekejap mata dan mencoba menentukan hasil terbaik. (Jika Anda ingin mengontrol secara manual siapa yang menjadi fokusnya, itu sekarang mungkin juga.)

Tantangan teknis

Dari sudut pandang teknis, ada beberapa hal yang membuat teknologi Portal mengesankan. Yang pertama adalah ia dapat melakukan semua ini tanpa menggunakan kamera bergerak sebenarnya. Pada awal proses pengembangan, para insinyur Portal mencoba prototipe yang menggunakan kamera bermotor, yang dapat diputar menghadap subjek. Namun, hal ini diputuskan karena menyebabkan kelambatan dan potensi kegagalan mekanis. Sebaliknya, Portal terdiri dari lensa sudut sangat lebar di mana semua keputusan pergerakan dan pengeditan dibuat sepenuhnya secara digital.

Kedua, tim yang mengerjakan Portal menemukan cara untuk mencapai proses pengambilan keputusan tanpa harus bergantung pada komputasi awan. Menurut Hwang, semua daya komputasi dicapai dalam perangkat.

“Menangkap semua orang dalam bingkai video bukanlah masalah teknik yang sulit, karena banyak insinyur dapat melakukannya dengan kemajuan visi komputer saat ini,” katanya. “Inovasinya adalah menangkap orang-orang yang relevan secara real-time, di perangkat, hanya dengan menggunakan chip seluler kecil di dalam Portal sebagai kekuatan pemrosesan. Biasanya jenis A.I. tugas memerlukan server khusus dan besar. [Kami] mengatasi kendala tersebut dengan mengompresi model visi komputer yang kompleks hingga dapat dipasang pada chip yang kami gunakan untuk Portal dan tetap berjalan secara akurat dan andal.”

Untuk melakukan hal ini, Portal memanfaatkan investasi jangka panjang Facebook dalam kecerdasan buatan. Ini menggunakan sistem deteksi pose 2D yang berjalan pada 30 frame per detik. Kesengajaan dari pose-pose ini membantu Portal untuk membuat keputusan terus-menerus tentang apa yang dilakukan subjeknya — dan sebagai hasilnya, kapan Portal mungkin perlu menggeser atau memperbesar secara digital. Ini juga menggunakan penelitian terhadap kamera kedalaman yang dikembangkan oleh Facebook Reality Labs sebagai bagian dari upaya realitas virtual raksasa media sosial tersebut.

Pasar yang berkembang

Facebook yakin bahwa mereka akan menjadi pemenang dengan Portal. Sangat mudah untuk melihat dari mana rasa percaya diri tersebut berasal. Saat ini, pasar speaker pintar sedang booming. Meskipun sebagian besar didominasi oleh pemimpin pasar Amazon, namun hal tersebut tetap terjadi tumbuh lebih dari 100 persen tahun ke tahun. Hal ini merupakan kabar baik bagi perusahaan teknologi yang sedang mencari hal besar berikutnya di saat krisis melanda telepon pintar penjualan.

Sementara Facebook adalah yang terakhir dari empat raksasa teknologi besar (Amazon, Alphabet, Facebook dan Apple) untuk ikut-ikutan, masih tetap ada salah satu yang pertama gelombang speaker pintar yang berpusat di sekitar layar sebagai perangkat komunikasi.

“Portal adalah satu-satunya produk sejenis yang ada di pasaran,” kata Hwang. “Saat ini, speaker dan layar pintar dibangun berdasarkan informasi dan perdagangan. Portal dibangun untuk memudahkan kita terhubung dengan orang-orang yang paling berarti: teman terdekat dan keluarga. Dan Portal berfokus untuk menghubungkan orang-orang – bagian dari misi Facebook – yang saat ini tidak dilayani dengan baik oleh pasar perangkat rumah tangga.”

Tantangan privasi ke depan?

Jadi, apa yang menghentikan Facebook? Ya, berpotensi privasi. Secara mengejutkan, pengguna telah terbukti bersedia menggunakan gadget yang “selalu mendengarkan” dari perusahaan seperti Google yang memiliki kepentingan dalam data pengguna. Namun perangkat yang mengawasi dan mendengarkan Anda masih lebih invasif. Selain itu, reputasi Facebook masih terpuruk setelahnya skandal Cambridge Analytica tahun lalu.

Hanya beberapa hari sebelum artikel ini diterbitkan, Washington Post dilaporkan bahwa Facebook sedang menegosiasikan penyelesaian multi-miliar dolar yang memecahkan rekor dengan FTC atas pelanggaran privasi yang dilakukannya. Dengan meningkatnya reaksi balik dari banyak mantan pengguna, belum diketahui apakah hal ini akan terjadi Facebook memiliki kesuksesan ala Amazon Echo — atau kegagalan ala Amazon Fire Phone.

Facebook meyakinkan kami bahwa mereka tidak mendengarkan, melihat, atau menyimpan konten panggilan video Portal, yang juga dienkripsi untuk menghindari penyadapan. Fakta bahwa A.I. kecerdasan berjalan secara lokal di perangkat, dan bukan di Facebook server, juga berarti bahwa informasi ini tidak meninggalkan rumah Anda. Perintah suara dikirim ke perusahaan hanya setelah Anda mengucapkan “Hai Portal,” dan pengguna dapat menghapus riwayat suara mereka di Log Aktivitas Facebook kapan saja.

Namun faktanya masih ada pengumpulan data pada tingkat tertentu. “Meskipun kami tidak mendengarkan, melihat, atau menyimpan konten panggilan video Portal Anda, atau menggunakan informasi ini untuk menargetkan iklan, kami proses beberapa informasi penggunaan perangkat untuk memahami bagaimana Portal digunakan dan untuk meningkatkan produk,” catat Facebook. (Kebijakan privasi Portal dapat dibaca di sini.)

Portal menawarkan beberapa teknologi yang sangat cerdas dengan implikasi besar bagi masa depan obrolan video. Tidak ada keraguan bahwa perusahaan telah berhasil mencapai sesuatu yang sangat mengesankan dari sudut pandang teknologi. Namun apakah hal ini dapat meyakinkan calon pelanggan bahwa ini adalah solusi yang mereka perlukan dalam hidup mereka, pada akhirnya, akan terbukti menjadi pencapaian nyata.

Rekomendasi Editor

• Bacalah 'kitab suci sintetik' yang sangat indah dari A.I. yang berpikir itu adalah Tuhan
• Supermodel bahasa: Bagaimana GPT-3 secara diam-diam menghadirkan A.I. revolusi
• Kami menggunakan A.I. alat desain untuk menghasilkan logo baru. Inilah yang terjadi
• A.I. neuro-simbolis adalah masa depan kecerdasan buatan. Begini cara kerjanya
• Meninjau kembali kebangkitan AI: Sejauh mana kemajuan kecerdasan buatan sejak tahun 2010?