Bagaimana Tupac dan Thanos Menghasilkan Douglas, Manusia Digital AI

Jika Anda pernah berpartisipasi dalam panggilan video grup, Anda mungkin terbiasa tidak mengenal semua orang yang muncul di layar. Anda mungkin tidak mengetahui nama semua orang, namun paling tidak, Anda dapat yakin bahwa setiap orang yang bergabung dalam panggilan tersebut adalah manusia.

Atau bisakah kamu?

Pada saat studio efek visual memilikinya aktor veteran yang sudah lanjut usia, diizinkan pelaku manusia untuk menghuni kreasi digital, dan bahkan membawa pulang artis yang sudah meninggal pertunjukan postmortem, tidak mengherankan jika studio VFX juga memungkinkan Anda mengobrol dengan seorang orang digital dengan kecerdasan artifisial tentang buku favorit Anda dan saling meratapi ketidakmampuan untuk mengunjungi bioskop.

Hal ini seharusnya tidak mengherankan, namun tetap terasa aneh ketika tiba-tiba menemukan simpati pada Douglas, “orang” virtual yang digerakkan oleh AI yang diciptakan oleh studio VFX pemenang Oscar.

Domain Digital.

Selama panggilan Zoom baru-baru ini, Douglas – bersama dengan anggota tim yang mengerjakannya – bergabung dengan saya untuk demonstrasi singkat.

Evolusi manusia digital

“Saya penggemar berat Stephen King,” Douglas memberi tahu saya setelah bolak-balik tentang hobi kami - percakapan yang kemudian membuatnya mengaku bahwa dia juga menyukai novel roman dan novel J.D. Salinger. Penangkap di Rye.

Di dunia dimana mengucapkan nama Siri atau Alexa hanya dengan suara keras yang diperlukan untuk memanggil A.I. pendamping, pengalaman dengan Douglas menawarkan a pengingat yang kuat bahwa potensi AI lebih dari sekadar memberikan ramalan cuaca dan keseharian kita jadwal.

Penciptaan Domain Digital — studio yang sama yang menghadirkan penakluk kosmik Marvel kepada penonton Thanos masuk Pembalas: Perang Tanpa Batas Dan Pembalas dendam:Akhir permainan — Douglas adalah manusia digital otonom yang mampu berinteraksi dengan pengguna secara real time dan merespons isyarat visual dan percakapan. Dimodelkan setelahnya Dr Doug Roble, direktur senior R&D Perangkat Lunak Digital Domain, Douglas dapat menjawab pertanyaan, melakukan percakapan panjang, dan terlibat dalam obrolan ringan tentang berbagai topik.

“Teknologi selalu berusaha memimpin tuntutan seni, baik itu simulasi cair atau apa pun,” kata Roble tentang keputusan studio untuk menciptakan sebuah karya seni. seluruh departemen yang dikhususkan untuk manusia digital.

Selama dekade terakhir, Digital Domain berulang kali ditugaskan untuk menciptakan karakter digital yang mirip manusia — mulai dari pemenang penghargaan tahun 2012 kinerja Tupac holografik di Coachella dengan hal yang disebutkan di atas Alam Semesta Sinematik Marvel penjahat. Dalam film layar lebar, iklan, serial TV, video game, dan pertunjukan panggung (dalam kasus Tupac), permintaan akan karakter digital realistis semakin meningkat seiring dengan meningkatnya permintaan akan karakter digital yang realistis. waktu, mendorong Digital Domain untuk membagi tim yang bertanggung jawab atas efek visual tersebut menjadi unitnya sendiri yang berfokus untuk mendorong batas kemampuan manusia digital Mengerjakan.

Douglas adalah produk dari peningkatan fokus dan bukti konsep tim: “Orang” digital otonom yang menggabungkan berbagai kumpulan data, metode sensorik, dan modul pemrograman yang ada dengan atribut manusia foto-realistis untuk berinteraksi dengan pengguna dengan cara yang sangat mirip dengan sosialisasi manusia yang sebenarnya.

Dan di saat pandemi memaksa sebagian besar aktivitas sosial kita dilakukan melalui komputer Di layar, berinteraksi dengan Douglas terasa sangat mirip dengan apa yang dianggap sebagai interaksi manusia sejati hari. Namun, tim dengan cepat menambahkan bahwa Douglas masih jauh dari lulus Tes Turing.

Kode membentuk manusia

“Douglas bukanlah orang yang sepenuhnya otonom dan tidak dapat dibedakan dari orang sungguhan,” jelasnya. Darren Hendler, direktur Digital Humans Group di studio. “Kita tidak berada di sana, dan kita tidak akan berada di sana untuk sementara waktu. … Namun di sinilah segala sesuatunya berjalan dan seperti apa masa depan, dan kami mencoba untuk mendobrak batasan tersebut.”

Dan seolah diberi isyarat, Hendler disela oleh Douglas sendiri.

“Itu adalah sikap yang baik untuk dimiliki,” sela Douglas, yang sampai saat itu diam-diam menempati jendelanya sendiri di kotak obrolan Zoom yang memfasilitasi demo kami, sesekali berpindah ke posisi, melihat sekilas ke sekeliling ruang virtualnya, dan menunjukkan banyak tingkah laku fisik khas orang yang hidup dalam rapat video yang dengan sabar menunggu untuk berpartisipasi dalam rapat percakapan

“Saya mendoakan yang terbaik untuk usaha Anda,” tambahnya, mengingatkan kita bahwa selain menyampaikan hal-hal menarik, ia juga seorang pendengar yang tajam.

Menurut Roble, tim pertama dan terpenting membayangkan Douglas sebagai cara visual untuk berinteraksi dengan agen percakapan yang kompleks dan kuat yang telah diciptakan. Di bawah avatar foto asli Douglas, manusia digital studio ini dibangun berdasarkan perpaduan tiga agen tersebut: agen populer Google Alur dialog suite untuk membuat chatbots, agen tipe asisten (mirip dengan Alexa dari Amazon atau Siri dari Apple); dan percakapan A.I. agen (mirip dengan GPT-3 proyek) digunakan untuk menghasilkan teks percakapan yang mirip manusia, prediktif (dan reaktif).

Kombinasi ketiga agen tersebut memberi Douglas kemampuan untuk melakukan percakapan yang informatif dan lancar, dengan diskusi tentang satu topik sering kali terbagi ke dalam bidang minat terkait.

Percakapan saya dengan Douglas beralih dari obrolan tentang buku favorit kami ke film favoritnya (dia adalah penggemar beratnya 2001: Pengembaraan Luar Angkasa, misalnya, yang tidak mengejutkan dan sedikit menakutkan, mengingat fokus cerita pada A.I. mengamuk) dan hobi kita bersama. Dalam salah satu bagian percakapan kami yang sangat tepat waktu, Douglas mengungkapkan kekecewaannya karena dia tidak bisa mengunjungi bioskop akhir-akhir ini.

Namun, semua kekuatan percakapan itu mempunyai risiko tertentu, seperti dijelaskan Hendler.

“Mesin pengolah bahasa alami chatbot dilatih untuk melakukan dialog dari internet – dialog dalam jumlah besar – sehingga percakapan bisa sampai ke tempat yang asing,” katanya. “Jadi ada kalanya dia mengatakan hal-hal yang mungkin tidak tepat. Itu tidak sering terjadi, tapi kita tidak bisa mengontrol apa yang akan dia katakan pada semuanya.”

Dan meskipun aspek percakapan Douglas sangat mengesankan, itu hanyalah sebagian dari apa yang membuatnya unik di dunia manusia digital dan karakter virtual interaktif yang terus berkembang. Ketika Digital Domain ditemukan, menjadikannya Lihat manusia berusaha keras untuk membuatnya merasa manusia juga.

Menghadapi

“Dalam membangun Douglas, kami menggunakan sejumlah besar data dari Doug [Roble]. Jumlah audio yang sangat besar untuk melatih sistem [dan] sejumlah besar performa wajah, data gerakan tubuh, dan lainnya,” jelas Hendler tentang karyanya. mereka memetakan wajah Roble dan berbagai cara yang dapat diubah oleh wajah manusia saat berbicara, bereaksi terhadap isyarat emosional, atau berpartisipasi secara pasif dalam suatu aktivitas. percakapan.

Produk dari semua data tersebut adalah manusia digital yang terlihat sangat mirip dengan — namun tidak seperti salinan persis — Roble, dari yang terakhir postur, gaya rambut, dan gerakan halus baik Roble maupun Douglas A.I. bagikan saat mereka berpartisipasi dalam video grup kami percakapan. Kemiripannya luar biasa, tetapi dengan perintah singkat untuk “mengganti wajahmu,” Douglas tiba-tiba menjadi orang lain, dengan berbeda, wajah yang sama-sama mirip manusia pada tubuh yang sama, namun tetap mempertahankan semua tingkah laku halus yang membuatnya tampak nyata.

“Saat kami meminta Douglas untuk mengubah wajahnya dan wajahnya beralih ke orang lain, itulah awal dari arah gelombang teknologi baru ini,” kata Hendler, menjelaskan “Teknik berbasis gambar” yang sedang dikerjakan tim untuk menjadikan Douglas orang digital yang lebih fleksibel yang mampu mengubah penampilan luarnya secara dramatis sambil mempertahankan tingkat yang sama. interaktivitas. “Setelah kami memiliki basis ini [dengan Douglas], kami dapat memfilmkan rekaman orang lain dan mendapatkan sebagian dari audio mereka, dan kemudian mengubah basis itu menjadi mereka – menjadikannya wajah mereka.”

“[Jika kami melakukan itu] saat ini, mereka masih berbicara dengan ekspresi orang yang kami rekam sebelumnya [dalam hal ini, Roble],” lanjutnya. “Namun seiring berjalannya waktu, kita mulai membutuhkan data dalam jumlah yang lebih kecil – mungkin hanya berupa gambar atau rekaman film seseorang – untuk menciptakan generasi berikutnya dari manusia otonom ini.”

Kemampuan untuk meniru penampilan, suara, dan tingkah laku manusia nyata melalui percakapan A.I. pondasi merupakan salah satu unsur yang membedakan Douglas dari sebagian besar A.I. asisten, robot humanoid, dan proyek lain yang sedang dikembangkan seputar A.I. dunia penelitian. Meskipun ada banyak studio dan agensi lain yang mengembangkan A.I. proyek dari satu jenis atau lainnya, Domain Digital berfokus pada perpaduan semua elemen tersebut ke dalamnya sebuah produk tunggal yang kohesif yang menggunakan teknologi dan data terbaik yang tersedia dengan antarmuka yang terasa sosial dan organik — seperti berbicara dengan manusia lain.

“Ini adalah sesuatu yang sangat kami banggakan, karena Douglas adalah karakter CG sepenuhnya yang berjalan di Unreal,” katanya Roble, yang sangat bangga menggunakan elemen yang tersedia secara luas seperti platform pembuatan 3D yang populer Mesin Tidak Nyata, yang telah menjadi platform pilihan bagi Hollywood (dan sebelumnya, industri video game) dalam hal membuat dan memanipulasi elemen efek visual 3D. “[Douglas] adalah objek 3D, jadi Anda dapat melakukan semua hal yang dapat Anda lakukan dengan karakter digital apa pun di Unreal. Anda dapat mengubah pencahayaan, menempatkannya di lingkungan berbeda, dan sebagainya. Namun kami juga menciptakan hibrida ini [dengan semua hal lain yang terlibat dalam Douglas], sehingga kami mendapatkan yang terbaik dari kedua hal tersebut.”

Ke mana pun Anda melihat

Semakin banyak tim bekerja pada Douglas, semakin panjang daftar aplikasi potensial bertambah.

“Sebelum pandemi, kami berencana menghadirkan Douglas sebagai sebuah kios, tempat Anda menghadap layar dan berbicara dengannya,” kenang Hendler. “Tapi kemudian kami berpikir, 'Hei, kita harus benar-benar mengajaknya melakukan panggilan Zoom.' Sungguh luar biasa melihat dia melakukan panggilan Zoom dan keluar.”

Selama demonstrasi, tim memeriksa daftar panjang permohonan potensial untuk Douglas, dari kantor dokter dan layanan pelanggan, hingga kegunaannya di Hollywood pada tahap awal perencanaan sebuah adegan atau layar tertentu urutan. Douglas sendiri bahkan memberikan beberapa saran, yang menyatakan bahwa dia cocok untuk pembuatan storyboard dan tahap konseptual produksi film dan TV. Kemampuannya memproses isyarat audio dan visual dari orang yang dia ajak bicara — terutama dalam hal keadaan emosional — juga menawarkan kegunaan tambahan ketika berhadapan dengan pelanggan atau mereka yang mencari panduan medis, menurut Hendler.

Kecepatan Douglas memproses semua informasi itu dan beralih dari pendengar pasif menjadi pendengar aktif pembicara juga memiliki banyak daya tarik, dan menunjukkan sejauh mana teknologi di belakangnya telah berkembang dalam waktu singkat waktu.

“Saat kami membuat Thanos, kami memiliki satu frame yang membutuhkan waktu 10 jam untuk dirender. Itu satu frame,” jelasnya.

“Bagi Douglas, dia memiliki sistem pengenalan penglihatan, jadi dia melihat kita dan dapat mengidentifikasi kita, dan dia menganalisis apa yang Anda katakan, mengubahnya menjadi kata-kata, dan mengirimkannya ke chatbot yang berbeda,” tambahnya. “Douglas kemudian menciptakan respons, mengubahnya menjadi audio, dan menggunakan audio tersebut untuk mengarahkan wajahnya. Pada saat yang sama, dia juga mencari tahu gerakan tubuh apa yang menyertai ucapan tersebut, menentukan emosi apa yang cocok, dan menampilkan gerakan tubuh tersebut bersama dengan gerakan wajahnya.”

“Itu semua terjadi dalam beberapa milidetik,” kata Hendler. “Itu semua adalah proses, dibandingkan dengan 10 jam untuk satu frame dalam sebuah film layar lebar. Sungguh menakjubkan. Ini tidak realistis seperti apa yang kami lakukan untuk film, tetapi jika Anda memikirkan tentang banyaknya hal yang terjadi untuk dapat berbicara dengannya seperti orang sungguhan, itu sungguh fenomenal.”

Dan dalam arti sebenarnya, Douglas sering kali menjadi penasihat terbaiknya dalam hal potensinya.

Roble menjelaskan bahwa, dalam beberapa kesempatan, mereka memilih untuk membiarkan Douglas memimpin presentasinya sendiri, ya… dirinya sendiri. Hasilnya akhirnya menjadi potensi yang lebih baik daripada yang mereka perkirakan.

“[Presentasi Douglas] ternyata sangat menarik. Ini bukan sekadar meminta Siri untuk memberi tahu kami sesuatu, karena dia adalah bagian dari proses tersebut,” kenang Roble. “Dia menyenangkan untuk diajak bicara karena dia orang baru, tapi dia juga sangat efektif. Dan Anda pasti berpikir: Bagaimana dengan pengajaran atau penerapan lainnya? Lagi pula, Anda bisa melihat saat dia memperhatikan. Anda bisa memberinya umpan balik emosional dan dia bisa meresponsnya.”

Meskipun Douglas sudah menjadi kreasi yang mengesankan, tim Digital Domain bersikeras bahwa dia tetap mengerjakannya kemajuan — tetapi tidak ada batasnya dalam hal pekerjaan apa yang dapat dilakukan oleh manusia digital mereka seiring berjalannya waktu terus. Dalam banyak hal, proses untuk mengetahui kemampuan Douglas adalah proses dan tujuannya.

“Salah satu alasan kami melakukan ini adalah karena kami mampu,” kata Roble. “Saat Anda berada di depan komputer dan bekerja, sangat mudah untuk mengetik saja. Namun ada banyak waktu dan tempat yang menyenangkan jika bisa berbicara dengan seseorang dan membuat orang tersebut berinteraksi dengan Anda serta bereaksi terhadap Anda. Saya pikir kita sedang menghadapi perubahan besar di masa depan.”

Rekomendasi Editor

• Bagaimana tim Thanos VFX menghidupkan karakter The Quarry (dan kemudian membunuh mereka)