Veritone Ingin Mengkloning Suara Anda Secara Deepfake

Ada video yang muncul secara berkala di feed YouTube saya. Ini adalah percakapan antara rapper Snoop Dogg dan 50 Cent yang meratapi kenyataan bahwa, dibandingkan dengan generasi mereka, semua artis hip-hop modern tampaknya terdengar sama. “Saat seseorang memutuskan untuk menjadi dirinya sendiri, mereka menawarkan sesuatu yang tidak bisa dilakukan orang lain,” kata 50 Cent. “Ya, karena begitu kamu menjadi kamu - siapa yang bisa menjadi kamu selain kamu?” Snoop merespons.

Saat video tersebut diunggah pada bulan Oktober 2014, hal tersebut mungkin benar. Namun beberapa tahun kemudian, hal itu tentu saja tidak terjadi. Di dunia audio deepfake, melatih A.I. untuk terdengar sangat mirip dengan orang lain dengan memberinya korpus audio yang terdiri dari berjam-jam data lisan mereka. Hasilnya adalah sangat akurat.

Tokoh masyarakat seperti

rapper Jay-Z dan psikolog Jordan Peterson telah mengeluh tentang orang-orang yang menyalahgunakan suara mereka dengan membuat audio deepfake dan kemudian membuat mereka mengatakan hal-hal konyol di internet. "Bangun," tulis Peterson. “Kesucian suara dan citra Anda, berada dalam risiko serius.” Itu hanyalah kasus-kasus nakal. Di negara lain, dampaknya bisa mengarah pada kriminalitas yang tidak bernuansa. Di dalam satu kejadian tahun 2019, penjahat menggunakan audio deepfake untuk meniru suara CEO sebuah perusahaan energi dan membujuk bawahannya melalui telepon untuk segera mentransfer $243.000 ke rekening bank.

Veritone, seorang A.I. perusahaan yang menciptakan alat pintar untuk memberi label pada media untuk industri hiburan, adalah mengembalikan kekuatan audio deepfake ke tangan (atau, err, tenggorokan) orang yang berhak milik. Bulan ini, perusahaan mengumumkan Marvel.ai, yang dijelaskan oleh presiden perusahaan Ryan Steelberg kepada Digital Trends sebagai “solusi suara sebagai layanan yang lengkap.” Dengan biaya tertentu, Veritone akan membuat A.I. modelkan itu terdengar seperti Anda (atau, lebih mungkin, orang terkenal dengan suara yang mudah dikenali), yang kemudian dapat dipinjamkan seperti versi teknologi tinggi dari milik Ariel tawar-menawar suara sebagai jaminan dari Putri Duyung Kecil.

“Suara Anda sama berharganya dengan konten atau atribut merek lain yang Anda miliki,” kata Steelberg. “[Itu setara dengan] nama dan rupa Anda, wajah Anda, tanda tangan Anda, atau lagu yang Anda tulis atau konten yang Anda buat.”

“Kita bisa memanfaatkan banyak hal”

Tentu saja, ada orang-orang tertentu yang telah lama menjual suaranya dalam bentuk rekaman iklan atau sulih suara, menyanyikan lagu, dan berbagai bentuk monetisasi lainnya. Namun semua upaya ini mengharuskan orang tersebut untuk benar-benar mengucapkan kata-katanya. Apa yang dijanjikan oleh solusi Veritone adalah menjadikannya dapat diskalakan secara individual.

Bagaimana jika, misalnya, Kevin Hart bisa melisensikan suaranya ke merek mewah yang kemudian dapat menggunakannya untuk membuat iklan yang dipersonalisasi? menampilkan nama pemirsa, lokasi outlet penjualan terdekat, dan produk tertentu yang kemungkinan besar akan mereka beli membeli? Daripada menghabiskan waktu berhari-hari di bilik rekaman, A.I. dapat membiarkan hal ini dilakukan dengan sedikit lebih banyak (on Setidaknya bagian Hart) daripada menandatangani garis putus-putus untuk menyetujui kemiripan suaranya dimanfaatkan oleh orang ketiga tersebut. berpesta. Saat dia sedang syuting film, melakukan tur komedi, atau berlibur, atau bahkan tidur, suara digitalnya bisa menghasilkan uang.

“Kami dapat melakukan banyak hal,” jelas Steelberg, mengenai proses pelatihan. “Orang-orang yang sudah banyak berbicara, baik mereka memproduksi podcast atau di media, ada banyak data di luar sana. Kami mungkin sudah memiliki banyak sekali jika mereka adalah pelanggan kami.”

Steelberg mengatakan bahwa ide voice-as-a-service muncul di benak Veritone beberapa tahun lalu. Namun, saat itu dia tidak yakin bahwa model pembelajaran mesin mampu menciptakan suara sintetik hiper-realistis yang dia cari. Hal ini sangat penting terutama jika menyangkut suara yang kita kenal dekat, meskipun kita belum pernah benar-benar bertemu dengan pembicara yang dimaksud. Hasilnya bisa jadi semacam itu terdengar lembah yang luar biasa, dengan setiap suara yang salah mengingatkan pendengar akan fakta bahwa mereka sedang mendengarkan suara palsu. Namun pada tahun 2021 ini, dia yakin bahwa segala sesuatunya telah mencapai titik di mana hal tersebut sekarang mungkin terjadi. Oleh karena itu Marvel.ai.

Steelberg berbicara dengan penuh semangat tentang potensi besar dari teknologi ini, dan membicarakan kemungkinan banyaknya “modalitas eksekusi”. Veritone dapat membuat model untuk text-to-speech. Hal ini juga dapat membangun model pidato-ke-ucapan, di mana pengisi suara dapat “mendorong” penampilan vokal dengan membaca kata-kata dengan infleksi yang sesuai dan kemudian suara akhir dilapis di akhir seperti Snapchat Saring. Perusahaan juga dapat mengambil sidik jari setiap suara sehingga dapat mengetahui apakah audio asli yang muncul di suatu tempat dibuat menggunakan teknologinya.

“Semakin Anda memikirkannya… Anda akan menemukan 50 [kemungkinan kasus penggunaan] lagi,” katanya. “Apa yang kami anggap sangat menarik tentang kategori baru A.I. adalah ekstensibilitas dan variabilitas.”

Pertimbangkan beberapa lainnya. Seorang atlet terkenal mungkin adalah dewa di lapangan basket, tetapi dalam hal ini iblis membaca baris-baris dalam naskah dengan cara yang terdengar alami. Menggunakan teknologi Veritone, peran mereka dalam cutscene video game atau membaca buku audio memoar mereka (yang mereka mungkin juga tidak tertulis) dapat dibawakan oleh pengisi suara, yang kemudian diubah secara digital agar terdengar seperti atlet. Kemungkinan lain, sebuah film dapat diterjemahkan ke negara lain dengan suara aktor yang sama yang sedang membaca baris-baris dalam bahasa Prancis, Mandarin, atau bahasa lain apa pun, meskipun aktornya tidak benar-benar berbicara mereka.

Bagaimana reaksi masyarakat?

Tentu saja yang menjadi pertanyaan besar adalah bagaimana masyarakat menyikapi hal ini. Ini adalah bagian yang rumit dan tidak dapat diprediksi. Selebriti masa kini harus memainkan peran yang kompleks: baik sebagai tokoh besar yang layak dipajang wajahnya di papan reklame, maupun individu-individu yang memiliki masalah hubungan, men-tweet tentang menonton TV dengan mengenakan piyama, dan membuat wajah konyol ketika mereka makan panas saus.

Lalu, apa yang terjadi ketika iklan muncul yang tidak hanya menampilkan baris-baris bacaan selebriti, tetapi juga ketika kita mengetahui hal tersebut pemain tidak pernah benar-benar mengucapkan kalimat tersebut, namun suaranya dimanfaatkan secara terprogram untuk memberikan sasaran kepada kita iklan? Steelberg mengatakan, hal ini tidak jauh berbeda dengan seorang selebriti yang menyerahkan kendali media sosialnya kepada manajer akun pihak ketiga. Jika kita melihat tweet Taylor Swift, kita tahu bahwa kemungkinan besar bukan Taylor sendiri yang menyampaikan pesan tersebut, terutama jika itu adalah dukungan atau konten promosi.

Namun suara, pada kenyataannya, berbeda, justru karena lebih bersifat pribadi. Apalagi jika disertai dengan personalisasi tingkat tertentu, yang merupakan salah satu kasus penggunaan yang paling masuk akal. Kenyataannya adalah, mengutip penulis skenario William Goldman, tidak ada yang tahu apa tanggapan publik nantinya — justru karena tidak ada yang pernah melakukan hal ini sebelumnya.

“Ini akan menjalankan spektrumnya, kan?” kata Steelberg. “[Beberapa] orang akan berkata, 'Saya akan menggunakan alat ini sedikit untuk menambah hari saya guna membantu saya menghemat waktu.' Yang lain akan berkata, 'Saya ingin suara saya di mana-mana untuk memperluas merek saya, dan saya akan melisensikannya keluar.'"

Perkiraan terbaiknya adalah bahwa penerimaan akan dilakukan berdasarkan kasus per kasus. “Anda harus selaras dengan reaksi audiens Anda, dan apakah Anda melihat sesuatu berhasil atau tidak,” katanya. “Mereka mungkin menyukainya. Mereka mungkin berkata, 'Tahukah Anda? Saya menyukai kenyataan bahwa Anda memberikan saya 10 kali lebih banyak konten atau lebih banyak konten pribadi, meskipun saya tahu Anda menggunakan konten sintetis untuk meningkatkannya. Terima kasih. Terima kasih.'"

Berpikir tentang masa depan

Adapun masa depan? Steelberg mengatakan bahwa “Kami ingin bekerja sama dengan semua agensi bakat besar. Kami pikir siapa pun yang berkecimpung dalam bisnis menghasilkan uang dengan merek yang langka harus memikirkan strategi suara mereka.”

Dan jangan berharap ini juga hanya tentang audio. “Kami selalu terpesona dengan potensi penggunaan konten sintetis untuk memperluas, menambah, atau berpotensi menggantikan sepenuhnya beberapa bentuk produksi konten lama,” lanjutnya. “Baik itu dalam arti audio atau, pada akhirnya di masa depan, a pengertian video.”

Benar: Setelah berhasil menguasai pasar dunia audio deepfake, Veritone berencana untuk melangkah lebih jauh dan memasuki dunia audio deepfake. avatar virtual yang terealisasi sepenuhnya yang bunyi dan tampilannya tidak dapat dibedakan dari sumbernya.

Tiba-tiba itu iklan yang dipersonalisasi dari Laporan Minoritas terdengar jauh lebih tidak seperti fiksi ilmiah.

Rekomendasi Editor

• Penghargaan Tech For Change CES 2023 dari Tren Digital
• Di dalam perang yang meningkat pesat antara deepfake dan detektor deepfake
• Alexa dan Siri tidak bisa memahami nada suara Anda, tapi Oto bisa
• California menindak deepfake yang ditujukan untuk politik dan pornografi
• Tetap anonim saat online dengan teknologi deepfake yang menghadirkan wajah baru bagi Anda