Croudsourcing Kunci Pemenang Kontes Netflix

Jika Anda menunda-nunda setelah tiga jam bekerja, bayangkan betapa sulitnya untuk terus kembali mengerjakan suatu proyek selama tiga tahun.

Hal itulah yang dilakukan oleh tujuh insinyur, peneliti, dan ilmuwan dari seluruh dunia dalam upaya meningkatkan algoritme rekomendasi film Netflix sebesar 10 persen atau lebih. Dan ketekunan mereka membuahkan hasil baru-baru ini ketika perusahaan persewaan film memberikan $1 juta kepada tim Pragmatic Chaos dari BellKor.

Tim tersebut menyerahkan formula terakhirnya sekitar 20 menit sebelum kontes berakhir pada akhir Juli, mengalahkan pesaing dekatnya The Ensemble. Lebih dari 50.000 orang bersaing untuk memperebutkan hadiah selama kompetisi tiga tahun tersebut.

Metode Menuju Kegilaan

Pragmatic Chaos BellKor adalah kombinasi dari tiga tim (BellKor, PragmaticTheory, dan Big Chaos) yang bergabung untuk menyelesaikan pengajuan mereka ke kompetisi. Anggotanya adalah: Bob Bell dan Chris Volinsky, dari departemen riset statistik di riset AT&T; Andreas Töscher dan Michael Jahrer, peneliti pembelajaran mesin dan pendiri merekomendasikan penelitian dan konsultasi di Austria; insinyur listrik Martin Piotte dan insinyur perangkat lunak Martin Chabbert dari Montreal, pendiri Teori Pragmatis; dan Yehuda Koren, ilmuwan peneliti senior di Yahoo! Penelitian Israel. Mereka pertama kali bertemu pada Senin, 1 September. 21, ketika Netflix mengumumkan pemenangnya.

Pragmatic Chaos dari BellKor menjadi tim pertama yang melampaui 10 persen pada bulan Juni, yang memicu periode 30 hari di mana kontestan lain dapat mencoba untuk mengalahkan skor mereka. Tim saingannya, The Ensemble, menyerahkan solusinya pada akhir Juli hanya beberapa menit sebelum batas waktu. Entri pemenang BellKor meningkatkan sistem Netflix yang ada sebesar 10,06 persen.

Upaya untuk menghasilkan pengurangan 10 persen pada root mean squared error (RMSE) data pengujian dibandingkan dengan Cinematch, teknologi yang saat ini digunakan Netflix untuk merekomendasikan film kepada anggota, memanfaatkan kolaborasi penyaringan. Metodologi ini melihat perilaku pengguna di masa lalu yang memiliki pola penilaian yang sama untuk merumuskan prediksi bagi pengguna lain. Dengan menggunakan kumpulan data satu juta film, Pragmatic Chaos dari BellKor mengerjakan algoritme dan memanfaatkan “beragam model yang melengkapi kekurangan satu sama lain,” menurut salah satu makalah yang diterbitkan oleh tim BellKor.

Mereka menyertakan model tetangga terdekat (yang mengidentifikasi pasangan item yang cenderung diberi peringkat serupa oleh pengguna memprediksi peringkat untuk item yang tidak diberi peringkat) dan faktor laten (yang menyelidiki fitur tersembunyi yang menjelaskan pengamatan peringkat). Tim juga mengintip di balik pemeringkatan untuk mengungkap data tambahan seperti film apa yang diberi peringkat oleh seseorang.

Tim dapat menentukan bahwa:

• pemirsa menggunakan kriteria berbeda untuk menilai film yang mereka tonton di masa lalu dibandingkan dengan film yang mereka tonton baru-baru ini; Dan
• beberapa film tampaknya bertambah jumlah penontonnya seiring berjalannya waktu dan penonton menilai film secara berbeda pada hari yang berbeda dalam seminggu.

Dengan menggunakan informasi tersebut, tim membuat model tiga dimensi yang berfokus pada bagaimana waktu memengaruhi hubungan antara manusia dan film.

Kombinasi Pemenang

Meskipun metodologi di balik solusi ini penting, mungkin yang lebih menarik adalah indikasi dari kontes ini bahwa crowdsourcing dapat memberikan hasil yang lebih baik daripada mencari sendiri.

Chris Volinsky dari tim BellKor’s mengatakan Netflix mengambil langkah cerdas dengan “menyadari bahwa ada komunitas riset di luar sana yang mengerjakan model semacam ini dan sangat membutuhkan data.

“Netflix punya datanya, tapi hanya segelintir orang yang menangani masalah ini,” katanya. “Hadiah ini menghubungkan keduanya dengan cara yang sensitif terhadap data kepemilikan mereka… Model ini tidak berfungsi untuk setiap domain — ini berfungsi di sini karena datanya menarik, dan menarik tema. Semua orang bisa berhubungan dengan film. Kompetisi serupa, misalnya, untuk penerjemahan bahasa otomatis, mungkin tidak menghasilkan banyak minat.”

Andreas Töscher, yang berasal dari tim Big Chaos, setuju bahwa akan ada lebih banyak kompetisi seperti Netflix. Dia berbicara tentang pengalaman crowdsourcing timnya yang sangat terpencil – sebelum hari Senin, dia bahkan belum berbicara dengan rekan satu timnya apalagi melihat mereka. “Sungguh menyenangkan bertemu dengan seluruh tim, setelah bekerja bersama selama lebih dari setengah tahun. Kami tidak pernah melakukan panggilan telepon. Dari Martin dan Martin, kami belum melihat gambarnya sampai satu minggu yang lalu.”

Martin Chabbert, yang awalnya merupakan bagian dari tim PragmaticTheory, mengatakan bahwa meskipun sulit untuk fokus pada kontes sementara Karena harus mengatur tanggung jawab pekerjaan dan keluarga, lebih sulit untuk menghindari masuk ke komputer untuk menguji ide baru proyek. Meskipun latar belakang tekniknya membantu upaya tim, tidak terhambat oleh aspek teoretis dari pekerjaan tersebut juga membantu.

“Saya pikir salah satu kualitas penting untuk sukses di bidang ini adalah kemampuan menerjemahkan intuisi tentang perilaku manusia ke dalam model matematis dan algoritmik aktual,” kata Chabbert. “Banyak orang mempunyai gagasan mengenai apa yang harus ditangkap, namun kuncinya adalah menemukan cara yang tepat untuk menangkapnya. Saya yakin kami melakukan pekerjaan dengan baik dalam hal itu. Selain itu, karena tidak berasal dari latar belakang akademis, kami sangat fokus pada tugas yang ada mencoba menemukan hal-hal yang memiliki landasan teoretis atau yang akan memajukan hal-hal umum sains."

Ayah empat anak ini mengatakan, setiap anggota timnya pasti membawa sesuatu yang berkontribusi pada perolehan skor kemenangan. Algoritme dan makalah anggota Tim BellKor Yehuda Koren adalah yang terpenting, sementara manajemen BigChaos atas semua model dan rangkaian prediksi yang berasal dari setiap sub-tim terbukti menjadi kuncinya. Chabbert dan Martin Piotte memuji pendekatan “pragmatis” mereka karena menghasilkan beragam model dan kombinasi orisinal.

Volinsky mengatakan organisasi AT&T IP memiliki kekayaan intelektual atas penemuan dari kompetisi, namun akan mempertimbangkan untuk mencari peluang untuk melisensikannya secara eksternal. Ketiga rekan satu tim mengatakan mereka akan mempertimbangkan untuk masuk Kompetisi kedua Netflix, yang akan fokus pada pembuatan profil selera untuk pengguna individu berdasarkan data demografi dan penggunaan.

Lauren Fritsky adalah penulis lepas dan blogger profesional yang tinggal di luar Philadelphia. Karyanya telah muncul di beberapa surat kabar dan majalah dan di situs-situs seperti AOL dan CNN.

Rekomendasi Editor

• Penawaran Netflix terbaik: Tonton Netflix original terbaru secara gratis
• Berapa biaya Netflix? Rincian rencana streamer
• Cara menonton Netflix dalam 4K di perangkat apa pun
• Soundbar TCL 2023 terjangkau, tetapi tidak memiliki fitur utama
• Bayar! Netflix memulai tindakan keras terhadap berbagi akun di AS

Tingkatkan gaya hidup AndaTren Digital membantu pembaca mengawasi dunia teknologi yang bergerak cepat dengan semua berita terkini, ulasan produk yang menyenangkan, editorial yang berwawasan luas, dan cuplikan unik.