Netflix Yarışmasını Kazananların Croudsourcing Anahtarı

Üç saatlik çalışmanın ardından ertelerseniz, üç yıl boyunca bir projeye geri dönmenin ne kadar zor olduğunu hayal edin.

Netflix'in film öneri algoritmasını yüzde 10 veya daha fazla geliştirmek amacıyla dünyanın dört bir yanından yedi mühendis, araştırmacı ve bilim adamının yaptığı da tam olarak buydu. Ve yakın zamanda film kiralama şirketi BellKor'un Pragmatik Kaos ekibine 1 milyon dolar ödül verdiğinde onların çabaları meyvesini verdi.

Ekip, yakın rakibi The Ensemble'ı geride bırakarak yarışmanın Temmuz ayı sonlarında sona ermesinden yaklaşık 20 dakika önce son formülünü sundu. Üç yıl süren yarışma boyunca 50.000'den fazla kişi ödül için yarıştı.

Deliliğe Giden Yöntem

BellKor'un Pragmatic Chaos'u, rekabete katılımlarını tamamlamak için güçlerini birleştiren üç takımın (BellKor, PragmaticTheory ve Big Chaos) birleşimidir. Üyeler şunlardır: AT&T araştırmasının istatistik araştırma bölümünden Bob Bell ve Chris Volinsky; Andreas Töscher ve Michael Jahrer, makine öğrenimi araştırmacıları ve kurucuları

BellKor'un Pragmatic Chaos'u haziran ayında yüzde 10'u aşan ilk takım oldu ve bu, diğer yarışmacıların kendi puanlarını geçmeye çalışabilecekleri 30 günlük bir dönemi ateşledi. Rakip takım The Ensemble, çözümünü Temmuz ayı sonlarında son teslim tarihinden sadece birkaç dakika önce sundu. BellKor'un kazanan çalışması Netflix'in mevcut sistemini yüzde 10,06 oranında iyileştirdi.

Test verilerinin kök ortalama kare hatasında (RMSE) yüzde 10'luk bir azalma sağlama girişimi Netflix'in şu anda üyelere film önermek için kullandığı teknoloji olan Cinematch, iş birliğinden yararlandı filtreleme. Metodoloji, diğer kullanıcılar için bir tahmin formüle etmek amacıyla aynı derecelendirme modellerini paylaşan kullanıcıların geçmiş davranışlarına bakar. BellKor'un Pragmatic Chaos programı, bir milyon filmden oluşan bir veri kümesi kullanarak algoritmalar çalıştı ve "çeşitli filmlerden" yararlandı. ekibin yayınladığı makalelerden birine göre, birbirinin eksikliklerini tamamlayan modeller BellKor.

En yakın komşu modellerini (bir kullanıcı tarafından benzer şekilde derecelendirilme eğiliminde olan öğe çiftlerini tanımlayan) içeriyordu. derecelendirilmemiş bir öğe için derecelendirmeleri tahmin etme) ve gizli faktörler (gözlenenleri açıklayan gizli özellikleri araştıran) derecelendirmeler). Ekip ayrıca bir kişinin hangi filmleri derecelendirdiği gibi ek verileri ortaya çıkarmak için derecelendirmelerin arkasına da baktı.

Ekip şunu tespit edebildi:

• izleyiciler uzun zaman önce izledikleri filmleri değerlendirirken yakın zamanda izledikleri filmlere kıyasla farklı kriterler kullanıyor; Ve
• bazı filmler zamanla izleyicilerin ilgisini çekiyor gibi görünüyor ve izleyiciler filmleri haftanın farklı günlerinde farklı şekilde derecelendiriyor.

Ekip, bu bilgiyi kullanarak zamanın insanlar ve filmler arasındaki ilişkiyi nasıl etkilediğine odaklanan üç boyutlu bir model oluşturdu.

Kazandıran Bir Kombinasyon

Çözümün ardındaki metodoloji önemli olsa da, belki de daha ilginç olanı, yarışmanın kitle kaynak kullanımının şirket içinde bakmaktan daha iyi sonuçlar üretebileceğini göstermesiydi.

BellKor ekibinden Chris Volinsky, Netflix'in "bu tür modeller üzerinde çalışan ve veriye aç bir araştırma topluluğu olduğunu fark ederek akıllıca bir hamle yaptığını" söylüyor.

"Netflix'in verileri vardı ama yalnızca bir avuç insan sorun üzerinde çalışıyor" diyor. “Ödül bu ikisini, özel verilerine duyarlı bir şekilde birbirine bağladı… Bu model her alan adı için işe yaramıyor - burada işe yaradı çünkü veriler ilginçti ve ilgi çekiciydi. başlık. Herkes filmlerle ilişki kurabilir. Otomatik dil çevirisi için benzer bir rekabet o kadar tutku yaratmayabilir."

Aslen Big Chaos ekibinden olan Andreas Töscher, Netflix'inki gibi daha fazla yarışmanın yolda olduğunu kabul etti. Ekibinin özel kitle kaynak kullanımı deneyiminin uzak doğasından bahsetti; Pazartesi gününden önce, bırakın onları görmek şöyle dursun, takım arkadaşlarıyla konuşmamıştı bile. "Bir buçuk yıldan fazla birlikte çalıştıktan sonra ekibin geri kalanıyla tanışmak harikaydı. Hiç telefon görüşmemiz olmadı. Bir hafta öncesine kadar Martin ve Martin'in fotoğraflarını görmemiştik."

Aslen PragmaticTheory ekibinin bir parçası olan Martin Chabbert, yarışmaya odaklanmanın zor olduğunu söylüyor. İş ve aile sorumlulukları arasında hokkabazlık yapıldığından, yeni bir fikri denemek için bilgisayarda oturum açmaktan kaçınmak daha zordu. proje. Mühendislik geçmişi ekibin çabalarına yardımcı olurken, işin teorik yönlerine takılıp kalmaması da aynı şekilde yardımcı oldu.

Chabbert, "Bu alanda başarılı olmanın önemli niteliklerinden birinin, insan davranışı hakkındaki sezgiyi gerçek bir matematiksel ve algoritmik modele dönüştürme yeteneği olduğunu düşünüyorum" diyor. "Birçok insanın nelerin yakalanması gerektiği konusunda fikirleri var, ancak önemli olan onu yakalamanın doğru yolunu bulmaktır. Bu konuda iyi bir iş yaptığımıza inanıyorum. Ayrıca akademik bir geçmişe sahip olmadığımız için elimizdeki göreve odaklanmıştık. Teorik temeli olan veya zorunlu olarak genel yaklaşımı ilerletecek şeyler bulmaya çalışmak bilim."

Dört çocuk babası, ekibindeki her bir üyenin kesinlikle galibiyet skoruna katkıda bulunan bir şeyler getirdiğini söylüyor. Team BellKor üyesi Yehuda Koren'in algoritmaları ve makaleleri çok önemliydi; BigChaos'un her alt takımdan gelen tüm modelleri ve tahmin setlerini yönetmesi ise kilit rol oynadı. Chabbert ve Martin Piotte, geniş bir yelpazede orijinal modeller ve kombinasyonlar ortaya çıkarma konusundaki "pragmatik" yaklaşımlarını takdir ediyor.

Volinsky, AT&T Fikri Mülkiyet kuruluşunun yarışmadaki buluşların fikri mülkiyet haklarına sahip olduğunu, ancak bunları harici olarak lisanslama fırsatlarını aramayı düşüneceğini söyledi. Takım arkadaşlarının üçü de katılmayı düşüneceklerini söylüyor Netflix’in ikinci yarışmasıdemografik ve kullanım verilerine dayalı olarak bireysel kullanıcılar için zevk profilleri oluşturmaya odaklanacak.

Lauren Fritsky, Philadelphia dışında yaşayan serbest yazar ve profesyonel bir blog yazarıdır. Çalışmaları çeşitli gazete ve dergilerde, AOL ve CNN gibi sitelerde yayınlandı.

Editörlerin Önerileri

• En iyi Netflix fırsatları: En yeni Netflix orijinal içeriklerini ücretsiz izleyin
• Netflix'in maliyeti ne kadar? Yayıncının planlarının dökümü
• Netflix'i herhangi bir cihazda 4K olarak izleme
• TCL'nin 2023 soundbar'ları uygun fiyatlı ancak önemli bir özelliğe sahip değil
• Tamamen ödemek! Netflix, ABD'de hesap paylaşımını engellemeye başladı

Yaşam tarzınızı yükseltinDigital Trends, en son haberler, eğlenceli ürün incelemeleri, anlayışlı başyazılar ve türünün tek örneği olan ön bakışlarla okuyucuların teknolojinin hızlı tempolu dünyasını takip etmelerine yardımcı olur.