Croudsourcingový klíč k vítězům soutěže Netflix

Pokud otálíte po třech hodinách práce, představte si, jak těžké je vracet se k projektu během tří let.

Přesně to udělalo sedm inženýrů, výzkumníků a vědců z celého světa ve snaze zlepšit algoritmus Netflixu pro doporučování filmů o 10 nebo více procent. A jejich píle se nedávno vyplatila, když půjčovna filmů udělila 1 milion dolarů týmu BellKor’s Pragmatic Chaos.

Tým předložil svůj konečný vzorec asi 20 minut před koncem soutěže koncem července a porazil blízkého konkurenta The Ensemble. V průběhu tříleté soutěže se o cenu ucházelo více než 50 000 lidí.

Metoda k šílenství

BellKor’s Pragmatic Chaos je kombinací tří týmů (BellKor, PragmaticTheory a Big Chaos), které spojily své síly, aby dokončily své podání do soutěže. Členy jsou: Bob Bell a Chris Volinsky z oddělení výzkumu statistiky ve společnosti AT&T research; Andreas Töscher a Michael Jahrer, výzkumníci a zakladatelé strojového učení

BellKor’s Pragmatic Chaos se stal prvním týmem, který v červnu překonal 10 procent, což vyvolalo 30denní období, během kterého se ostatní soutěžící mohli pokusit překonat jejich skóre. Konkurenční tým, The Ensemble, předložil své řešení koncem července jen několik minut před uzávěrkou. Vítězný příspěvek společnosti BellKor zlepšil stávající systém Netflixu o 10,06 procenta.

Pokus o 10procentní snížení střední kvadratické chyby (RMSE) testovacích dat ve srovnání s Cinematch, technologie, kterou Netflix v současnosti používá k doporučování filmů členům, byla založena na spolupráci filtrování. Metodika se zaměřuje na minulé chování uživatelů, kteří sdílejí stejné vzorce hodnocení, aby formulovala předpověď pro ostatní uživatele. S využitím datové sady jednoho milionu filmů pracoval BellKor's Pragmatic Chaos s algoritmy a čerpal z „různých modelů, které se navzájem doplňují,“ uvádí jeden z článků publikovaných týmem BellKor.

Zahrnovaly modely nejbližších sousedů (které identifikují dvojice položek, které mají tendenci být hodnoceny podobně jako uživatel předpovídat hodnocení u položky bez hodnocení) a latentní faktory (které zkoumají skryté rysy, které vysvětlují pozorované). hodnocení). Tým se také podíval na hodnocení, aby odhalil další údaje, jako jsou filmy, které osoba hodnotila.

Tým byl schopen určit, že:

• diváci používají různá kritéria pro hodnocení filmů, které viděli před dlouhou dobou, ve srovnání s filmy, které viděli nedávno; a
• Zdá se, že některé filmy na diváky časem přibývají a diváci filmy hodnotí různě v různých dnech v týdnu.

Na základě těchto informací tým vytvořil trojrozměrný model, který se zaměřil na to, jak čas ovlivňuje vztah mezi lidmi a filmy.

Vítězná kombinace

I když je metodika řešení důležitá, možná zajímavější byl údaj ze soutěže, že crowdsourcing může přinést lepší výsledky než hledání interně.

Chris Volinsky z týmu BellKor's říká, že Netflix udělal chytrý krok, když si „uvědomil, že existuje výzkumná komunita, která pracuje na těchto typech modelů a hladoví po datech.

„Netflix měl data, ale na problému pracuje jen hrstka lidí,“ říká. „Cena spojila tyto dva způsobem, který byl citlivý na jejich vlastnická data… Tento model nefunguje pro každou doménu – zde to fungovalo, protože data byla zajímavá a byla přesvědčivá téma. Každý se může sžít s filmy. Podobná soutěž, řekněme o automatický jazykový překlad, by nemusela vzbudit tolik vášně.“

Andreas Töscher, původně z týmu Big Chaos, souhlasil s tím, že se chystá více soutěží, jako je Netflix. Mluvil o odlehlé povaze zvláštních zkušeností svého týmu s crowdsourcingem – před pondělím se svými spoluhráči ani nemluvil, natož aby je sledoval. „Bylo skvělé setkat se se zbytkem týmu po více než půlroční spolupráci. Nikdy jsme neměli telefonát. Od Martina a Martina jsme ještě před týdnem neviděli fotky.“

Martin Chabbert, který byl původně součástí týmu PragmaticTheory, říká, že i když bylo těžké soustředit se na soutěž, žonglování s pracovními a rodinnými povinnostmi bylo těžší vyhnout se přihlášení k počítači a otestovat nový nápad pro projekt. Zatímco jeho inženýrské zázemí pomáhalo v úsilí týmu, nezabřednout do teoretických aspektů práce pomohlo stejně.

„Myslím, že jednou z důležitých vlastností úspěchu v této oblasti je schopnost převést intuici o lidském chování do skutečného matematického a algoritmického modelu,“ říká Chabbert. „Spousta lidí má nápady, co by se mělo zachytit, ale klíčem je najít správný způsob, jak to zachytit. Věřím, že jsme v tom odvedli dobrou práci. Také jsme nepocházeli z akademického prostředí, ale spíše jsme se soustředili na daný úkol snažil se najít věci, které měly teoretické základy nebo které by nezbytně pokročily pro generála Věda."

Otec čtyř dětí říká, že každý z členů jeho týmu určitě přinesl něco, co přispělo k vítěznému skóre. Algoritmy a dokumenty člena týmu BellKor Yehudy Korena byly prvořadé, zatímco management všech modelů a sad predikcí pocházejících z každého podtýmu se ukázal jako klíčový. Chabbert a Martin Piotte vděčí svému „pragmatickému“ přístupu k získání široké škály originálních modelů a kombinací.

Volinsky říká, že organizace AT&T IP vlastní duševní vlastnictví k vynálezům od konkurence, ale zvážila by hledání příležitostí k externím licencím. Všichni tři spoluhráči říkají, že vstup zváží Druhá soutěž Netflixu, která se zaměří na vytváření chuťových profilů pro jednotlivé uživatele na základě demografických a uživatelských dat.

Lauren Fritsky je spisovatelka na volné noze a profesionální bloggerka se sídlem mimo Philadelphii. Její práce se objevily v několika novinách a časopisech a na stránkách jako AOL a CNN.

Doporučení redakce

• Nejlepší nabídky Netflix: Sledujte nejnovější originály Netflix zdarma
• Kolik stojí Netflix? Rozpis plánů streamera
• Jak sledovat Netflix ve 4K na jakémkoli zařízení
• Soundbary TCL 2023 jsou cenově dostupné, ale postrádají klíčovou funkci
• Splatit! Netflix zahajuje zásah proti sdílení účtů v USA

Upgradujte svůj životní stylDigitální trendy pomáhají čtenářům mít přehled o rychle se měnícím světě technologií se všemi nejnovějšími zprávami, zábavnými recenzemi produktů, zasvěcenými úvodníky a jedinečnými náhledy.