Croudsourcing kluczem do zwycięzców konkursu Netflix

Jeśli zwlekasz po trzech godzinach pracy, wyobraź sobie, jak trudno jest wracać do projektu przez trzy lata.

Dokładnie to samo zrobiło siedmiu inżynierów, badaczy i naukowców z całego świata, próbując ulepszyć algorytm rekomendacji filmów Netflix o co najmniej 10 procent. Ich pracowitość opłaciła się niedawno, gdy wypożyczalnia filmów przyznała 1 milion dolarów zespołowi Pragmatic Chaos z BellKor.

Zespół przedstawił ostateczną formułę na około 20 minut przed zakończeniem zawodów pod koniec lipca, pokonując bliskiego konkurenta The Ensemble. W ciągu trzech lat konkursu o nagrodę ubiegało się ponad 50 000 osób.

Metoda na szaleństwo

Pragmatic Chaos firmy BellKor to połączenie trzech zespołów (BellKor, PragmaticTheory i Big Chaos), które połączyły siły, aby zakończyć zgłoszenie do konkursu. Członkami są: Bob Bell i Chris Volinsky z działu badań statystycznych w firmie AT&T Research; Andreas Töscher i Michael Jahrer, badacze uczenia maszynowego i założyciele

Pragmatic Chaos z BellKor stała się pierwszą drużyną, która w czerwcu przekroczyła 10 procent, co zapoczątkowało 30-dniowy okres, podczas którego inni zawodnicy mogli spróbować pobić swój wynik. Rywalizujący zespół, The Ensemble, przedstawił swoje rozwiązanie pod koniec lipca, zaledwie kilka minut przed ostatecznym terminem. Zwycięska praca firmy BellKor ulepszyła istniejący system Netflix o 10,06%.

Próba uzyskania 10-procentowej redukcji średniego błędu kwadratowego (RMSE) danych testowych w porównaniu z Cinematch, technologia, z której obecnie korzysta Netflix do polecania filmów członkom, opiera się na współpracy filtracja. Metodologia analizuje przeszłe zachowania użytkowników, którzy mają te same wzorce ocen, aby sformułować prognozę dla innych użytkowników. Korzystając ze zbioru danych zawierającego milion filmów, Pragmatic Chaos firmy BellKor opracował algorytmy i czerpał z „różnorodnych modeli, które uzupełniają się nawzajem” – czytamy w jednym z artykułów opublikowanych przez zespół BellKor.

Obejmowały one modele najbliższego sąsiada (które identyfikują pary elementów, które użytkownicy zwykle oceniają podobnie przewidzieć oceny dla elementu bez oceny) i czynniki ukryte (które badają ukryte cechy wyjaśniające obserwowane oceny). Zespół przyjrzał się także rankingom, aby odkryć dodatkowe dane, np. to, jakie filmy oceniła dana osoba.

Zespołowi udało się ustalić, że:

• widzowie stosują inne kryteria oceniania filmów, które oglądali dawno temu, w porównaniu do tych, które widzieli niedawno; I
• niektóre filmy wydają się z czasem przyciągać widzów, a widzowie różnie oceniają je w różne dni tygodnia.

Wykorzystując te informacje, zespół stworzył trójwymiarowy model, który skupiał się na wpływie czasu na relacje między ludźmi i filmami.

Zwycięska kombinacja

Chociaż metodologia stojąca za rozwiązaniem jest ważna, być może bardziej interesujące było wskazanie konkursu, że crowdsourcing może przynieść lepsze wyniki niż szukanie rozwiązań we własnym zakresie.

Chris Volinsky z zespołu BellKor’s twierdzi, że Netflix wykonał sprytne posunięcie, „zdając sobie sprawę, że istnieje społeczność badawcza, która pracuje nad tego typu modelami i łaknie danych.

„Netflix miał dane, ale tylko garstka osób pracuje nad problemem” – mówi. „Nagroda połączyła tę dwójkę w sposób wrażliwy na ich zastrzeżone dane… Ten model nie działa w przypadku każdej domeny — tutaj zadziałało, ponieważ dane były interesujące i przekonujące temat. Każdy może utożsamić się z filmami. Podobny konkurs na przykład na automatyczne tłumaczenie językowe może nie wzbudzić tak dużej pasji”.

Andreas Töscher, pochodzący z zespołu Big Chaos, zgodził się, że w przygotowaniu jest więcej konkursów takich jak Netflix. Wspomniał o odległym charakterze doświadczeń jego zespołu w zakresie crowdsourcingu — przed poniedziałkiem nawet nie rozmawiał ze swoimi kolegami z drużyny, nie mówiąc już o tym, żeby na nich spojrzeć. „Wspaniale było spotkać resztę zespołu po ponad pół roku wspólnej pracy. Nigdy nie rozmawialiśmy telefonicznie. Zdjęcia Martina i Martina widzieliśmy dopiero tydzień temu.

Martin Chabbert, który pierwotnie należał do zespołu PragmaticTheory, mówi, że choć podczas zawodów trudno było mu się skupić na zawodach, godząc obowiązki zawodowe i rodzinne, trudniej było uniknąć logowania się na komputerze w celu przetestowania nowego pomysłu na projekt projekt. Choć jego doświadczenie inżynierskie pomogło zespołowi w równym stopniu, nie zagłębianie się w teoretyczne aspekty pracy.

„Myślę, że jedną z najważniejszych cech warunkujących odniesienie sukcesu w tej dziedzinie jest umiejętność przełożenia intuicji dotyczącej ludzkiego zachowania na rzeczywisty model matematyczny i algorytmiczny” – mówi Chabbert. „Wiele osób ma pomysły na to, co powinno zostać uchwycone, ale kluczem jest znalezienie odpowiedniego sposobu na uchwycenie tego. Wierzę, że wykonaliśmy przy tym dobrą robotę. Poza tym, nie wywodząc się ze środowiska akademickiego, byliśmy bardzo skupieni na wykonywanym zadaniu, a nie na nim próbując znaleźć rzeczy, które mają podstawy teoretyczne lub które koniecznie pomogłyby generałowi nauka."

Ojciec czwórki dzieci twierdzi, że każdy z członków jego zespołu z pewnością wniósł coś, co przyczyniło się do zwycięskiego wyniku. Algorytmy i artykuły członka zespołu BellKor, Yehudy Korena, były najważniejsze, podczas gdy zarządzanie przez BigChaos wszystkimi modelami i zestawami przewidywań pochodzącymi z każdego podzespołu okazało się kluczowe. Chabbert i Martin Piotte przypisują sobie „pragmatyczne” podejście, dzięki któremu uzyskali szeroką gamę oryginalnych modeli i kombinacji.

Volinsky twierdzi, że organizacja AT&T IP jest właścicielem własności intelektualnej wynalazków konkurencji, ale rozważy możliwość uzyskania zewnętrznych licencji na nie. Cała trójka członków drużyny twierdzi, że rozważy udział Drugi konkurs Netflixa, która skupi się na tworzeniu profili smakowych dla poszczególnych użytkowników w oparciu o dane demograficzne i użytkowe.

Lauren Fritsky jest niezależną pisarką i profesjonalną blogerką mieszkającą poza Filadelfią. Jej prace pojawiały się w kilku gazetach i magazynach oraz na stronach takich jak AOL i CNN.

Zalecenia redaktorów

• Najlepsze oferty Netflix: oglądaj bezpłatnie najnowsze oryginały Netflix
• Ile kosztuje Netflix? Podział planów streamera
• Jak oglądać Netflix w rozdzielczości 4K na dowolnym urządzeniu
• Listwy dźwiękowe TCL na rok 2023 są niedrogie, ale brakuje im kluczowej funkcji
• Zapłacić! Netflix rozpoczyna walkę z udostępnianiem kont w USA

Ulepsz swój styl życiaDigital Trends pomaga czytelnikom śledzić szybko rozwijający się świat technologii dzięki najnowszym wiadomościom, zabawnym recenzjom produktów, wnikliwym artykułom redakcyjnym i jedynym w swoim rodzaju zajawkom.