Chiave di Croudsourcing per i vincitori del concorso Netflix

Se procrastini dopo tre ore di lavoro, immagina quanto sia difficile continuare a tornare su un progetto nel corso di tre anni.

Questo è esattamente ciò che hanno fatto sette ingegneri, ricercatori e scienziati di tutto il mondo nel tentativo di migliorare l’algoritmo di raccomandazione dei film di Netflix del 10% o più. E la loro diligenza è stata ripagata di recente quando la società di noleggio cinematografico ha assegnato 1 milione di dollari a Pragmatic Chaos del team BellKor.

Il team ha presentato la sua formula finale circa 20 minuti prima della fine del concorso a fine luglio, battendo il concorrente The Ensemble. Nel corso dei tre anni di competizione, più di 50.000 persone hanno gareggiato per aggiudicarsi il premio.

Il metodo per la follia

Pragmatic Chaos di BellKor è una combinazione di tre team (BellKor, PragmaticTheory e Big Chaos) che hanno unito le forze per completare la loro presentazione alla competizione. I membri sono: Bob Bell e Chris Volinsky, del dipartimento di ricerca statistica presso AT&T Research; Andreas Töscher e Michael Jahrer, ricercatori sull'apprendimento automatico e fondatori di commendo ricerca e consulenza In Austria; l'ingegnere elettrico Martin Piotte e l'ingegnere informatico Martin Chabbert di Montreal, fondatori di Teoria pragmatica; e Yehuda Koren, ricercatore senior presso Yahoo! Ricerca Israele. Si sono incontrati per la prima volta lunedì 9 settembre. 21, quando Netflix ha annunciato i vincitori.

I Pragmatic Chaos di BellKor sono diventati la prima squadra a superare il 10% a giugno, dando il via a un periodo di 30 giorni durante i quali altri concorrenti potevano provare a battere il loro punteggio. Il team rivale, The Ensemble, ha presentato la sua soluzione alla fine di luglio, pochi minuti prima della scadenza. Il progetto vincente di BellKor ha migliorato il sistema esistente di Netflix del 10,06%.

Il tentativo di produrre una riduzione del 10% dell'errore quadratico medio (RMSE) dei dati di test rispetto a Cinematch, la tecnologia attualmente utilizzata da Netflix per consigliare film agli abbonati, si è basata sulla collaborazione filtraggio. La metodologia esamina il comportamento passato degli utenti che condividono gli stessi modelli di valutazione per formulare una previsione per altri utenti. Utilizzando un set di dati di un milione di film, Pragmatic Chaos di BellKor ha lavorato con algoritmi e ha attinto a “una varietà di modelli che completano le reciproche carenze”, secondo uno degli articoli pubblicati dal team BellKor.

Includevano modelli del vicino più vicino (che identificano coppie di elementi che tendono ad essere valutati in modo simile da un utente prevedere le valutazioni per un elemento privo di valutazione) e fattori latenti (che sondano le caratteristiche nascoste che spiegano quanto osservato giudizi). Il team ha anche analizzato le valutazioni per scoprire dati aggiuntivi, ad esempio quali film sono stati valutati da una persona.

Il team è stato in grado di determinare che:

• gli spettatori utilizzano criteri diversi per valutare i film che hanno visto molto tempo fa rispetto a quelli che hanno visto di recente; E
• alcuni film sembrano aumentare il numero di spettatori nel tempo e gli spettatori valutano i film in modo diverso nei diversi giorni della settimana.

Utilizzando queste informazioni, il team ha creato un modello tridimensionale incentrato su come il tempo influenza il rapporto tra le persone e i film.

Una combinazione vincente

Sebbene la metodologia alla base della soluzione sia importante, forse più interessante è stata l’indicazione del concorso secondo cui il crowdsourcing può produrre risultati migliori rispetto all’intervento interno.

Chris Volinsky del team BellKor afferma che Netflix ha fatto una mossa intelligente “rendendosi conto che esisteva una comunità di ricerca là fuori che lavorava su questo tipo di modelli ed era affamata di dati.

"Netflix aveva i dati, ma solo una manciata di persone sta lavorando al problema", afferma. “Il premio ha collegato questi due in un modo sensibile ai loro dati proprietari… Questo modello non funziona per tutti i domini: ha funzionato qui perché i dati erano interessanti ed è stato avvincente argomento. Tutti possono identificarsi con i film. Una competizione simile, ad esempio, per la traduzione linguistica automatica, potrebbe non generare tanta passione”.

Andreas Töscher, originario del team Big Chaos, concorda sul fatto che sono in serbo altre competizioni come quella di Netflix. Ha parlato della natura remota della particolare esperienza di crowdsourcing della sua squadra: prima di lunedì, non aveva nemmeno parlato con i suoi compagni di squadra e tanto meno li aveva visti. “È stato fantastico incontrare il resto della squadra, dopo aver lavorato insieme per oltre sei mesi. Non abbiamo mai avuto una telefonata. Di Martin e Martin non avevamo visto le foto fino a una settimana fa."

Martin Chabbert, che originariamente faceva parte del team di PragmaticTheory, afferma che, sebbene fosse difficile concentrarsi sul concorso mentre destreggiandosi tra lavoro e responsabilità familiari, era più difficile evitare di accedere al computer per testare una nuova idea per il progetto. Anche se il suo background ingegneristico ha aiutato gli sforzi del team, non farsi impantanare dagli aspetti teorici del lavoro ha aiutato allo stesso modo.

"Penso che una delle qualità importanti per avere successo in questo campo sia la capacità di tradurre l'intuizione sul comportamento umano in un modello matematico e algoritmico reale", afferma Chabbert. “Molte persone hanno idee su cosa dovrebbe essere catturato, ma la chiave sta nel trovare il modo corretto per catturarlo. Credo che abbiamo fatto un buon lavoro in questo. Inoltre, non provenendo da un background accademico, eravamo molto concentrati sul compito da svolgere, piuttosto che cercando di trovare cose che avessero un fondamento teorico o che avrebbero necessariamente fatto avanzare il generale scienza."

Il padre di quattro figli dice che ciascuno dei membri della sua squadra ha sicuramente portato qualcosa che ha contribuito al punteggio vincente. Gli algoritmi e i documenti di Yehuda Koren, membro del team BellKor, sono stati fondamentali, mentre la gestione da parte di BigChaos di tutti i modelli e i set di previsioni provenienti da ciascun sottoteam si è rivelata fondamentale. Chabbert e Martin Piotte attribuiscono al loro approccio “pragmatico” il merito di aver prodotto un’ampia gamma di modelli e combinazioni originali.

Volinsky afferma che l'organizzazione AT&T IP possiede la proprietà intellettuale delle invenzioni della concorrenza, ma prenderebbe in considerazione la possibilità di cercare opportunità per concederle in licenza esternamente. Tutti e tre i compagni di squadra dicono che prenderanno in considerazione l'idea di entrare Il secondo concorso di Netflix, che si concentrerà sulla creazione di profili di gusto per i singoli utenti sulla base di dati demografici e di utilizzo.

Lauren Fritsky è una scrittrice freelance e blogger professionista con sede fuori Filadelfia. Il suo lavoro è apparso su diversi giornali e riviste e su siti come AOL e CNN.

Raccomandazioni degli editori

• Le migliori offerte Netflix: guarda gratuitamente gli ultimi originali Netflix
• Quanto costa Netflix? Una ripartizione dei piani dello streamer
• Come guardare Netflix in 4K su qualsiasi dispositivo
• Le soundbar 2023 di TCL sono convenienti, ma mancano di una caratteristica chiave
• Pagare! Netflix inizia la repressione della condivisione degli account negli Stati Uniti

Migliora il tuo stile di vitaDigital Trends aiuta i lettori a tenere d'occhio il frenetico mondo della tecnologia con tutte le ultime notizie, divertenti recensioni di prodotti, editoriali approfonditi e anteprime uniche nel loro genere.