La clé du cloudsourcing pour les gagnants du concours Netflix

Si vous procrastinez après trois heures de travail, imaginez à quel point il est difficile de revenir sans cesse sur un projet pendant trois ans.

C’est exactement ce qu’ont fait sept ingénieurs, chercheurs et scientifiques du monde entier pour tenter d’améliorer l’algorithme de recommandation de films de Netflix de 10 % ou plus. Et leur diligence a porté ses fruits récemment lorsque la société de location de films a accordé 1 million de dollars à l’équipe Pragmatic Chaos de BellKor.

L'équipe a soumis sa formule finale environ 20 minutes avant la fin du concours fin juillet, battant son proche concurrent The Ensemble. Plus de 50 000 personnes se sont affrontées pour remporter le prix au cours des trois années du concours.

La méthode de la folie

Pragmatic Chaos de BellKor est une combinaison de trois équipes (BellKor, PragmaticTheory et Big Chaos) qui ont uni leurs forces pour finaliser leur soumission au concours. Les membres sont: Bob Bell et Chris Volinsky, du département de recherche statistique d'AT&T Research; Andreas Töscher et Michael Jahrer, chercheurs en apprentissage automatique et fondateurs de commedo recherche et conseil en Autriche; l'ingénieur électricien Martin Piotte et l'ingénieur logiciel Martin Chabbert de Montréal, fondateurs de Théorie pragmatique; et Yehuda Koren, chercheur scientifique principal à Yahoo! Recherche Israël. Ils se sont rencontrés pour la première fois lundi 7 septembre. Le 21, lorsque Netflix a annoncé les gagnants.

Pragmatic Chaos de BellKor est devenue la première équipe à dépasser les 10 % en juin, ce qui a déclenché une période de 30 jours pendant laquelle les autres concurrents pouvaient tenter de battre leur score. L'équipe rivale, The Ensemble, a soumis sa solution fin juillet quelques minutes seulement avant la date limite. L’entrée gagnante de BellKor a amélioré le système existant de Netflix de 10,06 %.

La tentative de produire une réduction de 10 pour cent de l’erreur quadratique moyenne (RMSE) des données de test par rapport à Cinematch, la technologie que Netflix utilise actuellement pour recommander des films à ses membres, s'est appuyée sur la collaboration filtration. La méthodologie examine le comportement passé des utilisateurs partageant les mêmes modèles de notation afin de formuler une prédiction pour les autres utilisateurs. En utilisant un ensemble de données d'un million de films, Pragmatic Chaos de BellKor a travaillé sur des algorithmes et s'est appuyé sur « une variété de films ». de modèles qui complètent les défauts les uns des autres », selon l'un des articles publiés par l'équipe BellKor.

Ils comprenaient des modèles du voisin le plus proche (qui identifient des paires d'éléments qui ont tendance à être notés de la même manière par un utilisateur que prédire les notes d'un élément non noté) et les facteurs latents (qui sondent les caractéristiques cachées qui expliquent les notes observées). notes). L'équipe a également examiné les notes pour découvrir des données supplémentaires telles que les films notés par une personne.

L’équipe a pu déterminer que :

• les téléspectateurs utilisent des critères différents pour évaluer les films qu'ils ont vus il y a longtemps par rapport à ceux qu'ils ont vus récemment; et
• certains films semblent attirer de plus en plus de spectateurs au fil du temps et les spectateurs évaluent les films différemment selon les jours de la semaine.

À l’aide de ces informations, l’équipe a créé un modèle tridimensionnel axé sur la manière dont le temps affecte la relation entre les personnes et les films.

Une combinaison gagnante

Même si la méthodologie derrière la solution est importante, l’indication du concours selon laquelle le crowdsourcing peut produire de meilleurs résultats que la recherche en interne est peut-être plus intéressante.

Chris Volinsky, de l'équipe BellKor, affirme que Netflix a pris une décision intelligente en « réalisant qu'il existait une communauté de chercheurs qui travaillait sur ce type de modèles et qui était avide de données.

« Netflix disposait des données, mais seule une poignée de personnes travaillent sur le problème », dit-il. « Le prix a connecté ces deux-là d’une manière qui était sensible à leurs données exclusives… Ce modèle ne fonctionne pas pour tous les domaines - cela a fonctionné ici parce que les données étaient intéressantes et convaincantes sujet. Tout le monde peut s’identifier aux films. Un concours similaire, par exemple pour la traduction automatique, ne susciterait peut-être pas autant de passion.

Andreas Töscher, originaire de l’équipe Big Chaos, a convenu que d’autres compétitions comme celle de Netflix étaient à venir. Il a parlé de la nature lointaine de l’expérience particulière de crowdsourcing de son équipe – avant lundi, il n’avait même pas parlé à ses coéquipiers et encore moins les avait vus. « C'était formidable de rencontrer le reste de l'équipe, après avoir travaillé ensemble pendant plus de six mois. Nous n'avons jamais eu d'appel téléphonique. De Martin et Martin, nous n’avions vu de photos qu’il y a une semaine.

Martin Chabbert, qui faisait initialement partie de l'équipe PragmaticTheory, affirme que même s'il était difficile de se concentrer sur le concours tout en jonglant avec le travail et les responsabilités familiales, il était plus difficile d'éviter de se connecter à l'ordinateur pour tester une nouvelle idée pour le projet. Même si sa formation d’ingénieur a aidé les efforts de l’équipe, le fait de ne pas s’enliser dans les aspects théoriques du travail a également aidé.

"Je pense que l'une des qualités importantes pour réussir dans ce domaine est la capacité de traduire l'intuition du comportement humain en un véritable modèle mathématique et algorithmique", explique Chabbert. « Beaucoup de gens ont des idées sur ce qui devrait être capturé, mais la clé est de trouver la bonne manière de le capturer. Je crois que nous avons fait du bon travail dans ce domaine. De plus, n'étant pas issus d'un milieu universitaire, nous étions très concentrés sur la tâche à accomplir plutôt que sur essayer de trouver des choses qui avaient un fondement théorique ou qui feraient nécessairement progresser le science."

Ce père de quatre enfants affirme que chacun des membres de son équipe a certainement apporté quelque chose qui a contribué au score gagnant. Les algorithmes et les articles de Yehuda Koren, membre de l’équipe BellKor, étaient primordiaux, tandis que la gestion par BigChaos de tous les modèles et ensembles de prédictions provenant de chaque sous-équipe s’est avérée essentielle. Chabbert et Martin Piotte attribuent à leur approche « pragmatique » la production d’un large éventail de modèles et de combinaisons originales.

Volinsky affirme que l'organisation AT&T IP détient la propriété intellectuelle des inventions de la concurrence, mais qu'elle envisagerait de rechercher des opportunités d'obtenir des licences externes. Les trois coéquipiers disent qu'ils envisageront de participer Le deuxième concours de Netflix, qui se concentrera sur la création de profils de goûts pour les utilisateurs individuels sur la base de données démographiques et d'utilisation.

Lauren Fritsky est une écrivaine indépendante et blogueuse professionnelle basée à l'extérieur de Philadelphie. Son travail a été publié dans plusieurs journaux et magazines ainsi que sur des sites tels que AOL et CNN.

Recommandations des rédacteurs

• Meilleures offres Netflix: regardez gratuitement les derniers originaux Netflix
• Combien coûte Netflix? Une ventilation des plans du streamer
• Comment regarder Netflix en 4K sur n'importe quel appareil
• Les barres de son 2023 de TCL sont abordables, mais manquent d’une fonctionnalité clé
• Payer! Netflix commence à réprimer le partage de comptes aux États-Unis

Améliorez votre style de vieDigital Trends aide les lecteurs à garder un œil sur le monde en évolution rapide de la technologie avec toutes les dernières nouvelles, des critiques de produits amusantes, des éditoriaux perspicaces et des aperçus uniques.