Si pospones las cosas después de tres horas de trabajo, imagina lo difícil que es volver a un proyecto durante tres años.
Eso es exactamente lo que hicieron siete ingenieros, investigadores y científicos de todo el mundo en un intento de mejorar el algoritmo de recomendación de películas de Netflix en un 10 por ciento o más. Y su diligencia dio sus frutos recientemente cuando la empresa de alquiler de películas otorgó 1 millón de dólares al equipo Pragmatic Chaos de BellKor.
Vídeos recomendados
El equipo presentó su fórmula final unos 20 minutos antes de que terminara el concurso a finales de julio, superando a su competidor cercano The Ensemble. Más de 50.000 personas compitieron por el premio durante los tres años del concurso.
Relacionado
- La nueva pestaña Mi Netflix busca hacer que la transmisión sobre la marcha sea un poco más fácil
- Netflix elimina el plan Básico en EE. UU. y Reino Unido a medida que los anuncios generan más ingresos
- Prueba de velocidad de Netflix: cómo comprobar si puedes transmitir 4K Ultra HD
El método de la locura
Pragmatic Chaos de BellKor es una combinación de tres equipos (BellKor, PragmaticTheory y Big Chaos) que unieron fuerzas para terminar su presentación a la competencia. Los miembros son: Bob Bell y Chris Volinsky, del departamento de investigación estadística de AT&T Research; Andreas Töscher y Michael Jahrer, investigadores de aprendizaje automático y fundadores de recomendar investigación y consultoría en Austria; El ingeniero eléctrico Martin Piotte y el ingeniero de software Martin Chabbert de Montreal, fundadores de Teoría pragmática; y Yehuda Koren, científico investigador senior de Yahoo! Investigar Israel. Se reunieron por primera vez el lunes 10 de septiembre. El 21 de enero, cuando Netflix anunció los ganadores.
Pragmatic Chaos de BellKor se convirtió en el primer equipo en superar el 10 por ciento en junio, lo que provocó un período de 30 días durante el cual otros concursantes pudieron intentar superar su puntuación. El equipo rival, The Ensemble, presentó su solución a finales de julio, pocos minutos antes de la fecha límite. El proyecto ganador de BellKor mejoró el sistema existente de Netflix en un 10,06 por ciento.
El intento de producir una reducción del 10 por ciento en el error cuadrático medio (RMSE) de los datos de prueba en comparación con Cinematch, la tecnología que Netflix utiliza actualmente para recomendar películas a sus miembros, se basó en la colaboración filtración. La metodología analiza el comportamiento pasado de los usuarios que comparten los mismos patrones de calificación para formular una predicción para otros usuarios. Utilizando un conjunto de datos de un millón de películas, Pragmatic Chaos de BellKor trabajó con algoritmos y se basó en “una variedad de modelos que complementan las deficiencias de cada uno”, según uno de los artículos publicados por el equipo BellKor.
Incluyeron modelos de vecinos más cercanos (que identifican pares de elementos que tienden a ser calificados de manera similar por un usuario). predecir calificaciones para un elemento no calificado) y factores latentes (que investigan características ocultas que explican lo observado). calificaciones). El equipo también miró detrás de las calificaciones para descubrir datos adicionales, como qué películas calificó una persona.
El equipo pudo determinar que:
- los espectadores utilizan criterios diferentes para calificar las películas que vieron hace mucho tiempo en comparación con las que vieron recientemente; y
- Algunas películas parecen aumentar el número de espectadores con el tiempo y los espectadores califican las películas de manera diferente en diferentes días de la semana.
Utilizando esa información, el equipo creó un modelo tridimensional que se centró en cómo el tiempo afecta la relación entre las personas y las películas.
Una combinación ganadora
Si bien la metodología detrás de la solución es importante, quizás más interesante fue la indicación del concurso de que el crowdsourcing puede producir mejores resultados que buscar internamente.
Chris Volinsky, del equipo BellKor, dice que Netflix tomó una decisión inteligente al “darse cuenta de que había una comunidad de investigación que trabajaba en este tipo de modelos y estaba hambrienta de datos.
"Netflix tenía los datos, pero sólo un puñado de personas están trabajando en el problema", afirma. “El premio conectó a estos dos de una manera que era sensible a sus datos de propiedad... Este modelo no funciona para todos los dominios; funcionó aquí porque los datos eran interesantes y era una prueba convincente. tema. Todo el mundo puede identificarse con las películas. Una competencia similar, por ejemplo, para la traducción automática de idiomas, podría no generar tanta pasión”.
Andreas Töscher, originario del equipo Big Chaos, coincidió en que nos esperan más competiciones como la de Netflix. Habló de la naturaleza remota de la particular experiencia de crowdsourcing de su equipo: antes del lunes, ni siquiera había hablado con sus compañeros de equipo y mucho menos los había visto. “Fue fantástico conocer al resto del equipo, después de trabajar juntos durante más de medio año. Nunca tuvimos una llamada telefónica. De Martin y Martin no habíamos visto fotos hasta hace una semana”.
Martin Chabbert, que originalmente era parte del equipo de PragmaticTheory, dice que si bien fue difícil concentrarse en el concurso mientras Al hacer malabares con las responsabilidades laborales y familiares, era más difícil evitar iniciar sesión en la computadora para probar una nueva idea para el proyecto. Si bien su experiencia en ingeniería ayudó a los esfuerzos del equipo, no empantanarse en los aspectos teóricos del trabajo ayudó igualmente.
"Creo que una de las cualidades importantes para tener éxito en este campo es la capacidad de traducir la intuición sobre el comportamiento humano en un modelo matemático y algorítmico real", dice Chabbert. “Mucha gente tiene ideas sobre lo que se debe capturar, pero la clave está en encontrar la forma adecuada de capturarlo. Creo que hicimos un buen trabajo en eso. Además, al no tener una formación académica, estábamos muy concentrados en la tarea que teníamos entre manos, en lugar de tratando de encontrar cosas que tuvieran una base teórica o que necesariamente hicieran avanzar el conocimiento general. ciencia."
El padre de cuatro hijos dice que cada uno de los miembros de su equipo ciertamente aportó algo que contribuyó al resultado ganador. Los algoritmos y artículos del miembro del equipo BellKor, Yehuda Koren, fueron primordiales, mientras que la gestión de BigChaos de todos los modelos y conjuntos de predicciones provenientes de cada subequipo resultó clave. Chabbert y Martin Piotte atribuyen a su enfoque “pragmático” el logro de una amplia gama de modelos y combinaciones originales.
Volinsky dice que la organización AT&T IP posee la propiedad intelectual de los inventos de la competencia, pero consideraría buscar oportunidades para otorgar licencias externas. Los tres compañeros dicen que considerarán ingresar La segunda competencia de Netflix, que se centrará en la creación de perfiles de gusto para usuarios individuales basados en datos demográficos y de uso.
Lauren Fritsky es una escritora independiente y bloguera profesional que vive fuera de Filadelfia. Su trabajo ha aparecido en varios periódicos y revistas y en sitios como AOL y CNN.
Recomendaciones de los editores
- Las mejores ofertas de Netflix: mira los últimos originales de Netflix gratis
- ¿Cuánto cuesta Netflix? Un desglose de los planes del streamer
- Cómo ver Netflix en 4K en cualquier dispositivo
- Las barras de sonido 2023 de TCL son asequibles, pero carecen de una característica clave
- ¡Paga! Netflix comienza a tomar medidas enérgicas contra el intercambio de cuentas en EE. UU.
Mejora tu estilo de vidaDigital Trends ayuda a los lectores a mantenerse al tanto del vertiginoso mundo de la tecnología con las últimas noticias, reseñas divertidas de productos, editoriales interesantes y adelantos únicos.
