Chave de croudsourcing para vencedores do concurso Netflix

Se você procrastinar depois de três horas de trabalho, imagine como é difícil voltar a um projeto ao longo de três anos.

Foi exatamente isso que sete engenheiros, pesquisadores e cientistas de todo o mundo fizeram, na tentativa de melhorar o algoritmo de recomendação de filmes da Netflix em 10% ou mais. E sua diligência valeu a pena recentemente, quando a locadora de filmes concedeu US$ 1 milhão à equipe Pragmatic Chaos da BellKor.

A equipe apresentou sua fórmula final cerca de 20 minutos antes do final da competição, no final de julho, derrotando o concorrente próximo, The Ensemble. Mais de 50.000 pessoas competiram pelo prêmio ao longo da competição de três anos.

O Método para a Loucura

O Pragmatic Chaos da BellKor é uma combinação de três equipes (BellKor, PragmaticTheory e Big Chaos) que uniram forças para finalizar sua submissão à competição. Os membros são: Bob Bell e Chris Volinsky, do departamento de pesquisa estatística da AT&T Research; Andreas Töscher e Michael Jahrer, pesquisadores de aprendizado de máquina e fundadores da

O Pragmatic Chaos da BellKor se tornou o primeiro time a ultrapassar 10 por cento em junho, o que gerou um período de 30 dias durante o qual outros competidores poderiam tentar superar sua pontuação. A equipe rival, The Ensemble, apresentou sua solução no final de julho, poucos minutos antes do prazo final. A participação vencedora da BellKor melhorou o sistema existente da Netflix em 10,06 por cento.

A tentativa de produzir uma redução de 10 por cento na raiz do erro quadrático médio (RMSE) dos dados de teste em comparação com Cinematch, a tecnologia que a Netflix usa atualmente para recomendar filmes aos membros, baseou-se na colaboração filtragem. A metodologia analisa o comportamento passado de usuários que compartilham os mesmos padrões de classificação para formular uma previsão para outros usuários. Usando um conjunto de dados de um milhão de filmes, Pragmatic Chaos da BellKor trabalhou algoritmos e baseou-se em “uma variedade de modelos que complementam as deficiências uns dos outros”, de acordo com um dos artigos publicados pela equipe Bell Kor.

Eles incluíram modelos de vizinhos mais próximos (que identificam pares de itens que tendem a ser avaliados de forma semelhante por um usuário para prever classificações para um item não avaliado) e fatores latentes (que investigam características ocultas que explicam o observado classificações). A equipe também examinou as classificações para descobrir dados adicionais, como quais filmes uma pessoa avaliou.

A equipe foi capaz de determinar que:

• os espectadores usam critérios diferentes para avaliar os filmes que viram há muito tempo em comparação com os que viram recentemente; e
• alguns filmes parecem aumentar o número de espectadores com o tempo e os espectadores avaliam os filmes de maneira diferente em dias diferentes da semana.

Usando essas informações, a equipe criou um modelo tridimensional focado em como o tempo afeta o relacionamento entre as pessoas e os filmes.

Uma combinação vencedora

Embora a metodologia por trás da solução seja importante, talvez mais interessante tenha sido a indicação do concurso de que o crowdsourcing pode produzir melhores resultados do que procurar internamente.

Chris Volinsky, da equipe BellKor, diz que a Netflix fez uma jogada inteligente ao “perceber que havia uma comunidade de pesquisa que trabalhava nesses tipos de modelos e estava faminta por dados.

“A Netflix tinha os dados, mas apenas um punhado de pessoas está trabalhando no problema”, diz ele. “O prêmio conectou esses dois de uma forma que era sensível aos seus dados proprietários… Este modelo não funciona para todos os domínios - funcionou aqui porque os dados eram interessantes e eram atraentes tema. Todos podem se identificar com filmes. Uma competição semelhante para, digamos, tradução automática de idiomas, pode não gerar tanta paixão.”

Andreas Töscher, originalmente da equipe Big Chaos, concordou que mais competições como a da Netflix estão por vir. Ele falou sobre a natureza remota da experiência específica de crowdsourcing de sua equipe – antes de segunda-feira, ele nem havia falado com seus colegas de equipe e muito menos colocado os olhos sobre eles. “Foi ótimo conhecer o resto da equipe, depois de trabalharmos juntos por mais de meio ano. Nunca tivemos um telefonema. De Martin e Martin, não tínhamos visto fotos até uma semana atrás.”

Martin Chabbert, que originalmente fazia parte da equipe da PragmaticTheory, diz que embora fosse difícil se concentrar no concurso enquanto conciliando trabalho e responsabilidades familiares, era mais difícil evitar o login no computador para testar uma nova ideia para o projeto. Embora sua formação em engenharia tenha ajudado os esforços da equipe, não se prender aos aspectos teóricos do trabalho ajudou igualmente.

“Acho que uma das qualidades importantes para ter sucesso neste campo é a capacidade de traduzir a intuição sobre o comportamento humano em um modelo matemático e algorítmico real”, diz Chabbert. “Muitas pessoas têm ideias sobre o que deve ser capturado, mas o segredo está em encontrar a maneira adequada de capturá-lo. Acredito que fizemos um bom trabalho nisso. Além disso, por não termos formação acadêmica, estávamos muito focados na tarefa em questão, em vez de tentando encontrar coisas que tivessem embasamento teórico ou que necessariamente avançassem no Ciência."

O pai de quatro filhos afirma que cada um dos integrantes de sua equipe certamente trouxe algo que contribuiu para o placar da vitória. Os algoritmos e artigos do membro da equipe BellKor, Yehuda Koren, foram fundamentais, enquanto o gerenciamento do BigChaos de todos os modelos e conjuntos de previsões provenientes de cada subequipe provou ser fundamental. Chabbert e Martin Piotte creditam a sua abordagem “pragmática” por produzir uma ampla gama de modelos e combinações originais.

Volinsky diz que a organização AT&T IP detém a propriedade intelectual das invenções da concorrência, mas consideraria procurar oportunidades para licenciá-las externamente. Todos os três companheiros de equipe dizem que considerarão entrar Segunda competição da Netflix, que se concentrará na criação de perfis de gosto para usuários individuais com base em dados demográficos e de uso.

Lauren Fritsky é redatora freelance e blogueira profissional que mora fora da Filadélfia. Seu trabalho já apareceu em diversos jornais e revistas e em sites como AOL e CNN.

Recomendações dos Editores

• Melhores ofertas da Netflix: assista aos originais mais recentes da Netflix gratuitamente
• Quanto custa o Netflix? Uma análise dos planos do streamer
• Como assistir Netflix em 4K em qualquer dispositivo
• As barras de som 2023 da TCL são acessíveis, mas carecem de um recurso importante
• Pagar! Netflix inicia repressão ao compartilhamento de contas nos EUA

Atualize seu estilo de vidaDigital Trends ajuda os leitores a manter o controle sobre o mundo acelerado da tecnologia com as últimas notícias, análises divertidas de produtos, editoriais criteriosos e prévias únicas.