Краудсорсинг – ключ к победителям конкурса Netflix

Если вы откладываете работу после трех часов работы, представьте, как тяжело возвращаться к проекту на протяжении трех лет.

Именно это сделали семь инженеров, исследователей и ученых со всего мира, пытаясь улучшить алгоритм рекомендации фильмов Netflix на 10 и более процентов. И их усердие недавно окупилось, когда компания по прокату фильмов выделила 1 миллион долларов команде BellKor Pragmatic Chaos.

Команда представила свою окончательную формулу примерно за 20 минут до окончания конкурса еще в конце июля, победив близкого конкурента The Ensemble. За приз в течение трехлетнего конкурса боролись более 50 000 человек.

Метод безумия

Pragmatic Chaos от BellKor — это объединение трех команд (BellKor, PragmaticTheory и Big Chaos), которые объединили свои усилия, чтобы завершить участие в конкурсе. В состав входят: Боб Белл и Крис Волинский из отдела статистических исследований AT&T Research; Андреас Тёшер и Михаэль Ярер, исследователи машинного обучения и основатели

Pragmatic Chaos компании BellKor стала первой командой, преодолевшей 10 процентов в июне, что положило начало 30-дневному периоду, в течение которого другие участники могли попытаться побить их результат. Конкурирующая команда The Ensemble представила свое решение в конце июля, всего за несколько минут до крайнего срока. Победившая работа BellKor улучшила существующую систему Netflix на 10,06 процента.

Попытка добиться 10-процентного снижения среднеквадратической ошибки (RMSE) тестовых данных по сравнению с Cinematch, технология, которую Netflix в настоящее время использует для рекомендации фильмов участникам, основана на совместной работе фильтрация. Методика учитывает прошлое поведение пользователей, которые имеют одинаковые шаблоны оценок, чтобы сформулировать прогноз для других пользователей. Используя набор данных из миллиона фильмов, компания BellKor Pragmatic Chaos разработала алгоритмы и опиралась на «разнообразие моделей, которые дополняют недостатки друг друга», — говорится в одной из статей, опубликованных командой БеллКор.

Они включали модели ближайших соседей (которые идентифицируют пары элементов, которые обычно оцениваются пользователем так же, как и прогнозировать рейтинги для элемента без рейтинга) и скрытые факторы (которые исследуют скрытые особенности, объясняющие наблюдаемые явления). рейтинги). Команда также изучила рейтинги, чтобы получить дополнительные данные, например, какие фильмы оценил человек.

Команда смогла определить, что:

• зрители используют разные критерии для оценки фильмов, которые они смотрели давно, по сравнению с теми, которые они смотрели недавно; и
• Кажется, что некоторые фильмы со временем привлекают зрителей, и в разные дни недели зрители оценивают фильмы по-разному.

Используя эту информацию, команда создала трехмерную модель, ориентированную на то, как время влияет на отношения между людьми и фильмами.

Выигрышная комбинация

Хотя методология решения важна, возможно, более интересным было указание конкурса на то, что краудсорсинг может дать лучшие результаты, чем поиск собственными силами.

Крис Волинский из команды BellKor говорит, что Netflix сделал разумный шаг, «поняв, что существует исследовательское сообщество, которое работает над такого рода моделями и испытывает нехватку данных.

«У Netflix были данные, но над проблемой работает лишь несколько человек», — говорит он. «Приз связал этих двоих таким образом, чтобы обеспечить конфиденциальность их собственных данных… Эта модель не работает для каждого домена — здесь это сработало, потому что данные были интересными и убедительными тема. Каждый может относиться к кино. Подобный конкурс, скажем, в области автоматического языкового перевода, возможно, не вызовет такого энтузиазма».

Андреас Тёшер, изначально входивший в команду Big Chaos, согласился, что впереди еще больше соревнований, подобных Netflix. Он рассказал об отдаленном характере краудсорсингового опыта своей команды — до понедельника он даже не разговаривал со своими товарищами по команде, не говоря уже о том, чтобы видеть их. «Было здорово познакомиться с остальной командой после полугода совместной работы. У нас ни разу не было телефонного звонка. Фотографии от Мартина и Мартина мы видели только неделю назад».

Мартин Шабберт, который изначально был частью команды PragmaticTheory, говорит, что, хотя ему было трудно сосредоточиться на конкурсе, совмещая работу и семейные обязанности, было труднее не заходить в компьютер, чтобы опробовать новую идею для проект. Хотя его инженерный опыт помог команде, в равной степени помогло и то, что он не увяз в теоретических аспектах работы.

«Я думаю, что одним из важных качеств для достижения успеха в этой области является способность перевести интуицию о человеческом поведении в реальную математическую и алгоритмическую модель», — говорит Чабберт. «У многих людей есть идеи относительно того, что следует запечатлеть, но главное — найти правильный способ это запечатлеть. Я считаю, что мы хорошо с этим справились. Кроме того, не имея академического образования, мы были очень сосредоточены на поставленной задаче, а не на пытаясь найти вещи, имеющие теоретическое обоснование или которые обязательно продвинули бы общее наука."

Отец четверых детей говорит, что каждый из членов его команды определенно привнес что-то, что способствовало победному счету. Алгоритмы и статьи члена команды BellKor Йехуды Корена имели первостепенное значение, а управление BigChaos всеми моделями и наборами прогнозов, поступающими от каждой подгруппы, оказалось ключевым. Шаббер и Мартен Пиотт считают, что их «прагматичный» подход позволил создать широкий спектр оригинальных моделей и комбинаций.

Волинский говорит, что организация AT&T IP владеет интеллектуальной собственностью на изобретения конкурентов, но рассмотрит возможность лицензирования их извне. Все трое товарищей по команде говорят, что рассмотрят возможность участия Второй конкурс Netflix, который будет сосредоточен на создании профилей вкусов для отдельных пользователей на основе демографических данных и данных об использовании.

Лорен Фрицки — писатель-фрилансер и профессиональный блоггер, проживающий за пределами Филадельфии. Ее работы появились в нескольких газетах и ​​журналах, а также на таких сайтах, как AOL и CNN.

Рекомендации редакции

• Лучшие предложения Netflix: смотрите новейшие оригиналы Netflix бесплатно
• Сколько стоит Нетфликс? Разрыв планов стримера
• Как смотреть Netflix в 4K на любом устройстве
• Звуковые панели TCL 2023 года доступны по цене, но не имеют ключевой функции.
• Оплатить! Netflix начинает борьбу с совместным доступом к аккаунтам в США.

Обновите свой образ жизниDigital Trends помогает читателям быть в курсе быстро меняющегося мира технологий благодаря всем последним новостям, забавным обзорам продуктов, содержательным редакционным статьям и уникальным кратким обзорам.