Croudsourcing-Schlüssel zu den Gewinnern des Netflix-Wettbewerbs

Wenn Sie nach drei Stunden Arbeit zögern, stellen Sie sich vor, wie schwer es ist, über einen Zeitraum von drei Jahren immer wieder an ein Projekt zurückzukehren.

Genau das haben sieben Ingenieure, Forscher und Wissenschaftler aus der ganzen Welt getan, um den Filmempfehlungsalgorithmus von Netflix um 10 Prozent oder mehr zu verbessern. Und ihr Fleiß zahlte sich kürzlich aus, als der Filmverleih eine Million US-Dollar an das Team von BellKors Pragmatic Chaos vergab.

Das Team reichte seine endgültige Formel etwa 20 Minuten vor Ende des Wettbewerbs Ende Juli ein und setzte sich damit gegen den engen Konkurrenten The Ensemble durch. Im Laufe des dreijährigen Wettbewerbs wetteiferten mehr als 50.000 Menschen um den Preis.

Die Methode zum Wahnsinn

BellKors Pragmatic Chaos ist eine Kombination aus drei Teams (BellKor, PragmaticTheory und Big Chaos), die sich zusammengeschlossen haben, um ihre Einreichung zum Wettbewerb abzuschließen. Die Mitglieder sind: Bob Bell und Chris Volinsky von der Statistikforschungsabteilung bei AT&T Research; Andreas Töscher und Michael Jahrer, Forscher für maschinelles Lernen und Gründer von Commendo Forschung und Beratung in Österreich; Elektroingenieur Martin Piotte und Softwareingenieur Martin Chabbert aus Montreal, Gründer von Pragmatische Theorie; und Yehuda Koren, leitender Forschungswissenschaftler bei Yahoo! Erforschen Sie Israel. Am Montag, September, trafen sie sich zum ersten Mal. 21, als Netflix die Gewinner bekannt gab.

Pragmatic Chaos von BellKor war das erste Team, das im Juni die 10-Prozent-Marke überschritt, was einen Zeitraum von 30 Tagen auslöste, in dem andere Teilnehmer versuchen konnten, ihre Punktzahl zu übertreffen. Das Konkurrenzteam The Ensemble reichte seine Lösung Ende Juli, nur wenige Minuten vor Ablauf der Frist, ein. Der Gewinnerbeitrag von BellKor verbesserte das bestehende System von Netflix um 10,06 Prozent.

Der Versuch, den quadratischen Mittelfehler (RMSE) der Testdaten im Vergleich zu um 10 Prozent zu reduzieren Cinematch, die Technologie, die Netflix derzeit nutzt, um seinen Mitgliedern Filme zu empfehlen, nutzte die Zusammenarbeit Filterung. Die Methodik betrachtet das frühere Verhalten von Benutzern, die dieselben Bewertungsmuster aufweisen, um eine Vorhersage für andere Benutzer zu formulieren. Anhand eines Datensatzes von einer Million Filmen arbeitete BellKors Pragmatic Chaos mit Algorithmen und stützte sich auf „eine Vielfalt.“ von Modellen, die die Mängel der anderen ergänzen“, heißt es in einem der vom Team veröffentlichten Papiere BellKor.

Dazu gehörten Modelle des nächsten Nachbarn (die Paare von Elementen identifizieren, die von einem Benutzer tendenziell ähnlich bewertet werden). (Bewertungen für ein nicht bewertetes Element vorhersagen) und latente Faktoren (die versteckte Merkmale untersuchen, die das Beobachtete erklären). Bewertungen). Das Team blickte auch hinter die Bewertungen, um zusätzliche Daten aufzudecken, etwa welche Filme eine Person bewertet hat.

Das Team konnte Folgendes feststellen:

• Zuschauer bewerten Filme, die sie vor langer Zeit gesehen haben, nach anderen Kriterien als Filme, die sie kürzlich gesehen haben. Und
• Einige Filme scheinen mit der Zeit bei den Zuschauern anzukommen, und die Zuschauer bewerten Filme an verschiedenen Wochentagen unterschiedlich.

Anhand dieser Informationen erstellte das Team ein dreidimensionales Modell, das sich darauf konzentrierte, wie sich die Zeit auf die Beziehung zwischen Menschen und Filmen auswirkt.

Eine gewinnbringende Kombination

Obwohl die Methodik hinter der Lösung wichtig ist, war vielleicht noch interessanter der Hinweis des Wettbewerbs, dass Crowdsourcing zu besseren Ergebnissen führen kann als die Suche intern.

Chris Volinsky vom Team BellKor’s sagt, Netflix habe einen klugen Schachzug gemacht, indem er „erkannt habe, dass es da draußen eine Forschungsgemeinschaft gebe, die an solchen Modellen arbeite und nach Daten hungere.

„Netflix hatte die Daten, aber nur eine Handvoll Leute arbeiten an dem Problem“, sagt er. „Der Preis verband diese beiden auf eine Art und Weise, die ihre proprietären Daten berücksichtigte … Dieses Modell.“ funktioniert nicht für jede Domain – hier hat es funktioniert, weil die Daten interessant und überzeugend waren Thema. Jeder kann sich mit Filmen identifizieren. Ein ähnlicher Wettbewerb, beispielsweise für die automatische Sprachübersetzung, weckt möglicherweise nicht so viel Leidenschaft.“

Andreas Töscher, ursprünglich vom Team Big Chaos, stimmte zu, dass weitere Wettbewerbe wie der von Netflix bevorstehen. Er sprach über die Distanziertheit der besonderen Crowdsourcing-Erfahrung seines Teams – vor Montag hatte er noch nicht einmal mit seinen Teamkollegen gesprochen, geschweige denn einen Blick auf sie geworfen. „Es war großartig, den Rest des Teams kennenzulernen, nachdem wir über ein halbes Jahr zusammengearbeitet hatten. Wir hatten nie ein Telefonat. Von Martin und Martin hatten wir bis vor einer Woche keine Bilder gesehen.“

Martin Chabbert, der ursprünglich Teil des PragmaticTheory-Teams war, sagt, dass es währenddessen schwierig war, sich auf den Wettbewerb zu konzentrieren Da ich Beruf und Familienpflichten unter einen Hut bringen musste, war es immer schwieriger zu vermeiden, mich am Computer anzumelden, um eine neue Idee auszuprobieren Projekt. Während sein technischer Hintergrund die Bemühungen des Teams unterstützte, half es ihm auch, sich nicht in den theoretischen Aspekten der Arbeit zu verlieren.

„Ich denke, eine der wichtigsten Eigenschaften für den Erfolg in diesem Bereich ist die Fähigkeit, die Intuition über menschliches Verhalten in ein tatsächliches mathematisches und algorithmisches Modell umzusetzen“, sagt Chabbert. „Viele Leute haben Ideen, was festgehalten werden soll, aber der Schlüssel liegt darin, den richtigen Weg zu finden, es festzuhalten. Ich glaube, dass uns das gut gelungen ist. Da wir keinen akademischen Hintergrund hatten, konzentrierten wir uns sehr auf die anstehende Aufgabe versuchen, Dinge zu finden, die theoretisch fundiert sind oder die das Allgemeine unbedingt voranbringen Wissenschaft."

Der Vater von vier Kindern sagt, dass jedes Mitglied seines Teams sicherlich etwas mitgebracht habe, das zum Sieg beigetragen habe. Die Algorithmen und Aufsätze von Team-BellKor-Mitglied Yehuda Koren waren von größter Bedeutung, während sich BigChaos‘ Verwaltung aller Modelle und Vorhersagesätze aus jedem Unterteam als entscheidend erwies. Chabbert und Martin Piotte schreiben ihrem „pragmatischen“ Ansatz zu, dass er eine breite Palette origineller Modelle und Kombinationen hervorgebracht habe.

Laut Volinsky besitzt die IP-Organisation AT&T das geistige Eigentum an den Erfindungen der Konkurrenz, würde jedoch nach Möglichkeiten suchen, diese extern zu lizenzieren. Alle drei Teamkollegen sagen, dass sie über eine Teilnahme nachdenken werden Der zweite Wettbewerb von Netflix, dessen Schwerpunkt auf der Erstellung von Geschmacksprofilen für einzelne Benutzer basierend auf demografischen Daten und Nutzungsdaten liegt.

Lauren Fritsky ist eine freiberufliche Autorin und professionelle Bloggerin mit Sitz außerhalb von Philadelphia. Ihre Arbeiten wurden in mehreren Zeitungen und Magazinen sowie auf Websites wie AOL und CNN veröffentlicht.

Empfehlungen der Redaktion

• Beste Netflix-Angebote: Sehen Sie sich kostenlos die neuesten Netflix-Originale an
• Wie viel kostet Netflix? Eine Aufschlüsselung der Pläne des Streamers
• So schauen Sie Netflix in 4K auf jedem Gerät
• Die Soundbars 2023 von TCL sind erschwinglich, es fehlt ihnen jedoch eine wichtige Funktion
• Bezahle! Netflix beginnt in den USA mit dem Durchgreifen bei der Kontofreigabe.

Werten Sie Ihren Lebensstil aufDigital Trends hilft Lesern mit den neuesten Nachrichten, unterhaltsamen Produktrezensionen, aufschlussreichen Leitartikeln und einzigartigen Einblicken, den Überblick über die schnelllebige Welt der Technik zu behalten.