Croudsourcing is de sleutel tot winnaars van de Netflix-wedstrijd

Als je het uitstelt na drie uur werken, stel je dan eens voor hoe moeilijk het is om in de loop van drie jaar terug te komen op een project.

Dat is precies wat zeven ingenieurs, onderzoekers en wetenschappers van over de hele wereld deden in een poging om het Netflix-algoritme voor filmaanbevelingen met 10 procent of meer te verbeteren. En hun toewijding werd onlangs beloond toen het filmverhuurbedrijf $ 1 miljoen toekende aan BellKor's Pragmatic Chaos.

Het team presenteerde zijn definitieve formule ongeveer 20 minuten voordat de wedstrijd eind juli eindigde en versloeg naaste concurrent The Ensemble. Gedurende de drie jaar durende competitie streden meer dan 50.000 mensen om de prijs.

De methode tot de waanzin

BellKor’s Pragmatic Chaos is een combinatie van drie teams (BellKor, PragmaticTheory en Big Chaos) die hun krachten hebben gebundeld om hun inzending voor de competitie te voltooien. De leden zijn: Bob Bell en Chris Volinsky, van de statistische onderzoeksafdeling van AT&T research; Andreas Töscher en Michael Jahrer, onderzoekers op het gebied van machine learning en oprichters van Commendo onderzoek en advies in Oostenrijk; elektrotechnisch ingenieur Martin Piotte en software-ingenieur Martin Chabbert uit Montreal, oprichters van Pragmatische theorie; en Yehuda Koren, senior onderzoeker bij Yahoo! Onderzoek Israël. Maandag 1 september ontmoetten ze elkaar voor het eerst. 21, toen Netflix de winnaars bekendmaakte.

BellKor’s Pragmatic Chaos werd in juni het eerste team dat de 10 procent overschreed, wat leidde tot een periode van 30 dagen waarin andere deelnemers konden proberen hun score te verbeteren. Het rivaliserende team The Ensemble diende eind juli slechts enkele minuten voor de deadline zijn oplossing in. De winnende inzending van BellKor verbeterde het bestaande systeem van Netflix met 10,06 procent.

De poging om een ​​reductie van 10 procent te bewerkstelligen in de root mean squared error (RMSE) van testgegevens vergeleken met Cinemamatch, de technologie die Netflix momenteel gebruikt om films aan te bevelen aan leden, maakte gebruik van samenwerking filteren. De methodologie kijkt naar het gedrag uit het verleden van gebruikers die dezelfde beoordelingspatronen delen om een ​​voorspelling voor andere gebruikers te formuleren. Met behulp van een dataset van een miljoen films werkte BellKor’s Pragmatic Chaos met algoritmen en putte uit “een verscheidenheid van modellen die de tekortkomingen van elkaar aanvullen”, aldus een van de artikelen die door het team zijn gepubliceerd BellKor.

Ze omvatten dichtstbijzijnde buurmodellen (die paren items identificeren die door een gebruiker doorgaans op dezelfde manier worden beoordeeld als beoordelingen voorspellen voor een niet-geclassificeerd item) en latente factoren (die verborgen kenmerken onderzoeken die het waargenomen item verklaren). waarderingen). Het team keek ook achter de kijkcijfers om aanvullende gegevens te ontdekken, zoals welke films iemand beoordeelde.

Het team heeft het volgende kunnen vaststellen:

• kijkers gebruiken verschillende criteria om films die ze lang geleden hebben gezien te beoordelen in vergelijking met films die ze onlangs hebben gezien; En
• sommige films lijken in de loop van de tijd bij de kijkers te groeien en kijkers beoordelen films op verschillende dagen van de week anders.

Met behulp van die informatie creëerde het team een ​​driedimensionaal model dat zich richtte op de manier waarop tijd de relatie tussen mensen en films beïnvloedt.

Een winnende combinatie

Hoewel de methodologie achter de oplossing belangrijk is, was misschien nog interessanter de indicatie uit de wedstrijd dat crowdsourcing betere resultaten kan opleveren dan intern zoeken.

Chris Volinsky van team BellKor zegt dat Netflix een slimme zet heeft gedaan door “te beseffen dat er een onderzoeksgemeenschap was die aan dit soort modellen werkte en hongerde naar gegevens.

“Netflix beschikte over de gegevens, maar slechts een handvol mensen werkt aan het probleem”, zegt hij. “De prijs verbond deze twee op een manier die gevoelig was voor hun bedrijfseigen gegevens … Dit model werkt niet voor elk domein; het werkte hier omdat de gegevens interessant waren, en het was overtuigend onderwerp. Iedereen kan zich identificeren met films. Een soortgelijke concurrentiestrijd om bijvoorbeeld automatische taalvertalingen zal wellicht niet zoveel passie opwekken.”

Andreas Töscher, oorspronkelijk van team Big Chaos, was het ermee eens dat er meer competities zoals die van Netflix in petto zijn. Hij sprak over het afgelegen karakter van de specifieke crowdsourcing-ervaring van zijn team – vóór maandag had hij niet eens met zijn teamgenoten gesproken, laat staan ​​hen gezien. “Het was geweldig om de rest van het team te ontmoeten, na ruim een ​​half jaar samengewerkt te hebben. We hebben nooit een telefoontje gehad. Van Martin en Martin hadden we tot een week geleden nog geen foto’s gezien.”

Martin Chabbert, die oorspronkelijk deel uitmaakte van het PragmaticTheory-team, zegt dat het weliswaar moeilijk was om je op de wedstrijd te concentreren terwijl Door het combineren van werk- en gezinsverantwoordelijkheden was het moeilijker om te voorkomen dat je op de computer inlogde om een ​​nieuw idee voor de computer uit te testen project. Hoewel zijn technische achtergrond de inspanningen van het team hielp, hielp het niet verzanden door de theoretische aspecten van het werk evenzeer.

“Ik denk dat een van de belangrijke kwaliteiten om succesvol te zijn op dit gebied het vermogen is om intuïtie over menselijk gedrag te vertalen naar een daadwerkelijk wiskundig en algoritmisch model”, zegt Chabbert. “Veel mensen hebben ideeën over wat er moet worden vastgelegd, maar de sleutel ligt in het vinden van de juiste manier om het vast te leggen. Ik geloof dat wij daar goed werk in hebben geleverd. Omdat we niet vanuit een academische achtergrond kwamen, waren we erg gefocust op de taak die voor ons lag, in plaats van proberen dingen te vinden die een theoretische basis hadden of die noodzakelijkerwijs de algemene vooruitgang zouden bevorderen wetenschap."

De vader van vier kinderen zegt dat elk lid van zijn team zeker iets heeft meegenomen dat heeft bijgedragen aan de winnende score. De algoritmen en papieren van Team BellKor-lid Yehuda Koren waren van cruciaal belang, terwijl het beheer door BigChaos van alle modellen en voorspellingssets afkomstig van elk subteam van cruciaal belang bleek. Chabbert en Martin Piotte danken hun ‘pragmatische’ aanpak voor het opleveren van een breed scala aan originele modellen en combinaties.

Volinsky zegt dat de AT&T IP-organisatie het intellectuele eigendom van de uitvindingen van de concurrentie bezit, maar zou overwegen om naar mogelijkheden te zoeken om deze extern in licentie te geven. Alle drie de teamgenoten zeggen dat ze zullen overwegen om mee te doen De tweede competitie van Netflix, dat zich zal richten op het creëren van smaakprofielen voor individuele gebruikers op basis van demografische en gebruiksgegevens.

Lauren Fritsky is een freelanceschrijver en professionele blogger, gevestigd buiten Philadelphia. Haar werk is verschenen in verschillende kranten en tijdschriften en op sites als AOL en CNN.

Aanbevelingen van de redactie

• Beste Netflix-deals: bekijk gratis de nieuwste Netflix-originelen
• Hoeveel kost Netflix? Een overzicht van de plannen van de streamer
• Zo kijk je Netflix in 4K op elk apparaat
• De soundbars van TCL uit 2023 zijn betaalbaar, maar missen een belangrijk kenmerk
• Betalen! Netflix begint hardhandig optreden tegen het delen van accounts in de VS.

Upgrade uw levensstijlMet Digital Trends kunnen lezers de snelle technische wereld in de gaten houden met het laatste nieuws, leuke productrecensies, inzichtelijke redactionele artikelen en unieke sneak peeks.