Ja jūs vilcināties pēc trīs stundu darba, iedomājieties, cik grūti ir turpināt atgriezties pie projekta trīs gadu laikā.
Tieši to izdarīja septiņi inženieri, pētnieki un zinātnieki no visas pasaules, mēģinot uzlabot Netflix filmu ieteikumu algoritmu par 10 procentiem vai vairāk. Un viņu centība nesen atmaksājās, kad filmu nomas uzņēmums piešķīra 1 miljonu dolāru komandai BellKor's Pragmatic Chaos.
Ieteiktie videoklipi
Komanda savu galīgo formulu iesniedza aptuveni 20 minūtes pirms konkursa beigām jūlija beigās, pārspējot tuvu konkurentu The Ensemble. Trīs gadus ilgā konkursa laikā par balvu sacentās vairāk nekā 50 000 cilvēku.
Saistīts
- Izskatās, ka jaunā cilne Mans Netflix atvieglo straumēšanu, atrodoties ceļā
- Netflix nogalina pamatplānu ASV un Lielbritānijā, jo reklāmas nes lielākus ieņēmumus
- Netflix ātruma tests: kā pārbaudīt, vai varat straumēt 4K Ultra HD
Metode līdz neprātam
BellKor’s Pragmatic Chaos ir trīs komandu (BellKor, PragmaticTheory un Big Chaos) kombinācija, kas apvienoja spēkus, lai pabeigtu pieteikšanos konkursam. Dalībnieki ir: Bobs Bells un Kriss Volinskis no AT&T pētniecības statistikas pētījumu nodaļas; Andreass Tošers un Maikls Jahrers, mašīnmācīšanās pētnieki un dibinātāji
commendo pētījumi un konsultācijas Austrijā; elektroinženieris Martins Piots un programmatūras inženieris Mārtins Šaberts no Monreālas, dibinātāji Pragmatiskā teorija; un Yehuda Koren, vecākais pētnieks, plkst Yahoo! Izpētiet Izraēlu. Pirmo reizi viņi tikās pirmdien, septembrī. 21, kad Netflix paziņoja uzvarētājus.BellKor's Pragmatic Chaos kļuva par pirmo komandu, kas jūnijā pārsniedza 10 procentus, kas izraisīja 30 dienu periodu, kurā citi dalībnieki varēja mēģināt pārspēt savu rezultātu. Konkurējošā komanda The Ensemble savu risinājumu iesniedza jūlija beigās tikai dažas minūtes pirms termiņa. BellKor uzvarošais ieraksts uzlaboja Netflix esošo sistēmu par 10,06 procentiem.
Mēģinājums par 10 procentiem samazināt testa datu vidējo kvadrātisko kļūdu (RMSE), salīdzinot ar Cinematch, tehnoloģija, ko Netflix pašlaik izmanto, lai ieteiktu dalībniekiem filmas, balstījās uz sadarbību filtrēšana. Metodikā tiek aplūkota to lietotāju iepriekšējā rīcība, kuriem ir vienādi vērtēšanas modeļi, lai formulētu prognozi citiem lietotājiem. Izmantojot datu kopu ar vienu miljonu filmu, BellKor's Pragmatic Chaos strādāja ar algoritmiem un izmantoja "dažādi modeļus, kas papildina viens otra trūkumus,” teikts vienā no komandas publicētajiem dokumentiem BellKor.
Tajos bija iekļauti tuvāko kaimiņu modeļi (kas identificē priekšmetu pārus, kurus lietotājs mēdz novērtēt līdzīgi paredzēt vērtējumus nenovērtētam vienumam) un latentos faktorus (kas izmeklē slēptās funkcijas, kas izskaidro novēroto vērtējumi). Komanda arī aplūkoja vērtējumus, lai atklātu papildu datus, piemēram, kādas filmas ir novērtējis cilvēks.
Komanda varēja noteikt, ka:
- skatītāji izmanto dažādus kritērijus, lai novērtētu filmas, kuras viņi ir redzējuši sen, salīdzinot ar tām, kuras viņi ir redzējuši nesen; un
- Šķiet, ka dažas filmas ar laiku piesaista skatītājus, un dažādās nedēļas dienās skatītāji filmas vērtē atšķirīgi.
Izmantojot šo informāciju, komanda izveidoja trīsdimensiju modeli, kurā galvenā uzmanība tika pievērsta tam, kā laiks ietekmē attiecības starp cilvēkiem un filmām.
Uzvaroša kombinācija
Lai gan risinājuma pamatā esošā metodoloģija ir svarīga, iespējams, interesantāka bija konkursa norāde, ka kolektīvā piegāde var dot labākus rezultātus nekā iekšēja meklēšana.
Kriss Volinskis no BellKor komandas saka, ka Netflix ir izdarījis gudru soli, "saprotot, ka pastāv pētnieku kopiena, kas strādāja pie šāda veida modeļiem un badojās pēc datiem.
"Netflix bija dati, bet tikai daži cilvēki strādā pie problēmas," viņš saka. “Balva savienoja šos divus tādā veidā, kas bija jutīgs pret viņu patentētajiem datiem… Šis modelis nedarbojas katrā domēnā — tas darbojās šeit, jo dati bija interesanti un pārliecinoši temats. Ikviens var būt saistīts ar filmām. Līdzīgs konkurss par, piemēram, automātisko valodu tulkošanu, iespējams, neradīs tik lielu aizrautību.
Andreass Tošers, sākotnēji no komandas Big Chaos, piekrita, ka gaidāmi vēl citi konkursi, piemēram, Netflix. Viņš runāja par savas komandas īpašās pūļa pakalpojumu pieredzes attālo raksturu — pirms pirmdienas viņš pat nebija runājis ar saviem komandas biedriem, nemaz nerunājot par to, ka viņus skatīja. “Bija lieliski satikt pārējo komandu pēc vairāk nekā pusgada ilgas kopdarbības. Mums nekad nav bijis telefona zvana. No Mārtiņa un Mārtiņa mēs nebijām redzējuši attēlus vēl pirms nedēļas.
Martins Čaberts, kurš sākotnēji bija PragmaticTheory komandas daļa, saka, ka, lai gan bija grūti koncentrēties uz konkursu žonglējot ar darba un ģimenes pienākumiem, bija grūtāk izvairīties no pieteikšanās datorā, lai izmēģinātu jaunu ideju projektu. Lai gan viņa inženierzinātņu pieredze palīdzēja komandas centieniem, neieslīgums darba teorētiskajos aspektos palīdzēja tikpat labi.
"Es domāju, ka viena no svarīgajām īpašībām, lai gūtu panākumus šajā jomā, ir spēja pārvērst intuīciju par cilvēka uzvedību faktiskā matemātiskā un algoritmiskā modelī," saka Čabberts. "Daudziem cilvēkiem ir idejas par to, kas būtu jāuztver, bet galvenais ir atrast pareizo veidu, kā to tvert. Es uzskatu, ka mēs tajā paveicām labu darbu. Turklāt, nenākot no akadēmiskās vides, mēs bijām ļoti koncentrējušies uz veicamo uzdevumu, nevis mēģinot atrast lietas, kurām būtu teorētisks pamatojums vai kas noteikti virzītu uz priekšu vispārējo zinātne."
Četru bērnu tēvs saka, ka katrs viņa komandas dalībnieks noteikti atnesa kaut ko, kas veicināja uzvaras rezultātu. Komandas BellKor dalībnieka Jehudas Korena algoritmi un dokumenti bija vissvarīgākie, savukārt BigChaos pārvaldīja visus modeļus un prognožu komplektus no katras apakšgrupas. Chabbert un Martin Piotte atzīst savu "pragmatisko" pieeju, radot plašu oriģinālo modeļu un kombināciju klāstu.
Volinskis saka, ka AT&T IP organizācijai pieder konkursa izgudrojumu intelektuālais īpašums, taču tā apsvērtu iespēju meklēt iespējas tos licencēt ārēji. Visi trīs komandas biedri apgalvo, ka apsvērs iespēju piedalīties Netflix otrais konkurss, kas koncentrēsies uz garšas profilu izveidi atsevišķiem lietotājiem, pamatojoties uz demogrāfiskajiem un lietošanas datiem.
Lauren Fritsky ir ārštata rakstniece un profesionāla emuāru autore, kas atrodas ārpus Filadelfijas. Viņas darbi ir parādījušies vairākos laikrakstos un žurnālos, kā arī tādās vietnēs kā AOL un CNN.
Redaktoru ieteikumi
- Labākie Netflix piedāvājumi: skatieties jaunākos Netflix oriģinālus bez maksas
- Cik maksā Netflix? Straumētāja plānu sadalījums
- Kā skatīties Netflix 4K jebkurā ierīcē
- TCL 2023. gada skaņu joslas ir pieejamas par pieņemamām cenām, taču tām trūkst galvenās funkcijas
- Apmaksāt! Netflix sāk represijas pret kontu koplietošanu ASV.
Uzlabojiet savu dzīvesveiduDigitālās tendences palīdz lasītājiem sekot līdzi steidzīgajai tehnoloģiju pasaulei, izmantojot visas jaunākās ziņas, jautrus produktu apskatus, ieskatu saturošus rakstus un unikālus ieskatus.
