Jei atidėliojate po trijų valandų darbo, įsivaizduokite, kaip sunku vis sugrįžti prie projekto per trejus metus.
Būtent tai padarė septyni inžinieriai, tyrinėtojai ir mokslininkai iš viso pasaulio, bandydami 10 ar daugiau procentų pagerinti „Netflix“ filmų rekomendacijų algoritmą. Jų kruopštumas neseniai pasiteisino, kai filmų nuomos kompanija skyrė 1 milijoną dolerių komandai BellKor's Pragmatic Chaos.
Rekomenduojami vaizdo įrašai
Komanda pateikė galutinę formulę likus maždaug 20 minučių iki konkurso pabaigos liepos pabaigoje, įveikdama artimą konkurentą „The Ensemble“. Per trejus metus trukusį konkursą dėl prizo varžėsi daugiau nei 50 000 žmonių.
Susijęs
- Panašu, kad naujasis „Mano Netflix“ skirtukas palengvina srautinį perdavimą keliaujant
- „Netflix“ sunaikina pagrindinį planą JAV ir JK, nes skelbimai atneša daugiau pajamų
- „Netflix“ greičio testas: kaip patikrinti, ar galite transliuoti 4K Ultra HD
Metodas į beprotybę
„BellKor's Pragmatic Chaos“ yra trijų komandų („BellKor“, „PragmaticTheory“ ir „Big Chaos“) derinys, kurios suvienijo jėgas, kad užbaigtų savo pateikimą konkursui. Nariai: Bobas Bellas ir Chrisas Volinsky, iš AT&T tyrimų statistikos tyrimų skyriaus; Andreasas Töscheris ir Michaelas Jahreris, mašininio mokymosi tyrinėtojai ir įkūrėjai
commendo tyrimai ir konsultacijos Austrijoje; elektros inžinierius Martinas Piotte'as ir programinės įrangos inžinierius Martinas Chabbertas iš Monrealio, įkūrėjai Pragmatinė teorija; ir Yehuda Koren, vyresnysis mokslo darbuotojas Yahoo! Tyrinėkite Izraelį. Pirmą kartą jie susitiko pirmadienį, rugsėjo mėn. 21 d., kai „Netflix“ paskelbė nugalėtojus.„BellKor's Pragmatic Chaos“ tapo pirmąja komanda, birželį viršijusia 10 procentų, o tai paskatino 30 dienų laikotarpį, per kurį kiti dalyviai galėjo pabandyti įveikti savo rezultatą. Varžovų komanda „The Ensemble“ savo sprendimą pateikė liepos pabaigoje, likus kelioms minutėms iki galutinio termino. Laimėjęs „BellKor“ įrašas pagerino esamą „Netflix“ sistemą 10,06 proc.
Bandymas 10 procentų sumažinti bandymo duomenų vidutinę kvadratinę paklaidą (RMSE), palyginti su Cinematch, technologija, kurią „Netflix“ šiuo metu naudoja rekomenduodama nariams filmus, rėmėsi bendradarbiavimu filtravimas. Metodikoje nagrinėjamas ankstesnis naudotojų elgesys, turintis tuos pačius vertinimo modelius, kad būtų galima suformuluoti prognozę kitiems naudotojams. Naudodamas milijono filmų duomenų rinkinį, „BellKor's Pragmatic Chaos“ sukūrė algoritmus ir rėmėsi „įvairiu modelių, kurie papildo vienas kito trūkumus“, – teigiama viename iš komandos paskelbtų straipsnių BellKor.
Jie apėmė artimiausių kaimynų modelius (kurie nustato poras elementų, kuriuos vartotojas paprastai vertina panašiai prognozuoti neįvertinto elemento įvertinimus) ir latentinius veiksnius (kurie tiria paslėptas savybes, paaiškinančias stebimą). reitingai). Komanda taip pat pažvelgė į reitingus, kad atskleistų papildomų duomenų, pavyzdžiui, kokius filmus žmogus įvertino.
Komanda galėjo nustatyti, kad:
- žiūrovai naudoja skirtingus kriterijus vertindami seniai matytus filmus, palyginti su tais, kuriuos matė neseniai; ir
- Panašu, kad kai kurie filmai sulaukia žiūrovų dėmesio, o skirtingomis savaitės dienomis žiūrovai filmus vertina skirtingai.
Naudodama šią informaciją, komanda sukūrė trimatį modelį, kuriame pagrindinis dėmesys buvo skiriamas laiko poveikiui žmonių ir filmų santykiams.
Laimėjęs derinys
Nors sprendimo metodologija yra svarbi, galbūt įdomesnis buvo konkurso nurodymas, kad pasitelkus sutelktinį tiekimą galima pasiekti geresnių rezultatų nei ieškodami viduje.
Chrisas Volinsky iš „BellKor's“ komandos teigia, kad „Netflix“ padarė protingą žingsnį „suvokdama, kad ten yra mokslinių tyrimų bendruomenė, kuri dirbo su tokiais modeliais ir alksta duomenų.
„„Netflix“ turėjo duomenis, bet tik keletas žmonių dirba su problema“, - sako jis. „Prizas sujungė šiuos du būdus, kurie buvo jautrūs jų nuosavybės teisei duomenims... Šis modelis neveikia kiekviename domene – jis veikė čia, nes duomenys buvo įdomūs ir įtikinami tema. Kiekvienas gali susitaikyti su filmais. Panašus konkursas dėl, tarkime, automatinio kalbos vertimo, gali nesukelti tiek daug aistros.
Andreasas Töscheris, iš pradžių iš komandos Big Chaos, sutiko, kad laukia daugiau konkursų, tokių kaip „Netflix“. Jis kalbėjo apie atokią savo komandos ypatingos minios paslaugų teikimo patirtį – iki pirmadienio jis net nekalbėjo su savo komandos draugais, jau nekalbant apie jų žiūrėjimą. „Buvo nuostabu susitikti su likusia komanda po daugiau nei pusmečio darbo kartu. Mes niekada neturėjome skambučio telefonu. Nuo Martino ir Martino dar prieš savaitę nematėme nuotraukų.
Martinas Chabbertas, kuris iš pradžių buvo PragmaticTheory komandos narys, sako, kad nors buvo sunku susitelkti į konkursą Žongliruojant su darbu ir šeimyninėmis pareigomis, buvo sunkiau išvengti prisijungimo prie kompiuterio ir išbandyti naują idėją projektą. Nors jo inžinerinis išsilavinimas padėjo komandai stengtis, nepasidavimas teoriniams darbo aspektams padėjo taip pat.
„Manau, kad viena iš svarbių savybių, norint sėkmingai dirbti šioje srityje, yra gebėjimas intuiciją apie žmogaus elgesį paversti tikru matematiniu ir algoritminiu modeliu“, – sako Chabbertas. „Daugelis žmonių turi idėjų, ką reikėtų užfiksuoti, bet svarbiausia yra rasti tinkamą būdą tai užfiksuoti. Tikiu, kad tai padarėme gerai. Be to, nebūdami iš akademinės aplinkos, mes buvome labai susikoncentravę ties atliekama užduotimi, o ne bando rasti dalykų, kurie turėtų teorinį pagrindą arba kurie būtinai pakeltų bendrąjį mokslas“.
Keturių vaikų tėvas sako, kad kiekvienas jo komandos narys tikrai atsinešė kažką, kas prisidėjo prie pergalės. „BellKor“ komandos nario Yehuda Koren algoritmai ir dokumentai buvo svarbiausi, o „BigChaos“ valdė visus modelius ir prognozių rinkinius iš kiekvienos komandos. Chabbertas ir Martinas Piotte'as vertina savo „pragmatišką“ požiūrį, kad sukūrė platų originalių modelių ir derinių asortimentą.
Volinsky teigia, kad AT&T IP organizacijai priklauso konkurencijos išradimų intelektinė nuosavybė, tačiau ji apsvarstytų galimybę ieškoti galimybių juos licencijuoti iš išorės. Visi trys komandos draugai sako, kad svarstys galimybę dalyvauti Antrasis „Netflix“ konkursas, kuriame pagrindinis dėmesys bus skiriamas individualių vartotojų skonio profilių kūrimui pagal demografinius ir naudojimo duomenis.
Lauren Fritsky yra laisvai samdoma rašytoja ir profesionali tinklaraštininkė, įsikūrusi už Filadelfijos ribų. Jos darbai pasirodė keliuose laikraščiuose ir žurnaluose bei tokiose svetainėse kaip AOL ir CNN.
Redaktorių rekomendacijos
- Geriausi „Netflix“ pasiūlymai: žiūrėkite naujausius „Netflix“ originalus nemokamai
- Kiek kainuoja „Netflix“? Srautinio transliuotojo planų suskaidymas
- Kaip žiūrėti „Netflix“ 4K formatu bet kuriame įrenginyje
- TCL 2023 garso juostos yra prieinamos, tačiau neturi pagrindinės funkcijos
- Sumokėti! „Netflix“ pradeda susidoroti su paskyromis JAV.
Atnaujinkite savo gyvenimo būdąSkaitmeninės tendencijos padeda skaitytojams stebėti sparčiai besivystantį technologijų pasaulį – pateikiamos visos naujausios naujienos, smagios produktų apžvalgos, įžvalgūs vedamieji leidiniai ir unikalūs žvilgsniai.
