Dacă amânați după trei ore de muncă, imaginați-vă cât de greu este să continuați să reveniți la un proiect pe parcursul a trei ani.
Este exact ceea ce au făcut șapte ingineri, cercetători și oameni de știință din întreaga lume în încercarea de a îmbunătăți algoritmul de recomandare a filmelor Netflix cu 10% sau mai mult. Și diligența lor a dat roade recent, când compania de închiriere de filme a acordat 1 milion de dolari echipei Pragmatic Chaos de la BellKor.
Videoclipuri recomandate
Echipa și-a prezentat formula finală cu aproximativ 20 de minute înainte ca concursul să se încheie la sfârșitul lunii iulie, învingându-l pe concurentul apropiat The Ensemble. Peste 50.000 de oameni au concurat pentru premiu pe parcursul competiției de trei ani.
Legate de
- Noua filă My Netflix pare să ușureze puțin fluxul din mers
- Netflix anulează planul Basic în S.U.A., Regatul Unit, deoarece reclamele aduc mai multe venituri
- Test de viteză Netflix: cum să verificați dacă puteți transmite în flux 4K Ultra HD
Metoda nebuniei
Pragmatic Chaos de la BellKor este o combinație de trei echipe (BellKor, PragmaticTheory și Big Chaos) care și-au unit forțele pentru a finaliza depunerea lor la competiție. Membrii sunt: Bob Bell și Chris Volinsky, de la departamentul de cercetare statistică la AT&T research; Andreas Töscher și Michael Jahrer, cercetători și fondatori ai învățării automate lauda cercetarea si consultanta în Austria; inginer electric Martin Piotte și inginer software Martin Chabbert din Montreal, fondatori ai Teoria pragmatică; și Yehuda Koren, cercetător senior la Yahoo! Cercetează Israelul. S-au întâlnit pentru prima dată luni, sept. 21, când Netflix a anunțat câștigătorii.
Pragmatic Chaos de la BellKor a devenit prima echipă care a depășit 10% în iunie, ceea ce a declanșat o perioadă de 30 de zile în care alți concurenți au putut încerca să-și bată scorul. Echipa rivală, The Ensemble, și-a depus soluția la sfârșitul lunii iulie cu doar câteva minute înainte de termenul limită. Candidatura câștigătoare a BellKor a îmbunătățit sistemul existent Netflix cu 10,06%.
Încercarea de a produce o reducere cu 10% a erorii pătrate medii (RMSE) a datelor de testare în comparație cu Cinematch, tehnologia pe care Netflix o folosește în prezent pentru a recomanda filme membrilor, sa bazat pe colaborare filtrare. Metodologia analizează comportamentul trecut al utilizatorilor care împărtășesc aceleași modele de evaluare pentru a formula o predicție pentru alți utilizatori. Folosind un set de date de un milion de filme, Pragmatic Chaos de la BellKor a lucrat cu algoritmi și s-a bazat pe „o varietate de modele care completează neajunsurile unul altuia”, potrivit uneia dintre lucrările publicate de echipă BellKor.
Acestea au inclus modele de cel mai apropiat vecin (care identifică perechi de articole care tind să fie evaluate în mod similar de către un utilizator prezice evaluările pentru un articol neevaluat) și factori latenți (care analizează caracteristicile ascunse care explică evaluări). Echipa a analizat, de asemenea, în spatele evaluărilor pentru a descoperi date suplimentare, cum ar fi ce filme a evaluat o persoană.
Echipa a putut determina următoarele:
- spectatorii folosesc criterii diferite pentru a evalua filmele pe care le-au văzut cu mult timp în urmă în comparație cu cele pe care le-au văzut recent; și
- unele filme par să crească pe spectatori în timp, iar spectatorii evaluează filmele diferit în diferite zile ale săptămânii.
Folosind aceste informații, echipa a creat un model tridimensional care sa concentrat pe modul în care timpul afectează relația dintre oameni și filme.
O combinație câștigătoare
Deși metodologia din spatele soluției este importantă, poate mai interesantă a fost indicația concursului că crowdsourcing-ul poate produce rezultate mai bune decât căutarea internă.
Chris Volinsky, de la echipa BellKor’s, spune că Netflix a făcut o mișcare inteligentă, „realizând că există o comunitate de cercetare acolo care a lucrat la aceste tipuri de modele și era înfometată de date.
„Netflix avea datele, dar doar o mână de oameni lucrează la problemă”, spune el. „Premiul le-a conectat pe acești doi într-un mod care a fost sensibil la datele lor proprietare... Acest model nu funcționează pentru fiecare domeniu - a funcționat aici pentru că datele erau interesante și au fost convingătoare subiect. Toată lumea se poate lega de filme. O competiție similară pentru, să zicem, traducerea automată a limbii s-ar putea să nu genereze atât de multă pasiune.”
Andreas Töscher, inițial din echipa Big Chaos, a fost de acord că mai multe competiții precum Netflix sunt pregătite. El a vorbit despre natura îndepărtată a experienței particulare de crowdsourcing a echipei sale - înainte de luni, nici măcar nu vorbise cu colegii săi, cu atât mai puțin cu privire la ei. „A fost grozav să ne întâlnim cu restul echipei, după ce am lucrat împreună timp de peste jumătate de an. Nu am avut niciodată un apel telefonic. De la Martin și Martin, nu văzusem poze până acum o săptămână.”
Martin Chabbert, care a făcut parte inițial din echipa PragmaticTheory, spune că, deși a fost greu să te concentrezi pe concurs în timp ce jonglez cu munca și responsabilitățile familiale, a fost mai greu să eviți să te conectezi la computer pentru a testa o nouă idee pentru proiect. În timp ce experiența sa de inginerie a ajutat eforturile echipei, a nu fi blocat de aspectele teoretice ale lucrării a ajutat în egală măsură.
„Cred că una dintre calitățile importante pentru a avea succes în acest domeniu este capacitatea de a traduce intuiția despre comportamentul uman într-un model matematic și algoritmic real”, spune Chabbert. „Mulți oameni au idei cu privire la ceea ce ar trebui să fie capturat, dar cheia este în găsirea modului potrivit de a captura. Cred că am făcut o treabă bună la asta. De asemenea, ne venind dintr-un mediu academic, am fost foarte concentrați pe sarcina în cauză, mai degrabă decât încercând să găsească lucruri care aveau fundament teoretic sau care ar avansa neapărat generalul ştiinţă."
Tatăl a patru copii spune că fiecare dintre membrii echipei sale a adus cu siguranță ceva care a contribuit la scorul câștigător. Algoritmii și lucrările lui Yehuda Koren, membru al echipei BellKor, au fost esențiale, în timp ce gestionarea de către BigChaos a tuturor modelelor și seturilor de predicții provenite de la fiecare sub-echipă s-a dovedit cheie. Chabbert și Martin Piotte consideră că abordarea lor „pragmatică” a produs o gamă largă de modele și combinații originale.
Volinsky spune că organizația AT&T IP deține proprietatea intelectuală asupra invențiilor concurenței, dar ar lua în considerare căutarea oportunităților de a le licenția extern. Toți trei coechipieri spun că vor lua în considerare intrarea Al doilea concurs Netflix, care se va concentra pe crearea de profiluri de gust pentru utilizatorii individuali pe baza datelor demografice și de utilizare.
Lauren Fritsky este o scriitoare independentă și un blogger profesionist cu sediul în afara Philadelphia. Munca ei a apărut în mai multe ziare și reviste și pe site-uri precum AOL și CNN.
Recomandările editorilor
- Cele mai bune oferte Netflix: urmăriți gratuit cele mai recente originale Netflix
- Cât costă Netflix? O defalcare a planurilor streamerului
- Cum să vizionezi Netflix în 4K pe orice dispozitiv
- Barele de sunet TCL 2023 sunt accesibile, dar le lipsește o caracteristică cheie
- Plateste! Netflix începe represiunea pentru partajarea contului în S.U.A.
Îmbunătățește-ți stilul de viațăDigital Trends îi ajută pe cititori să țină cont de lumea rapidă a tehnologiei cu toate cele mai recente știri, recenzii distractive despre produse, editoriale perspicace și anticipări unice.
