Doslovni manjinski izvještaj: Algoritamske pristranosti prediktivnog policijskog rada

Prediktivni rad policije trebao je preobraziti način na koji se policija provodi, uvodeći nas u svijet pametnog zakona provedbu u kojoj je pristranost uklonjena i policija bi mogla odgovoriti na podatke, a ne na slutnje. Ali desetljeće nakon što je većina nas prvi put čula izraz "prediktivni policijski rad", čini se jasnim da nije uspio. Potaknuta reakcijom javnosti, tehnologija doživljava značajan pad u upotrebi, u usporedbi s prije samo nekoliko godina.

U travnju ove godine, Los Angeles - koji je, prema LA Timesu, "pionir predviđanja kriminala s podacima" - smanjio je financiranje svog prediktivnog policijskog programa, okrivljujući troškove. "To je teška odluka", šef policije Michel Moore rekao je za LA Times. “To je strategija koju smo koristili, ali projekcije troškova od stotina tisuća dolara koje treba potrošiti na to pravo Sada umjesto pronalaska tog novca i usmjeravanja tog novca na druge važnije aktivnosti je ono što moram učiniti.”

Što je pošlo po zlu? Kako bi nešto što se reklamira kao "pametna" tehnologija moglo dovesti do daljnjeg učvršćivanja pristranosti i diskriminacije? I je li san o prediktivnom policijskom radu onaj koji bi se mogao prilagoditi pravim algoritmom - ili slijepa ulica u pravednijem društvu koje se trenutno bori s načinom na koji policija treba djelovati?

Obećanje prediktivnog rada policije

Prediktivni policijski rad u svom sadašnjem obliku datira otprilike jedno desetljeće unatrag od rada psihologinje Colleen McCue i šefa policije Los Angelesa Charlieja Becka iz 2009., pod naslovom “Prediktivni rad policije: Što možemo naučiti od Walmarta i Amazona o borbi protiv kriminala u recesiji?” U novinama su se uhvatili načina na koji veliki trgovci na malo koriste velike podatke kako bi pomogli u otkrivanju obrazaca u ponašanju kupaca u prošlosti koji bi se mogli koristiti za predviđanje budućeg ponašanja. Zahvaljujući napretku u računalstvu i prikupljanju podataka, McCue i Beck sugerirali su da je moguće prikupljati i analizirati podatke o kriminalu u stvarnom vremenu. Ti se podaci zatim mogu koristiti za predviđanje, sprječavanje i učinkovitiji odgovor na zločine koji se još nisu dogodili.

U godinama koje su uslijedile, prediktivni policijski rad prešao je iz ideje za bacanje u stvarnost u mnogim dijelovima Sjedinjenih Država, zajedno s ostatkom svijeta. U procesu je krenuo u promjenu policije iz reaktivne u proaktivnu; oslanjajući se na neka od otkrića u tehnologiji vođenoj podacima koja omogućuju uočavanje obrazaca u stvarnom vremenu — i djelovanje u skladu s njima.

"Postoje dva glavna oblika prediktivne policije," Andrew Ferguson, profesor prava na Sveučilištu District of Columbia David A. Clarke School of Law i autor Uspon policijskog rada s velikim podacima: nadzor, rasa i budućnost provedbe zakona, rekao je za Digital Trends. "[Ovo je] prediktivni nadzor prema mjestu i prediktivni nadzor prema osobi."

U oba slučaja, prediktivni policijski sustavi dodjeljuju ocjenu rizika dotičnoj osobi ili mjestu, što potiče policiju na praćenje u zadanom intervalu. Prvi od ovih pristupa, prediktivni policijski rad na temelju mjesta, pretežno se usredotočuje na policijske patrole. Uključuje korištenje mapiranja zločina i analitiku o vjerojatnim mjestima budućih zločina, na temelju prethodnih statistika.

Drugi pristup usmjeren je na predviđanje vjerojatnosti da pojedinac predstavlja potencijalni budući rizik. Na primjer, 2013. godine zapovjednik čikaške policije poslan je u dom 22-godišnjeg Roberta McDaniela, koji je označen kao potencijalni rizik ili počinitelj oružanog nasilja u centru Chicaga od strane algoritam. "Popis topline" koji je algoritam pomogao sastaviti tražio je obrasce koji bi mogli predvidjeti buduće prijestupnike ili žrtve, čak i ako oni sami nisu učinili ništa što bi opravdalo ovo ispitivanje osim prilagodbe a profil.

Kao Chicago Tribune primijetio: “Strategija poziva na pojedinačno upozorenje onima koji su na popisu vrućih da daljnje kriminalne aktivnosti, čak i za najsitnije prekršaje, rezultirat će ukidanjem pune snage zakona ih."

San o prediktivnom policijskom radu bio je da, djelovanjem na mjerljivim podacima, policiju učini ne samo učinkovitijom, već i manje sklonom nagađanju i, kao rezultat toga, pristranosti. To bi, tvrdili su zagovornici, promijenilo rad policije nabolje i uvelo novu eru pametne policije. Međutim, gotovo od samog početka, prediktivni policijski rad imao je oštre kritičare. Oni tvrde da, umjesto da pomaže u rješavanju problema poput rasizma i drugih sistemskih predrasuda, prediktivni policijski rad zapravo može pomoći u njihovom ukorijenjenju. I teško je tvrditi da nemaju smisla.

Diskriminirajući algoritmi

Ideja da prediktivni policijski sustavi temeljeni na strojnom učenju mogu naučiti razlikovati na temelju čimbenika kao što je rasa nije ništa novo. Alati za strojno učenje treniraju se s ogromnim gomilama podataka. I sve dok te podatke prikuplja sustav u kojem je rasa i dalje prevladavajući faktor, to može dovesti do diskriminacije.

Kao Renata M. O’Donnell piše u radu iz 2019. pod naslovom "Osporavanje rasističkih prediktivnih policijskih algoritama prema klauzuli o jednakoj zaštiti," algoritmi strojnog učenja uče iz podataka izvedenih iz pravosudnog sustava u kojem su "Crni Amerikanci zatvoreni u državnim zatvorima to je 5,1 puta više od zatvorske kazne od bijelaca, a jedan od svaka tri crnca rođena danas može očekivati ​​da će tijekom života otići u zatvor ako su trenutni trendovi nastaviti."

"Podaci nisu objektivni", rekao je Ferguson za Digital Trends. “Samo smo mi svedeni na binarni kod. Sustavi koji se temelje na podacima koji rade u stvarnom svijetu nisu objektivniji, pošteniji ili nepristraniji od stvarnog svijeta. Ako je vaš stvarni svijet strukturalno nejednak ili rasno diskriminatoran, sustav koji se temelji na podacima odražavat će te društvene nejednakosti. Unosi koji ulaze zaraženi su pristranošću. Analiza je zaražena pristranošću. A mehanizmi policijske vlasti ne mijenjaju se samo zato što postoji tehnologija koja vodi sustave.”

Ferguson daje primjer uhićenja kao jednog naizgled objektivnog čimbenika u predviđanju rizika. Međutim, uhićenja će biti iskrivljena raspodjelom policijskih resursa (kao što je mjesto gdje patroliraju) i vrstama zločina koji obično zahtijevaju uhićenja. Ovo je samo jedna ilustracija potencijalno problematičnih podataka.

Opasnosti prljavih podataka

Nedostajući i netočni podaci ponekad se u rudarenju podataka nazivaju "prljavi podaci". A 2019. rad istraživača s A.I. Sada Institut na Sveučilištu New York proširuje ovaj izraz tako da se također odnosi na podatke koji su pod utjecajem korumpiranih, pristranih i nezakonitih prakse — bilo da je riječ o namjernoj manipulaciji koju su iskrivili pojedinci i društvene predrasude. Moglo bi, na primjer, uključivati ​​podatke koji su generirani uhićenjem nevine osobe kojoj su podmetnuti dokazi ili koja je na drugi način lažno optužena.

Postoji određena ironija u činjenici da su se tijekom proteklih desetljeća zahtjevi podatkovnog društva u kojem sve se vrti oko kvantifikacije i željeznih numeričkih ciljeva, upravo je dovelo do puno... pa, stvarno loši podaci. HBO serija Žica prikazao je stvarni fenomen "šuljanja statistike", a godine otkako se emisija nije emitirala ponudile su mnogo primjeri stvarne sustavne manipulacije podacima, lažnih policijskih izvješća i protuustavnih praksi koje su nevine ljude poslale u zatvor.

Loši podaci koji ljudima na vlasti omogućuju da umjetno pogađaju mete su jedna stvar. Ali kombinirajte to s algoritmima i prediktivnim modelima koji ovo koriste kao osnovu za modeliranje svijeta i potencijalno ćete dobiti nešto puno gore.

Istraživači su pokazali kako upitni podaci o kriminalu uključeni u prediktivne policijske algoritme mogu stvoriti ono što se naziva "odbjegle povratne sprege,” u kojem se policija više puta šalje u iste četvrti bez obzira na stvarnu stopu kriminala. Jedan od koautora tog rada, informatičar Suresh Venkatasubramanian, kaže da modeli strojnog učenja svojim modeliranjem mogu ugraditi pogrešne pretpostavke. Poput stare izreke o tome kako za osobu s čekićem svaki problem izgleda kao čavao, ovi sustavi modeliraju samo određene elemente problema - i zamislite samo jedan mogući ishod.

"[Nešto što] se ne obrađuje u ovim modelima je u kojoj mjeri modelirate činjenicu da bacanje više policajaca na neko područje zapravo može smanjiti kvalitetu života ljudi koji tamo žive?" Venkatasubramanian, profesor na Fakultetu računarstva na Sveučilištu Utah, rekao je za Digital Trendovi. “Pretpostavljamo da je više policajaca bolja stvar. Ali kao što upravo sada vidimo, više policije nije nužno dobra stvar. To zapravo može pogoršati stvari. Ni u jednom modelu koji sam ikada vidio nitko se nije pitao kolika je cijena postavljanja više policije u neko područje.”

Neizvjesna budućnost prediktivnog policijskog rada

Oni koji rade u policijskim poslovima s predviđanjem ponekad neironično koriste izraz "izvješće o manjinama" kako bi označili vrstu predviđanja koje rade. Termin se često poziva kao referenca na Istoimeni film iz 2002, koja se pak temeljila na kratkoj priči Philipa K. iz 1956. Kurac. U Izvješće manjina, poseban odjel policije za predkriminal hvata kriminalce na temelju predznanja o zločinima koji će se počiniti u budućnosti. Ove prognoze daju tri vidovnjaka koji se zovu "predosjećaji".

Ali zaokret u Izvješće manjina je da predviđanja nisu uvijek točna. Neslažuće se vizije jednog od predodžbi pružaju alternativni pogled na budućnost, koji je potisnut zbog straha da se sustav ne učini nepouzdanim.

Trenutno se prediktivni policijski rad suočava s vlastitom neizvjesnom budućnošću. Uz nove tehnologije kao što je prepoznavanje lica, tehnologija dostupna policiji za moguću uporabu nikada nije bila moćnija. U isto vrijeme, svijest o korištenju prediktivnog policijskog rada izazvala je reakciju javnosti koja je možda zapravo pomogla u njegovom ukidanju. Ferguson je za Digital Trends rekao da je korištenje prediktivnih policijskih alata u posljednjih nekoliko godina u "padu".

„U svom zenitu, [prediktivno policijsko djelovanje temeljeno na mjestu] bilo je u više od 60 velikih gradova i raslo je, ali kao rezultat uspješnog organiziranja zajednice, uvelike je smanjen i/ili zamijenjen drugim oblicima podataka vođenih analitiku”, rekao je. “Ukratko, pojam prediktivnog policijskog rada postao je toksičan, a policijske službe naučile su preimenovati ono što su radile s podacima. Prediktivni policijski rad temeljen na osobama imao je strmiji pad. Dva glavna grada u koja su uložena sredstva u njegovu izradu - Chicago i Los Angeles - odustala su od svoje osobnosti strategije nakon oštre kritike zajednice i razornih internih revizija koje pokazuju da taktike nisu raditi. Ne samo da su prediktivni popisi bili manjkavi, bili su i neučinkoviti.”

Pogrešni alati za posao?

Međutim, Rashida Richardson, direktor istraživanja politike na A.I. Sada je Institut rekao da postoji previše nejasnoća u vezi s korištenjem ove tehnologije. “Još uvijek ne znamo zbog nedostatka transparentnosti u vezi s državnom nabavom tehnologije i mnogih drugih rupe u postojećim postupcima nabave koje mogu zaštititi kupnju određene tehnologije od javnog nadzora," rekla je. Ona daje primjer tehnologije koja se može dati policijskoj upravi besplatno ili kupiti treća strana. “Iz istraživanja kao što je moje i medijskih izvješća znamo da su mnoge najveće policijske uprave u SAD-u koristile tehnologiju u nekom trenutku, ali postoje i mnoge male policijske uprave koje je koriste ili su je koristile ograničena razdoblja od vremena."

S obzirom na trenutna pitanja o ulozi policije, hoće li doći u iskušenje ponovnog zagrljaja prediktivni policijski rad kao alat za donošenje odluka na temelju podataka — možda u manje distopijskoj znanstvenoj fantastici brendiranje? Postoji mogućnost da se takav preporod pojavi. No Venkatasubramanian je vrlo skeptičan da je strojno učenje, kakvo se trenutno prakticira, pravi alat za posao.

“Cjelokupno strojno učenje i njegov uspjeh u modernom društvu temelji se na premisi da, bez obzira što je stvarno problem, u konačnici se svodi na prikupljanje podataka, izradu modela, predviđanje ishoda - i ne morate brinuti o domeni," On je rekao. “Možete napisati isti kod i primijeniti ga na 100 različitih mjesta. To je obećanje apstrakcije i prenosivosti. Problem je u tome što kada koristimo ono što ljudi nazivaju socio-tehničkim sustavima, gdje su ljudi i tehnologija isprepleteni u kompliciranim valovima, to ne možete učiniti. Ne možete samo priključiti komad i očekivati ​​da će raditi. Jer [postoje] efekti valovitosti s stavljanjem tog komada i činjenicom da postoje različiti igrači s različitim programima u takvom sustavu, te podrivaju sustav svojim potrebama različiti putevi. Sve ove stvari morate uzeti u obzir kada govorite o učinkovitosti. Da, možete reći u sažetku da će sve raditi dobro, ali tamo je bez apstrakta. Postoji samo kontekst u kojem radite.”