Literal Minority Report: Nuspėjamosios policijos algoritmo šališkumas

Nuspėjamasis policijos darbas turėjo pakeisti policijos vykdymo būdą, įvesdamas mus į protingų įstatymų pasaulį vykdymas, kai šališkumas buvo pašalintas ir policija galėtų reaguoti į duomenis, o ne į nuojautos. Tačiau praėjus dešimtmečiui po to, kai dauguma iš mūsų pirmą kartą išgirdo terminą „numatomasis policijos darbas“, atrodo aišku, kad jis neveikė. Palyginti su tuo, kas buvo prieš kelerius metus, šios technologijos naudojimas pastebimai sumažėjo dėl visuomenės atsako.

Šių metų balandį Los Andželas, kuris, pasak LA Times, „pirmininkas numatė nusikalstamumą naudojant duomenis“, sumažino savo nuspėjamosios policijos programos finansavimą, kaltindamas išlaidas. „Tai sunkus sprendimas“, – policijos viršininkas Michelis Moore'as pasakojo „LA Times“.. „Tai yra strategija, kurią naudojome, tačiau prognozuojama, kad šiai teisei reikės išleisti šimtus tūkstančių dolerių Dabar aš turiu padaryti, palyginti su tų pinigų paieška ir nukreipimu į kitą svarbesnę veiklą.

Kas nutiko? Kaip tai, kas reklamuojama kaip „išmanioji“ technologija, gali dar labiau sustiprinti šališkumą ir diskriminaciją? Ir ar svajonė apie nuspėjamą policijos veiklą yra ta, kurią būtų galima pakoreguoti tinkamu algoritmu – ar aklavietė teisingesnėje visuomenėje, kuri šiuo metu sprendžia, kaip policija turėtų veikti?

Nuspėjamosios policijos pažadas

Dabartinė nuspėjamoji policijos veikla datuojama maždaug dešimtmetį iki 2009 m. psichologės Colleen McCue ir Los Andželo policijos vadovo Charlie Becko dokumento, pavadinto „Nuspėjamasis policijos darbas: ko galime pasimokyti iš „Walmart“ ir „Amazon“ apie kovą su nusikalstamumu recesijos metu?Straipsnyje jie atkreipė dėmesį į tai, kaip pagrindiniai mažmenininkai naudoja didelius duomenis, kad padėtų atskleisti ankstesnio klientų elgesio modelius, kuriuos būtų galima panaudoti prognozuojant būsimą elgesį. Dėl pažangos tiek skaičiavimo, tiek duomenų rinkimo srityse, McCue ir Beck pasiūlė, kad būtų galima rinkti ir analizuoti nusikalstamumo duomenis realiuoju laiku. Tada šie duomenys galėtų būti naudojami dar neįvykusiems nusikaltimams numatyti, užkirsti kelią ir veiksmingiau į juos reaguoti.

Per kelerius metus nuspėjamoji policijos veikla daugelyje Jungtinių Valstijų, kaip ir visame pasaulyje, tapo realybe. Vykdant šį procesą, ji nusprendė pakeisti policijos veiklą iš reaguojančios jėgos į iniciatyvią; remtis kai kuriais duomenimis pagrįstos technologijos proveržiais, leidžiančiais realiu laiku pastebėti modelius ir pagal juos veikti.

„Yra dvi pagrindinės nuspėjamosios policijos formos“, Andrius Fergusonas, Kolumbijos apygardos universiteto teisės profesorius David A. Clarke'o teisės mokykla ir autorius Didelių duomenų policijos augimas: stebėjimas, lenktynės ir teisėsaugos ateitis, pasakojo „Digital Trends“. „[Tai yra] vietos nuspėjamoji policija ir asmeninis nuspėjamasis policijos darbas.

Abiem atvejais nuspėjamosios policijos sistemos atitinkamam asmeniui ar vietai priskiria rizikos balą, o tai skatina policiją sekti tam tikru intervalu. Pirmasis iš šių metodų, vietos pagrindu vykdomas nuspėjamasis policijos darbas, daugiausia orientuotas į policijos patruliavimą. Tai apima nusikaltimų žemėlapių naudojimą ir analitiką apie galimas būsimų nusikaltimų vietas, remiantis ankstesne statistika.

Antrasis metodas yra skirtas nuspėti tikimybę, kad asmuo kelia galimą riziką ateityje. Pavyzdžiui, 2013 m. Čikagos policijos vadas buvo išsiųstas į 22 metų Roberto McDanielio namus, kurį Čikagos miesto centre pažymėjo kaip potencialų ginkluoto smurto pavojų arba jo vykdytoją algoritmas. „Karščių sąrašas“, kurį padėjo sudaryti algoritmas, ieškojo modelių, kurie galėtų nuspėti būsimus pažeidėjus ar aukos, net jei jie patys nepadarė nieko, kas pateisintų šį patikrinimą, išskyrus atitiktį a profilį.

Kaip ir pažymėjo Chicago Tribune: „Strategijoje raginama įspėti į karščių sąrašą patekusius asmenis atskirai, kad tolesnė nusikalstama veikla, net ir už smulkiausius nusikaltimus bus panaikinta visa įstatymo galia juos."

Nuspėjamosios policijos svajonė buvo ta, kad, veikiant pagal kiekybiškai įvertinamus duomenis, policija taptų ne tik veiksmingesnė, bet ir mažiau linkusi spėlioti, o dėl to - šališkumo. Tai, anot šalininkų, pakeistų policijos veiklą į gerąją pusę ir pradėtų naują išmaniosios policijos erą. Tačiau beveik nuo pat pradžių nuspėjamoji policija susilaukė griežtų kritikų. Jie teigia, kad nuspėjamoji policija iš tikrųjų gali padėti jas įtvirtinti, o ne padėti atsikratyti tokių problemų kaip rasizmas ir kitos sisteminės tendencijos. Ir sunku ginčytis, kad jie neturi prasmės.

Diskriminaciniai algoritmai

Idėja, kad mašininiu mokymusi pagrįstos nuspėjamosios policijos sistemos gali išmokti diskriminuoti pagal tokius veiksnius kaip rasė, nėra nieko naujo. Mašininio mokymosi įrankiai mokomi naudojant didžiulius duomenų kiekius. Ir tol, kol tuos duomenis renka sistema, kurioje rasė ir toliau yra didžiulis veiksnys, tai gali sukelti diskriminaciją.

Kaip sako Renata M. O'Donnell rašo 2019 m. laikraštyje, pavadinimu „Iššūkis rasistiniams nuspėjamiesiems policijos algoritmams pagal vienodos apsaugos sąlygą“, mašininio mokymosi algoritmai mokosi iš duomenų, gautų iš teisingumo sistemos, kurioje „juodaodžiai amerikiečiai įkalinami valstijų kalėjimuose tai yra 5,1 karto daugiau nei baltaodžių įkalinimas, o vienas iš trijų šiandien gimusių juodaodžių vyrų gali tikėtis pakliūti į kalėjimą per savo gyvenimą, jei dabartinės tendencijos Tęsti."

„Duomenys nėra objektyvūs“, – „Digital Trends“ sakė Fergusonas. „Tiesiog mes sumažinome dvejetainį kodą. Duomenimis pagrįstos sistemos, veikiančios realiame pasaulyje, nėra objektyvesnės, teisingesnės ar nešališkesnės už realų pasaulį. Jei jūsų realus pasaulis yra struktūriškai nelygus arba diskriminacinis dėl rasės, duomenimis pagrįsta sistema atspindės šias visuomenės nelygybes. Įvesties duomenys yra sutepti šališkumo. Analizė yra sutepta šališkumo. Ir policijos valdžios mechanizmai nesikeičia vien dėl to, kad yra technologija, kuri vadovauja sistemoms.

Fergusonas pateikia areštų pavyzdį kaip vieną iš pažiūros objektyvų rizikos prognozavimo veiksnį. Tačiau areštai bus iškreipti dėl policijos išteklių paskirstymo (pavyzdžiui, kur jie patruliuoja) ir nusikaltimų, dėl kurių paprastai reikia suimti, rūšis. Tai tik viena galimai problemiškų duomenų iliustracija.

Nešvarių duomenų pavojai

Duomenų gavybos metu trūkstami ir neteisingi duomenys kartais vadinami „nešvariais duomenimis“. A 2019 m. tyrėjų iš A.I. Dabar Niujorko universiteto institutas išplečia šį terminą ir taip pat nurodo duomenis, kuriems įtakos turi sugadinti, šališki ir neteisėti praktikos – ar tai būtų tyčia manipuliuojama, iškraipyta asmens ir visuomenės šališkumo. Pavyzdžiui, tai gali apimti duomenis, gautus sulaikius nekaltą asmenį, kuriam buvo pateikti įkalčiai arba kuris kitaip melagingai apkaltintas.

Yra tam tikros ironijos faktas, kad per pastaruosius dešimtmečius duomenų visuomenės reikalavimai, kuriuose viskas susiję su kiekybiniu įvertinimu ir ketaus skaitiniais tikslais, ką tik lėmė daug… na, tikrai blogi duomenys. HBO serialas Viela pademonstravo realų „statistikos fiksavimo“ reiškinį, o metai nuo pasirodymo eteryje pasiūlė daug tikrojo sisteminio manipuliavimo duomenimis, suklastotų policijos pranešimų ir antikonstitucinės praktikos, dėl kurių nekalti žmonės buvo išsiųsti kalėjimas.

Blogi duomenys, leidžiantys valdžioje esantiems žmonėms dirbtinai pataikyti į taikinius, yra vienas dalykas. Tačiau derinkite tai su algoritmais ir nuspėjamaisiais modeliais, kurie tai naudoja kaip pasaulio modeliavimo pagrindą, ir jūs galite gauti daug blogiau.

Tyrėjai įrodė, kaip abejotini nusikalstamumo duomenys, prijungti prie nuspėjamųjų policijos algoritmų, gali sukurti tai, kas vadinama "pabėgusios grįžtamojo ryšio kilpos“, kurioje policija pakartotinai siunčiama į tuos pačius rajonus, nepaisant tikro nusikalstamumo lygio. Vienas iš šio straipsnio bendraautorių, kompiuterių mokslininkas Sureshas Venkatasubramanianas, sakoma, kad mašininio mokymosi modeliai gali sukurti klaidingas prielaidas. Kaip ir senas posakis apie tai, kad žmogui, turinčiam plaktuką, kiekviena problema atrodo kaip vinis, šios sistemos modeliuoja tik tam tikrus problemos elementus ir įsivaizduokite tik vieną galimą rezultatą.

„[Šiuose modeliuose] neatsižvelgiama į tai, kiek jūs modeliuojate faktą, kad išmetus daugiau policininkų į zoną iš tikrųjų gali sumažinti ten gyvenančių žmonių gyvenimo kokybę? „Digital“ pasakojo Jutos universiteto Kompiuterijos mokyklos profesorius Venkatasubramanianas Tendencijos. „Manome, kad daugiau policininkų yra geresnis dalykas. Tačiau, kaip matome dabar, turėti daugiau policijos nebūtinai yra geras dalykas. Tai iš tikrųjų gali pabloginti situaciją. Nė viename modelyje, kurį aš kada nors mačiau, niekas niekada neklausė, kiek kainuoja daugiau policijos įvesti į zoną.

Neaiški nuspėjamosios policijos ateitis

Tie, kurie dirba nuspėjamosios policijos srityje, kartais unironiškai vartoja terminą „mažumos ataskaita“, nurodydami, kokias prognozes jie daro. Šis terminas dažnai naudojamas kaip nuoroda į 2002 m. filmas tuo pačiu pavadinimu, kuri savo ruožtu buvo laisvai paremta 1956 m. Philipo K. novele. Dikas. Į Mažumos ataskaita, specialus Priešnusikalstamumo policijos skyrius sulaiko nusikaltėlius, remdamasis iš anksto žinomu apie nusikaltimus, kurie bus padaryti ateityje. Šias prognozes pateikia trys aiškiaregiai, vadinami „preogais“.

Bet posūkis Mažumos ataskaita tai, kad prognozės ne visada tikslios. Skirtingos vieno iš pirmtakų vizijos suteikia alternatyvų ateities vaizdą, kuris yra slopinamas, nes bijoma, kad sistema pasirodys nepatikima.

Šiuo metu nuspėjamoji policija susiduria su savo neaiškia ateitimi. Kartu su naujomis technologijomis, tokiomis kaip veido atpažinimas, teisėsaugos galimos galimo naudojimo technologijos niekada nebuvo galingesnės. Tuo pačiu metu supratimas apie nuspėjamosios policijos naudojimą sukėlė visuomenės atsaką, kuris iš tikrųjų galėjo padėti ją panaikinti. Fergusonas „Digital Trends“ sakė, kad nuspėjamųjų policijos priemonių naudojimas pastaruosius kelerius metus „sumažėjo“.

„Savo zenite [vietoje pagrįsta nuspėjamoji policija] buvo daugiau nei 60 didžiųjų miestų ir augo, bet dėl sėkmingas bendruomenės organizavimas, jis buvo iš esmės sumažintas ir (arba) pakeistas kitomis duomenimis pagrįstomis formomis analizė“, – sakė jis. „Trumpai tariant, nuspėjamosios policijos terminas tapo toksiškas, o policijos departamentai išmoko pervardyti tai, ką jie daro su duomenimis. Asmenimis pagrįsta nuspėjamoji policijos veikla smarkiai sumažėjo. Du pagrindiniai miestai, investavę į jo kūrimą – Čikaga ir Los Andželas – atsisakė savo asmeninio pagrindo strategijos po aštrios bendruomenės kritikos ir niokojančių vidinių auditų, kurie rodo, kad taktikos to nepadarė dirbti. Nuspėjamieji sąrašai ne tik buvo klaidingi, bet ir neveiksmingi.

Netinkami įrankiai darbui?

Tačiau Rashida Richardson, A.I. politikos tyrimų direktorius. Dabar institutas teigė, kad šios technologijos naudojimas yra per daug neskaidrus. „Mes vis dar nežinome, nes trūksta skaidrumo dėl vyriausybės įsigyjamų technologijų ir daugelio kitų esamų viešųjų pirkimų procedūrų spragų, kurios gali užkirsti kelią tam tikrų technologijų pirkimams nuo visuomenės dėmesio. Ji pasakė. Ji pateikia pavyzdį apie technologiją, kuri gali būti suteikta policijos departamentui nemokamai arba kurią gali įsigyti trečioji šalis. „Iš tokių tyrimų kaip mano ir žiniasklaidos pranešimų žinome, kad daugelis didžiausių JAV policijos departamentų naudojo technologija tam tikru momentu, tačiau taip pat yra daug mažų policijos skyrių, kurie ja naudojasi arba naudojo ribotą laikotarpį laiko."

Atsižvelgiant į dabartinius klausimus apie policijos vaidmenį, ar kils pagunda vėl priimti? nuspėjamoji policija, kaip duomenimis pagrįstų sprendimų priėmimo įrankis – galbūt pagal mažiau distopinę mokslinę fantastiką prekės ženklas? Yra tikimybė, kad toks atgimimas gali atsirasti. Tačiau Venkatasubramanianas labai skeptiškai vertina tai, kad mašininis mokymasis, kaip šiuo metu praktikuojamas, yra tinkamas įrankis šiam darbui.

„Visa mašininio mokymosi visuma ir jo sėkmė šiuolaikinėje visuomenėje grindžiama prielaida, kad nesvarbu, kas yra iš tikrųjų problema, galiausiai reikia rinkti duomenis, sukurti modelį, nuspėti rezultatą – ir jums nereikės rūpintis domenu. jis pasakė. „Galite parašyti tą patį kodą ir pritaikyti jį 100 skirtingų vietų. Tai yra abstrakcijos ir perkeliamumo pažadas. Problema ta, kad kai naudojame tai, ką žmonės vadina socialinėmis ir techninėmis sistemomis, kur žmonės ir technologijos susipynusios į sudėtingas bangas, to padaryti negalite. Negalite tiesiog prijungti gabalo ir tikėtis, kad jis veiks. Nes [yra] ripple efektų įdėjus tą kūrinį ir tai, kad yra įvairių žaidėjai su skirtingomis darbotvarkėmis tokioje sistemoje ir paverčia sistemą savo poreikiams Skirtingi keliai. Į visus šiuos dalykus reikia atsižvelgti, kai kalbate apie efektyvumą. Taip, galite pasakyti abstrakčiai, kad viskas bus gerai, bet ten yra jokio abstraktaus. Yra tik kontekstas, kuriame dirbate.