Egy szó szerinti kisebbségi jelentés: A prediktív rendőrség algoritmikus torzításai

Prediktív rendészet át kellett volna alakítania a rendészeti tevékenységet, és bevezetett minket az intelligens törvények világába végrehajtás, amelyben az elfogultságot megszüntették, és a rendőrség az adatokra válaszolhatna, nem pedig azokra sejtéseket. De egy évtizeddel azután, hogy a legtöbben először hallottuk a „prediktív rendőrség” kifejezést, egyértelműnek tűnik, hogy ez nem működött. A közvélemény ellenreakciója miatt a technológia használata jelentős visszaesést tapasztal a néhány évvel ezelőttihez képest.

Idén áprilisban Los Angeles – amely az LA Times szerint „úttörő volt a bűnözés adatokkal való előrejelzésében” – csökkentette prediktív rendészeti programjának finanszírozását, a költségeket hibáztatva. „Ez nehéz döntés – mondta Michel Moore rendőrfőnök – mondta az LA Timesnak. „Ez egy olyan stratégia, amelyet használtunk, de a költségek több százezer dollárt költenek erre a jogra. most meg kell találnom ezt a pénzt, és más központi tevékenységekre irányítanám ezt a pénzt.”

Mi romlott el? Hogyan vezethet az „intelligens” technológiaként meghirdetett dolgok még tovább mélyülő elfogultságokhoz és diszkriminációhoz? És vajon a prediktív rendfenntartás álma olyan, amelyet a megfelelő algoritmussal meg lehetne változtatni – vagy zsákutca egy igazságosabb társadalomban, amely jelenleg a rendőrség működésével küzd?

A prediktív rendészet ígérete

A prediktív rendészet jelenlegi formájában körülbelül egy évtizedre nyúlik vissza Colleen McCue pszichológus és Charlie Beck Los Angeles-i rendőrfőnök 2009-es tanulmányában, melynek címe "Prediktív rendészet: mit tanulhatunk a Walmarttól és az Amazontól a recesszió idején folytatott bűnözés elleni küzdelemről?” Az újságban megragadták azt a módot, ahogyan a nagy kereskedők nagy adatokat használnak, hogy segítsenek feltárni a múltbeli vásárlói magatartás mintáit, amelyek segítségével előre jelezhetőek a jövőbeli viselkedések. A számítástechnika és az adatgyűjtés terén elért fejlődésnek köszönhetően McCue és Beck azt javasolta, hogy lehetséges legyen a bűnözési adatok valós időben történő gyűjtése és elemzése. Ezek az adatok azután felhasználhatók a még meg nem történt bűncselekmények előrejelzésére, megelőzésére és hatékonyabb reagálásra.

Az azóta eltelt években a prediktív rendészet az Egyesült Államok számos részén, valamint a világ többi részén valósággá vált az elvetendő ötletből. A folyamat során arra törekedett, hogy a rendfenntartást reaktív erőből proaktívvá változtassa; az adatvezérelt technológia néhány áttörésére támaszkodva, amelyek lehetővé teszik a minták valós időben történő észlelését – és azokra való reagálást.

"A prediktív rendészeti tevékenységnek két fő formája van" Andrew Ferguson, jogi professzor, a University of the District of Columbia David A. Clarke School of Law és szerzője A Big Data rendőrség felemelkedése: megfigyelés, versenyfutás és a bűnüldözés jövője, mondta a Digital Trendsnek. „[Ezek] helyalapú előrejelző rendészeti és személyi alapú előrejelző rendészeti tevékenységek.”

A prediktív rendészeti rendszerek mindkét esetben kockázati pontszámot rendelnek a kérdéses személyhez vagy helyhez, ami arra ösztönzi a rendőröket, hogy adott időközönként nyomon kövessenek. Az első ilyen megközelítés, a helyalapú prediktív rendészet, túlnyomórészt a rendőrjárőrökre összpontosít. Ez magában foglalja a bűnözés feltérképezését és elemzését a jövőbeni bűncselekmények valószínű helyeiről, a korábbi statisztikák alapján.

A második megközelítés arra összpontosít, hogy előre jelezze annak valószínűségét, hogy az egyén potenciális jövőbeli kockázatot jelent. Például 2013-ban egy chicagói rendőrség parancsnokát egy 22 éves Robert McDaniel otthonába küldték, akit a Chicago belvárosában elkövetett fegyveres erőszak potenciális kockázata vagy elkövetőjeként jelölt meg egy algoritmus. Az algoritmus által összeállított „hőlista” olyan mintákat keresett, amelyek előre jelezhetik a jövőbeli elkövetőket vagy áldozatok, még akkor is, ha ők maguk nem tettek meg semmit, ami ezt a vizsgálatot igazolná, azon túl, hogy megfeleltek a profil.

Ahogy a Chicago Tribune megjegyezte: „A stratégia arra szólít fel, hogy a hőséglistán szereplőket külön-külön figyelmeztessük, hogy további bűncselekmények, még a legapróbb cselekmények esetében is a törvény teljes erejének lerombolását eredményezi őket."

A prediktív rendészet álma az volt, hogy a számszerűsíthető adatokon alapuló fellépés révén a rendészeti tevékenységet nemcsak hatékonyabbá teszi, hanem kevésbé lesz kitéve a találgatásoknak és ennek következtében az elfogultságnak. A támogatók azt állították, hogy ez jobbá tenné a rendészetet, és az intelligens rendészet új korszakát nyitná meg. A prediktív rendészetnek azonban szinte kezdettől fogva kemény kritikusai voltak. Azzal érvelnek, hogy ahelyett, hogy segítene megszabadulni az olyan problémáktól, mint a rasszizmus és más rendszerbeli elfogultságok, a prediktív rendészet valójában segíthet megrögzíteni őket. És nehéz vitatkozni, hogy nincs értelmük.

Diszkriminatív algoritmusok

Az az elképzelés, hogy a gépi tanuláson alapuló prediktív rendészeti rendszerek megtanulhatnak megkülönböztetni olyan tényezők alapján, mint a faj, nem újdonság. A gépi tanulási eszközöket hatalmas adathalmazok képezik. És mindaddig, amíg ezeket az adatokat egy olyan rendszer gyűjti össze, amelyben a faj továbbra is elsöprő tényező, ez diszkriminációhoz vezethet.

Ahogy Renata M. O’Donnell azt írja egy 2019-es újságjában, melynek címe „A rasszista előrejelző rendészeti algoritmusok kihívása az egyenlő védelmi záradék alapján”, a gépi tanulási algoritmusok olyan igazságszolgáltatási rendszerből származó adatokból tanulnak, amelyekben „a fekete amerikaiakat olyan ütemben zárják be az állami börtönökbe ez 5,1-szerese a fehérek bebörtönzésének, és minden harmadik ma született fekete férfi számíthat arra, hogy élete során börtönbe kerül, ha a jelenlegi tendenciák folytatni."

„Az adatok nem objektívek” – mondta Ferguson a Digital Trendsnek. „Csak mi redukáltunk bináris kódra. A való világban működő adatvezérelt rendszerek semmivel sem objektívebbek, igazságosabbak vagy elfogulatlanabbak, mint a való világban. Ha a valós világ strukturálisan egyenlőtlen vagy fajilag diszkriminatív, egy adatvezérelt rendszer tükrözni fogja ezeket a társadalmi egyenlőtlenségeket. A bemenő bemeneteket torzítás szennyezi. Az elemzést elfogultság szennyezi. És a rendőri hatóság mechanizmusai nem változnak csak azért, mert technológia vezérli a rendszereket.”

Ferguson a letartóztatások példáját hozza fel, mint az egyik objektív tényezőt a kockázat előrejelzésében. A letartóztatásokat azonban torzítja a rendőrségi erőforrások elosztása (például ahol járőröznek) és a tipikusan letartóztatást indokoló bűncselekménytípusok. Ez csak egy példa a potenciálisan problémás adatokra.

A piszkos adatok veszélyei

A hiányzó és hibás adatokat az adatbányászatban néha „piszkos adatoknak” nevezik. A Az A.I. kutatóinak 2019-es tanulmánya. Jelenleg a New York-i Egyetem intézete kibővíti ezt a kifejezést, hogy azokra az adatokra is vonatkozzon, amelyeket korrupt, elfogult és jogellenesek befolyásolnak gyakorlatok – akár szándékosan manipulált, amit az egyén és társadalmi elfogultságok. Tartalmazhat például olyan adatokat, amelyek egy ártatlan személy letartóztatásából származnak, akire bizonyítékot állítottak fel, vagy akit más módon hamisan vádolnak.

Van abban némi irónia, hogy az elmúlt évtizedekben az adattársadalom követelményei, amelyben minden a számszerűsítésről és az öntöttvas numerikus célokról szól, ami most egy csomó… nos, tényleg rossz adatok. Az HBO sorozat A vezeték bemutatta a „statisztikába ütés” valós jelenségét, és a műsor sugárzása óta eltelt évek rengeteget kínáltak Példák tényleges rendszerszintű adatmanipulációra, hamis rendőrségi jelentésekre és alkotmányellenes gyakorlatokra, amelyek ártatlan embereket küldtek börtön.

A rossz adatok, amelyek lehetővé teszik a hatalmon lévő emberek számára, hogy mesterségesen találjanak célpontokat, az egy dolog. De kombinálja ezt olyan algoritmusokkal és prediktív modellekkel, amelyek ezt használják a világ modellezésének alapjául, és potenciálisan valami sokkal rosszabb lesz.

A kutatók bebizonyították, hogy a prediktív rendészeti algoritmusokhoz csatlakoztatott megkérdőjelezhető bűnügyi adatok hogyan hozhatnak létre úgynevezett „elszabadult visszacsatoló hurkok”, amelyben a rendőrséget ismételten ugyanarra a környékre küldik, függetlenül a valódi bűnözési aránytól. A lap egyik társszerzője, informatikus Suresh Venkatasubramanian, azt mondja, hogy a gépi tanulási modellek modellezésük révén hibás feltevéseket építhetnek be. Ahogy a régi mondás arról szól, hogy a kalapáccsal rendelkező ember számára minden probléma szögnek tűnik, ezek a rendszerek csak bizonyos elemeket modelleznek a problémának – és csak egy lehetséges kimenetelt képzelnek el.

„[Amivel] nem foglalkoznak ezek a modellek, az az, hogy milyen mértékben modellezi azt a tényt, hogy több zsaru bedobása egy területre valójában csökkenti az ott élők életminőségét?” Venkatasubramanian, a Utah Egyetem Számítástechnikai Karának professzora elmondta a Digitalnak Trendek. „Feltételezzük, hogy több rendőr jobb dolog. De amint azt most látjuk, a több rendőr nem feltétlenül jó dolog. Valójában ronthatja a dolgokat. Egyetlen olyan modellben sem, amelyet valaha láttam, megkérdezte már senki, hogy mibe kerül, ha több rendőrt helyeznek el egy adott területen.”

A prediktív rendészet bizonytalan jövője

A prediktív rendészetben dolgozók néha unironikusan használják a „kisebbségi jelentés” kifejezést, hogy utaljanak arra, hogy milyen típusú előrejelzést végeznek. A kifejezést gyakran hivatkoznak a 2002-es azonos című film, ami viszont lazán Philip K. 1956-os novelláján alapult. Fasz. Ban ben Kisebbségi jelentés, egy speciális Pre-Crime rendőrségi osztály a jövőben elkövetett bűncselekmények előrejelzése alapján fogja el a bűnözőket. Ezeket az előrejelzéseket három médium, az úgynevezett „preogs” szolgáltatja.

De a csavar benne Kisebbségi jelentés az, hogy az előrejelzések nem mindig pontosak. Az egyik előtag eltérő elképzelései alternatív jövőképet nyújtanak, amelyet elnyomnak, mert attól tartanak, hogy a rendszer megbízhatatlannak tűnik.

Jelenleg a prediktív rendészeti tevékenység saját bizonytalan jövője előtt áll. Az olyan új technológiák mellett, mint az arcfelismerés, a bűnüldöző szervek rendelkezésére álló technológia az esetleges felhasználáshoz még soha nem volt erősebb. Ugyanakkor a prediktív rendfenntartás használatának tudatosítása olyan nyilvános visszhangot váltott ki, amely ténylegesen hozzájárulhatott annak megsemmisítéséhez. Ferguson a Digital Trendsnek elmondta, hogy a prediktív rendészeti eszközök használata az elmúlt néhány évben „visszaesésben” volt.

„Zenitjén a [helyalapú prediktív rendészet] több mint 60 nagyvárosban volt, és növekszik, de ennek eredményeként A sikeres közösségszervezést nagymértékben csökkentették, és/vagy az adatvezérelt más formáival váltották fel analitika” – mondta. „Röviden: a prediktív rendészet kifejezés mérgezővé vált, és a rendőri osztályok megtanulták átnevezni, hogy mit csinálnak az adatokkal. A személyalapú prediktív rendészeti tevékenység meredekebben esett vissza. A létrehozásába befektetett két fő város – Chicago és Los Angeles – meghátrált a személyi alapúaktól stratégiákat éles közösségi kritikák és pusztító belső auditok után, amelyek azt mutatják, hogy a taktika nem munka. A prediktív listák nemcsak hibásak voltak, hanem hatástalanok is.”

Rossz eszközök a munkához?

Azonban, Rashida Richardson, az A.I. politikakutatási igazgatója A Now Institute szerint túl sok átláthatatlanság van ennek a technológiának a használatával kapcsolatban. „Még mindig nem tudjuk az átláthatóság hiánya miatt a technológia állami beszerzését és sok mást illetően a meglévő közbeszerzési eljárások kiskapuit, amelyek bizonyos technológiai beszerzéseket megóvhatnak a nyilvánosság előtt.” azt mondta. Példát ad arra a technológiára, amelyet ingyen adnak a rendőrségnek, vagy megvásárolhat egy harmadik fél. „Az enyémhez hasonló kutatásokból és a média beszámolóiból tudjuk, hogy az Egyesült Államok legnagyobb rendőrségei közül sok használta a technológiát valamikor, de sok kis rendőrség is használja, vagy korlátozott ideig használja idő."

Tekintettel a rendőrség szerepével kapcsolatos jelenlegi kérdésekre, lesz-e kísértés, hogy újra felkarolják? prediktív rendészet mint adatvezérelt döntéshozatal eszköze – talán kevésbé disztópikus sci-fi alatt márkaépítés? Fennáll a lehetőség, hogy egy ilyen újjáéledés kialakulhat. De Venkatasubramanian erősen szkeptikus abban, hogy a gépi tanulás, ahogyan azt jelenleg gyakorolják, a megfelelő eszköz a munkához.

„A gépi tanulás egésze és sikere a modern társadalomban azon a feltevésen alapul, hogy bármi legyen is a tényleges probléma, végső soron az adatgyűjtés, a modell felépítése, az eredmény előrejelzése – és nem kell aggódnia a tartomány miatt.” ő mondta. „Ugyanazt a kódot megírhatja, és 100 különböző helyen alkalmazhatja. Ez az absztrakció és a hordozhatóság ígérete. A probléma az, hogy amikor az emberek szociotechnikai rendszereket használunk, ahol az emberek és a technológia bonyolult hullámokba fonódnak össze, akkor ezt nem lehet megtenni. Nem lehet egyszerűen bedugni egy darabot, és elvárni, hogy működjön. Mert [vannak] hullámzási effektusok annak a darabnak a behelyezésével, és az a tény, hogy vannak különbözőek egy ilyen rendszerben különböző programokkal rendelkező játékosok, akik a rendszert saját igényeik szerint forgatják fel különböző utak. Mindezeket a dolgokat figyelembe kell venni, amikor a hatékonyságról beszél. Igen, elvontan azt mondhatod, hogy minden jól fog működni, de ott van nincs absztrakt. Csak az a kontextus van, amelyben dolgozol."