Zpráva o doslovné menšině: Algoritmické předsudky prediktivní policie

Prediktivní policejní práce měl změnit způsob, jakým byla prováděna policie, a uvést nás do světa chytrého práva vymáhání, ve kterém byla odstraněna podjatost a policie by byla schopna reagovat na data, nikoli na tušení. Ale deset let poté, co většina z nás poprvé slyšela termín „prediktivní policejní práce“, se zdá být jasné, že to nefungovalo. Tato technologie, poháněná odporem veřejnosti, zažívá ve srovnání s obdobím před několika lety výrazný pokles používání.

Letos v dubnu Los Angeles – které podle LA Times „je průkopníkem v předvídání zločinu pomocí dat“ – snížilo financování svého programu prediktivní policie a obvinilo náklady. "To je těžké rozhodnutí," policejní šéf Michel Moore řekl LA Times. „Je to strategie, kterou jsme použili, ale odhadované náklady na toto právo jsou stovky tisíc dolarů Teď oproti tomu, co musím udělat, je najít ty peníze a nasměrovat je do jiných centrálnějších aktivit.“

Co se pokazilo? Jak by něco propagovaného jako „inteligentní“ technologie mohlo způsobit další zakořeněné předsudky a diskriminaci? A je sen o prediktivní policii ten, který by se dal vyladit správným algoritmem – nebo slepá ulička ve spravedlivější společnosti, která se v současnosti potýká s tím, jak by policie měla fungovat?

Příslib prediktivní policie

Prediktivní policejní práce ve své současné podobě se datuje zhruba deset let k publikaci psycholožky Colleen McCueové a losangeleského policejního šéfa Charlieho Becka z roku 2009 s názvem „Prediktivní policejní práce: Co se můžeme naučit od Walmartu a Amazonu o boji proti zločinu v recesi?“ V novinách se chopili způsobu, jakým byla velká data využívána velkými maloobchodníky, aby pomohla odhalit vzorce chování zákazníků v minulosti, které by mohly být použity k předpovědi budoucího chování. Díky pokroku v oblasti výpočetní techniky a sběru dat McCue a Beck navrhli, že je možné shromažďovat a analyzovat data o kriminalitě v reálném čase. Tato data by pak mohla být použita k předvídání, prevenci a účinnější reakci na zločiny, které se ještě nestaly.

V následujících letech se prediktivní policejní práce v mnoha částech Spojených států, spolu se zbytkem světa, změnila z nápadu na zahození v realitu. V tomto procesu se rozhodla změnit policejní činnost z reaktivní síly na proaktivní; čerpání z některých průlomů v technologii založené na datech, které umožňují zjišťovat vzory v reálném čase – a jednat podle nich.

"Existují dvě hlavní formy prediktivní policie," Andrew Ferguson, profesor práv na University of District of Columbia David A. Clarke School of Law a autor Vzestup Big Data Policing: Sledování, rasa a budoucnost vymáhání práva, řekl Digital Trends. "[Jedná se] o prediktivní policejní práci založenou na místě a prediktivní policejní práci založenou na osobě."

V obou případech systémy prediktivní policie přidělují dotyčné osobě nebo místu rizikové skóre, což vybízí policii, aby v daném intervalu sledovala. První z těchto přístupů, prediktivní policejní práce založená na místě, se zaměřuje převážně na policejní hlídky. Zahrnuje použití mapování kriminality a analýzy pravděpodobných míst budoucích trestných činů na základě předchozích statistik.

Druhý přístup se zaměřuje na predikci pravděpodobnosti, že jednotlivec představuje potenciální budoucí riziko. Například v roce 2013 byl velitel chicagské policie poslán do domu 22letého Roberta McDaniela, který byl označen za potenciální riziko nebo pachatele střelného násilí v centru Chicaga algoritmus. „Seznam tepla“, který algoritmus pomohl sestavit, hledal vzorce, které by mohly být schopny předpovědět budoucí pachatele nebo oběti, i když oni sami neudělali nic, co by zaručovalo toto prozkoumání nad rámec a profil.

Jako poznamenal Chicago Tribune: „Strategie vyzývá jednotlivce na seznamu tepla varovat před další trestnou činností, i u těch nejdrobnějších přestupků to povede ke snížení plné platnosti zákona jim."

Snem o prediktivní policii bylo, že jednáním na základě kvantifikovatelných dat by policejní práce byla nejen efektivnější, ale také méně náchylná k dohadům a v důsledku toho k zaujatosti. Zastánci tvrdili, že by to změnilo policejní práci k lepšímu a zahájilo novou éru chytré policie. Nicméně téměř od samého začátku má prediktivní policejní práce zaryté kritiky. Argumentují tím, že prediktivní policejní práce může spíše než pomáhat zbavit se problémů, jako je rasismus a jiné systémové předsudky, pomoci je upevnit. A je těžké tvrdit, že nemají smysl.

Diskriminační algoritmy

Myšlenka, že prediktivní policejní systémy založené na strojovém učení se mohou naučit rozlišovat na základě faktorů, jako je rasa, není nic nového. Nástroje strojového učení jsou trénovány s masivními hromadami dat. A pokud jsou tato data shromažďována systémem, v němž je rasa i nadále převažujícím faktorem, může to vést k diskriminaci.

Jak Renata M. O'Donnell píše v novinách z roku 2019 s názvem „Náročné rasistické prediktivní policejní algoritmy podle ustanovení o rovné ochraněAlgoritmy strojového učení se učí z dat odvozených z justičního systému, v němž jsou „černí Američané vězněni ve státních věznicích tempem to je 5,1krát více než věznění bělochů a jeden ze tří dnes narozených černochů může očekávat, že půjde do vězení za svého života, pokud to budou současné trendy pokračovat."

"Data nejsou objektivní," řekl Ferguson Digital Trends. „Jsme to jen my zredukovaní na binární kód. Systémy řízené daty, které fungují v reálném světě, nejsou o nic objektivnější, spravedlivější nebo nezaujatější než skutečný svět. Pokud je váš skutečný svět strukturálně nerovný nebo rasově diskriminační, systém založený na datech bude tyto společenské nerovnosti odrážet. Vstupy, které přicházejí, jsou poskvrněny zkreslením. Analýza je poskvrněna zkreslením. A mechanismy policejní autority se nemění jen proto, že existuje technologie, která systémy řídí.“

Ferguson uvádí příklad zatčení jako jednoho zdánlivě objektivního faktoru při předpovídání rizika. Zatčení však bude zkresleno alokací policejních zdrojů (např. tam, kde hlídkují) a druhy zločinů, které obvykle vyžadují zatčení. Toto je jen jedna ilustrace potenciálně problematických dat.

Nebezpečí špinavých dat

Chybějící a nesprávná data se někdy v data miningu označují jako „špinavá data“. A 2019 dokument výzkumníků z A.I. Nyní institut na New York University rozšiřuje tento termín tak, aby odkazoval také na data, která jsou ovlivněna zkorumpovanými, neobjektivními a nezákonnými praktiky – ať už jsou to úmyslně zmanipulované, které jsou zkreslené jednotlivci a společenské předsudky. Mohlo by to například zahrnovat údaje, které jsou generovány při zatčení nevinné osoby, na kterou byly umístěny důkazy nebo která je jinak křivě obviněna.

Je zde jistá ironie v tom, že v posledních desetiletích byly požadavky datové společnosti, ve které vše je o kvantifikaci a litinových numerických cílech, právě to vedlo k mnoha... no, opravdu špatná data. Seriál HBO Drát předvedl fenomén skutečného světa „juking the stats“ a roky, které uplynuly od vysílání pořadu, nabídly spoustu příklady skutečné systémové manipulace s daty, falešných policejních zpráv a protiústavních praktik, které poslaly nevinné lidi do vězení.

Špatná data, která lidem u moci umožňují uměle zasáhnout cíle, jsou jedna věc. Ale zkombinujte to s algoritmy a prediktivními modely, které to používají jako základ pro modelování světa, a potenciálně dostanete něco mnohem horšího.

Výzkumníci prokázali, jak sporná data o zločinu zapojená do prediktivních policejních algoritmů mohou vytvořit to, co se nazývá „nekontrolované zpětnovazební smyčky“, kdy jsou policisté opakovaně posíláni do stejných čtvrtí bez ohledu na skutečnou míru kriminality. Jeden ze spoluautorů toho článku, počítačový vědec Suresh Venkatasubramanian, říká, že modely strojového učení mohou prostřednictvím svého modelování zabudovat chybné předpoklady. Stejně jako staré rčení o tom, jak pro člověka s kladivem vypadá každý problém jako hřebík, tyto systémy modelují pouze určité prvky problému – a představují si pouze jeden možný výsledek.

„[Něco, co] není v těchto modelech řešeno, je, do jaké míry modelujete skutečnost, že házení více policistů do oblasti může ve skutečnosti snížit kvalitu života lidí, kteří tam žijí?“ Venkatasubramanian, profesor na School of Computing na University of Utah, řekl Digital Trendy. „Předpokládáme, že více policistů je lepší. Ale jak vidíme právě teď, mít více policie není nutně dobrá věc. Ve skutečnosti to může věci zhoršit. Ani v jednom modelu, který jsem kdy viděl, se nikdo nezeptal, kolik stojí nasazení více policie do oblasti.“

Nejistá budoucnost prediktivní policie

Ti, kteří pracují v prediktivní policii, někdy neironicky používají termín „zpráva o menšinách“ k označení druhu předpovědi, kterou provádějí. Termín je často používán jako odkaz na stejnojmenný film z roku 2002, který byl zase volně založen na povídce z roku 1956 od Philipa K. Dicku. v Zpráva o menšinách, speciální policejní oddělení PreCrime zatýká zločince na základě předběžných znalostí o zločinech, které budou spáchány v budoucnu. Tyto předpovědi poskytují tři jasnovidci, kterým se říká „předkogové“.

Ale ten zvrat Zpráva o menšinách je, že předpovědi nejsou vždy přesné. Nesouhlasné vize jednoho z předkolegů poskytují alternativní pohled na budoucnost, který je potlačován ze strachu, že by se systém jevil jako nedůvěryhodný.

Právě teď čelí prediktivní policie své vlastní nejisté budoucnosti. Vedle nových technologií, jako je rozpoznávání obličeje, nebyla technologie, kterou mají orgány činné v trestním řízení k dispozici pro možné použití, nikdy výkonnější. Povědomí o používání prediktivní policie zároveň vyvolalo odpor veřejnosti, který ji mohl ve skutečnosti pomoci potlačit. Ferguson pro Digital Trends řekl, že používání prediktivních policejních nástrojů je v posledních několika letech na „downswingu“.

„Na vrcholu byla [prediktivní policejní práce založená na místě] ve více než 60 velkých městech a rostla, ale v důsledku Úspěšné komunitní organizování bylo do značné míry omezeno nebo nahrazeno jinými formami založenými na datech analytika,“ řekl. „Stručně řečeno, termín prediktivní policie se stal toxickým a policejní oddělení se naučila přejmenovávat, co s daty dělají. Prediktivní policejní práce na základě osob měla strmější pokles. Dvě hlavní města, která do jeho vytvoření investovala – Chicago a Los Angeles – ustoupila od svého založení strategie po ostré kritice komunity a zničujících interních auditech, které ukázaly, že taktika ne práce. Nejenže byly prediktivní seznamy chybné, ale byly také neúčinné.“

Špatné nástroje pro práci?

Nicméně, Rashida Richardsonová, ředitel výzkumu politiky v A.I. Ústav nyní řekl, že používání této technologie je příliš neprůhledné. „Stále to nevíme kvůli nedostatečné transparentnosti ohledně vládních akvizic technologií a mnoha dalších mezery ve stávajících postupech zadávání zakázek, které mohou chránit nákupy určitých technologií před veřejnou kontrolou,“ ona řekla. Uvádí příklad technologie, která může být poskytnuta policejnímu oddělení zdarma nebo zakoupena třetí stranou. „Z výzkumu, jako je ten můj, a zpráv z médií víme, že mnoho z největších policejních oddělení v USA použilo technologie v určitém okamžiku, ale existuje také mnoho malých policejních útvarů, které je používají nebo je používaly po omezenou dobu času.”

Vzhledem k současným otázkám o úloze policie bude pokušení znovu přijmout prediktivní policie jako nástroj pro rozhodování založené na datech – možná v méně dystopickém sci-fi branding? Existuje možnost, že by se takové oživení mohlo objevit. Ale Venkatasubramanian je velmi skeptický, že strojové učení, jak je v současnosti praktikováno, je tím správným nástrojem pro tuto práci.

„Celé strojové učení a jeho úspěch v moderní společnosti je založen na předpokladu, že bez ohledu na to, co je skutečné problém, nakonec se scvrkává na sběr dat, sestavení modelu, předpovídání výsledku – a nemusíte se starat o doménu,“ řekl. „Můžete napsat stejný kód a použít ho na 100 různých místech. To je příslib abstrakce a přenositelnosti. Problém je v tom, že když používáme to, čemu lidé říkají sociotechnické systémy, kde se lidé a technologie prolínají v komplikovaných vlnách, nemůžete to udělat. Nemůžete jen zapojit kus a očekávat, že bude fungovat. Protože [existují] vlnové efekty s vložením toho dílu a skutečnost, že existují různé hráči s různými agendami v takovém systému a podvrací systém svým vlastním potřebám různé způsoby. Všechny tyto věci je třeba vzít v úvahu, když mluvíte o účinnosti. Ano, můžete abstraktně říci, že vše bude fungovat dobře, ale tam je žádný abstrakt. Existuje pouze kontext, ve kterém pracujete."