Извештај о дословној мањини: Алгоритамске предрасуде предиктивне полиције

Предиктивна полиција требало је да трансформише начин на који је полиција спроведена, уводећи нас у свет паметног закона спровођење у којем је пристрасност уклоњена и полиција би могла да одговори на податке, а не слутње. Али деценију након што је већина нас први пут чула термин „предиктивна полиција“, чини се јасним да то није функционисало. Подстакнута јавном реакцијом, технологија доживљава значајан пад у употреби, у поређењу са пре само неколико година.

У априлу ове године, Лос Анђелес — који је, према ЛА Тајмсу, „био пионир у предвиђању злочина помоћу података“ — смањио је финансирање свог предиктивног полицијског програма, окривљујући трошкове. „То је тешка одлука“, рекао је шеф полиције Мишел Мур рекао је за ЛА Тимес. „То је стратегија коју смо користили, али пројекције трошкова од стотина хиљада долара да се потроши на то право Сада у односу на проналажење тог новца и усмеравање тог новца на друге централније активности је оно што морам да урадим.”

Шта је пошло наопако? Како би нешто што се рекламира као „паметна“ технологија могло довести до даљег учвршћивања предрасуда и дискриминације? И да ли је сан о предиктивној полицији онај који би се могао подесити правим алгоритмом - или ћорсокак у праведнијем друштву које се тренутно бори са начином на који полиција треба да ради?

Обећање предиктивног рада полиције

Предиктивни полицијски рад у свом садашњем облику датира око једне деценије из рада психолога Колин МекКју и шефа полиције у Лос Анђелесу Чарлија Бека из 2009. године, под насловом „Предиктивна полиција: Шта можемо научити од Валмарта и Амазона о борби против криминала у рецесији?” У раду су схватили начин на који велики трговци користе велике податке како би помогли у откривању образаца у понашању купаца у прошлости који би се могли користити за предвиђање будућег понашања. Захваљујући напретку у рачунарству и прикупљању података, МекКју и Бек су сугерисали да је могуће прикупити и анализирати податке о злочинима у реалном времену. Ови подаци би се затим могли користити за предвиђање, спречавање и ефикасније реаговање на злочине који се још нису догодили.

У годинама након тога, предиктивна полиција је прешла са идеје за бацање у стварност у многим деловима Сједињених Држава, заједно са остатком света. У том процесу, она је кренула да промени полицију из реактивне снаге у проактивну; ослањајући се на неке од открића у технологији заснованој на подацима која омогућава да се уоче обрасци у реалном времену — и да се по њима делује.

"Постоје два главна облика предиктивне полиције," Андрев Фергусон, професор права на Универзитету Дистрикта Колумбија Дејвид А. Цларке Сцхоол оф Лав и аутор Успон полиције великих података: надзор, раса и будућност спровођења закона, рекао је за Дигитал Трендс. „[Ово су] предиктивни рад полиције заснован на месту и предиктивни рад полиције заснован на личности.“

У оба случаја, предиктивни полицијски системи додељују оцену ризика особи или месту у питању, што подстиче полицију да прати у датом интервалу. Први од ових приступа, предиктивни рад полиције заснован на месту, фокусира се претежно на полицијске патроле. Укључује коришћење мапирања злочина и аналитику о могућим местима будућих злочина, на основу претходних статистика.

Други приступ се фокусира на предвиђање вероватноће да појединац представља потенцијални будући ризик. На пример, 2013. године, командир чикашке полиције послат је у кућу 22-годишњег Роберта МекДанијела, који је означен као потенцијални ризик или починилац насиља у центру Чикага од стране алгоритам. „Листа топлоте“ коју је алгоритам помогао да се састави тражила је обрасце који би могли да предвиде будуће преступнике или жртве, чак и ако оне саме нису учиниле ништа што би оправдало ову проверу осим поштовања а профил.

Као што је Напомиње Цхицаго Трибуне: „Стратегија позива да се појединачно упозоре они који су на листи за грејање да даље криминалне активности, чак и за најситније преступе, довешће до пада пуне снаге закона њих."

Сан о предиктивној полицији био је да, деловањем на основу података који се могу квантифицирати, учини полицију не само ефикаснијом, већ и мање склоном нагађању и, као резултат тога, пристрасности. То би, тврде заговорници, променило полицију на боље и увело нову еру паметне полиције. Међутим, скоро од самог почетка, предиктивна полиција је имала оштре критичаре. Они тврде да, уместо да помаже у решавању проблема као што су расизам и друге системске предрасуде, предиктивни рад полиције заправо може помоћи да се они учврсте. И тешко је тврдити да немају смисла.

Дискриминаторни алгоритми

Идеја да предиктивни полицијски системи засновани на машинском учењу могу научити да дискриминишу на основу фактора као што је раса није ништа ново. Алати за машинско учење се обучавају са огромним количинама података. И, све док се ти подаци прикупљају од стране система у којем раса наставља да буде доминантан фактор, то може довести до дискриминације.

Како каже Рената М. О’Донел пише у чланку из 2019. под насловом „Изазивање расистичких предиктивних полицијских алгоритама под клаузулом једнаке заштите”, алгоритми за машинско учење уче из података изведених из правосудног система у којем су „Црни Американци затворени у државним затворима великом брзином то је 5,1 пута затворска казна од белаца, а један од три црна мушкарца рођена данас може да очекује да оде у затвор током свог живота ако буду актуелни трендови Настави."

„Подаци нису објективни“, рекао је Фергусон за Дигитал Трендс. „Само смо сведени на бинарни код. Системи вођени подацима који раде у стварном свету нису објективнији, праведнији или непристраснији од стварног света. Ако је ваш стварни свет структурно неједнак или расно дискриминаторан, систем вођен подацима ће одражавати те друштвене неједнакости. Уноси који улазе су упрљани пристрасношћу. Анализа је укаљана пристрасношћу. А механизми полицијске власти се не мењају само зато што постоји технологија која води системе."

Фергусон наводи пример хапшења као једног наизглед објективног фактора у предвиђању ризика. Међутим, хапшења ће бити изобличена расподелом полицијских ресурса (као што је место где патролирају) и врстама злочина који обично захтевају хапшење. Ово је само једна илустрација потенцијално проблематичних података.

Опасности прљавих података

Подаци који недостају и нетачни се понекад у рударењу података називају „прљави подаци“. А 2019. рад истраживача из А.И. Сада Институт на Универзитету у Њујорку проширује овај термин тако да се односи и на податке који су под утицајем корумпираних, пристрасних и незаконитих праксе — било да је то од намерно изманипулисане која је искривљена од стране појединца и друштвене предрасуде. Може, на пример, да садржи податке који се добијају хапшењем невине особе којој су подметнути докази или која је на неки други начин лажно оптужена.

Постоји извесна иронија у чињеници да су током протеклих деценија захтеви друштва података, у којима све се односи на квантификацију и нумеричке циљеве од ливеног гвожђа, управо је довело до много... па, стварно лоши подаци. ХБО серија Жица је приказао феномен из стварног света „пребацивања статистике“, а године откако је емисија угашена понудиле су много примери стварне системске манипулације подацима, лажних полицијских извештаја и неуставне праксе која је послала невине људе у затвор.

Лоши подаци који омогућавају људима на власти да вештачки гађају мете су једно. Али комбинујте то са алгоритмима и предиктивним моделима који ово користе као основу за моделирање света и потенцијално ћете добити нешто много горе.

Истраживачи су показали како упитни подаци о криминалу укључени у предиктивне полицијске алгоритме могу створити оно што се назива „одбегле повратне петље”, у којем се полиција више пута шаље у исте квартове без обзира на стварну стопу криминала. Један од коаутора тог рада, информатичар Суреш Венкатасубраманиан, каже да модели машинског учења могу изградити погрешне претпоставке кроз њихово моделирање. Попут старе изреке о томе како за особу са чекићем сваки проблем изгледа као ексер, ови системи моделирају само одређене елементе проблема — и замишљају само један могући исход.

„[Нешто што] није обрађено у овим моделима је у којој мери моделирате чињеницу да убацивање више полицајаца у подручје заправо може смањити квалитет живота људи који тамо живе?" Венкатасубраманиан, професор на Факултету рачунарства на Универзитету Јута, рекао је за Дигитал Трендови. „Претпостављамо да је више полицајаца боља ствар. Али као што тренутно видимо, више полиције није нужно добра ствар. То заправо може погоршати ствари. Ни у једном моделу који сам икада видео нико није питао колика је цена постављања више полиције у неко подручје."

Неизвесна будућност предиктивне полиције

Они који раде у предиктивној полицији понекад униронично користе израз „Извештај мањина“ да се односе на врсту предвиђања коју раде. Термин се често позива као референца на истоимени филм из 2002, који је заузврат био лабаво заснован на краткој причи Филипа К. Дицк. Ин Извештај о мањинама, специјална предкриминална полиција хапси криминалце на основу предзнања о злочинима који ће бити почињени у будућности. Ове прогнозе дају три видовњака названа „предкасници“.

Али обрт у Извештај о мањинама је да предвиђања нису увек тачна. Несагласне визије једног од предзнака пружају алтернативни поглед на будућност, који је потиснут из страха да ће систем учинити непоузданим.

Управо сада, предиктивна полиција се суочава са сопственом неизвесном будућношћу. Поред нових технологија као што је препознавање лица, технологија доступна органима за спровођење закона за могућу употребу никада није била моћнија. У исто време, свест о коришћењу предиктивног рада полиције изазвала је реакцију јавности која је можда заправо помогла да се она поништи. Фергусон је за Дигитал Трендс рекао да је употреба предиктивних полицијских алата била у "смањењу" последњих неколико година.

„У свом зениту, [предвиђена полиција на месту] била је у преко 60 великих градова и расла, али као резултат успешно организовање заједнице, у великој мери је смањено и/или замењено другим облицима заснованим на подацима аналитику“, рекао је он. „Укратко, термин предиктивна полиција је постао токсичан, а полицијске службе су научиле да преименују оно што раде са подацима. Предиктивни рад полиције заснован на личности имао је стрмији пад. Два главна града која су уложила у његово стварање — Чикаго и Лос Анђелес — одустала су од свог личног карактера стратегије након оштрих критика заједнице и разорних интерних ревизија које показују да тактике нису рад. Не само да су предиктивне листе биле погрешне, већ су биле и неефикасне."

Погрешни алати за посао?

Међутим, Рашида Ричардсон, директор истраживања политике у А.И. Сада из Института кажу да постоји превише нејасноћа око употребе ове технологије. „Још увек не знамо због недостатка транспарентности у вези са набавком технологије од стране владе и многих рупе у постојећим процедурама набавки које могу заштитити куповину одређених технологија од јавног надзора“, Она је рекла. Она даје пример технологије која се може дати полицијској управи бесплатно или купити од треће стране. „Из истраживања попут мог и из медијских извештаја знамо да су многе од највећих полицијских управа у САД користиле технологију у неком тренутку, али постоје и многе мале полицијске управе које је користе или су је користиле у ограниченом периоду времена.”

Имајући у виду тренутна питања о улози полиције, да ли ће бити искушења да се поново прихвати предиктивна полиција као алат за доношење одлука заснованих на подацима - можда под мање дистопијском научном фантастиком брендирање? Постоји могућност да дође до таквог поновног оживљавања. Али Венкатасубраманиан је веома скептичан да је машинско учење, какво се тренутно практикује, прави алат за посао.

„Целокупност машинског учења и његов успех у савременом друштву засновани су на премиси да, без обзира шта је стварно проблем, на крају се своди на прикупљање података, изградњу модела, предвиђање исхода - и не морате да бринете о домену,“ рекао је. „Можете написати исти код и применити га на 100 различитих места. То је обећање апстракције и преносивости. Проблем је у томе што када користимо оно што људи називају друштвено-техничким системима, где су људи и технологија испреплетени у компликованим таласима, не можете то да урадите. Не можете само да прикључите комад и очекујете да ради. Зато што [постоје] ефекти таласања са стављањем тог комада и чињеница да постоје различити играчи са различитим плановима у таквом систему, и они подривају систем својим сопственим потребама различити начини. Све ове ствари се морају узети у обзир када говорите о ефикасности. Да, апстрактно можете рећи да ће све радити добро, али тамо је без апстрактног. Постоји само контекст у којем радите."