Доклад за буквално малцинство: Алгоритмичните отклонения на предсказуемата полиция

Предсказуема полиция трябваше да трансформира начина, по който се извършва полицията, въвеждайки ни в свят на интелигентен закон правоприлагане, при което пристрастията бяха премахнати и полицията щеше да може да реагира на данните, а не на предчувствия. Но десетилетие след като повечето от нас за първи път чуха термина „прогнозна полиция“, изглежда ясно, че той не работи. Водена от обществена реакция, технологията преживява значителен спад в използването си в сравнение само с преди няколко години.

През април тази година Лос Анджелис – който според LA Times е „пионер в прогнозирането на престъпления с данни“ – намали финансирането на своята програма за предсказуема полиция, като обвини разходите. „Това е трудно решение“, каза шефът на полицията Мишел Мур каза пред LA Times. „Това е стратегия, която използвахме, но прогнозите за стотици хиляди долари, които да похарчим за това правилно сега вместо намирането на тези пари и насочването им към други по-централни дейности е това, което трябва да направя.“

Какво се обърка? Как нещо, рекламирано като „интелигентна“ технология, може да доведе до по-нататъшно утвърждаване на пристрастия и дискриминация? И дали мечтата за предсказуема полиция е такава, която може да бъде променена с правилния алгоритъм - или задънена улица в едно по-справедливо общество, което в момента се бори с това как полицията трябва да работи?

Обещанието за предсказуема полиция

Предсказуемата полиция в сегашната си форма датира от около едно десетилетие от доклад от 2009 г. на психолога Колийн МакКю и шефа на полицията в Лос Анджелис Чарли Бек, озаглавен „Прогностична полиция: Какво можем да научим от Walmart и Amazon за борбата с престъпността в рецесия?В статията те се възползваха от начина, по който големите данни се използват от големите търговци на дребно, за да помогнат за разкриването на модели в поведението на клиентите в миналото, които биха могли да се използват за прогнозиране на бъдещо поведение. Благодарение на напредъка както в компютърните технологии, така и в събирането на данни, МакКю и Бек предположиха, че е възможно да се събират и анализират данни за престъпления в реално време. След това тези данни могат да се използват за предвиждане, предотвратяване и по-ефективно реагиране на престъпления, които все още не са се случили.

През годините след това предсказуемата полицейска дейност се превърна от идея за изхвърляне в реалност в много части на Съединените щати, както и в останалия свят. В този процес тя си постави за цел да промени полицейската дейност от реактивна в проактивна; черпейки от някои от откритията в технологията, управлявана от данни, които правят възможно забелязването на модели в реално време - и действията по тях.

„Има две основни форми на предсказуема полиция,“ Андрю Фъргюсън, професор по право в Университета на окръг Колумбия Дейвид А. Кларк училище по право и автор на Възходът на полицията с големи данни: наблюдение, раса и бъдещето на правоприлагането, каза Digital Trends. „[Това са] предсказуема полиция, базирана на място, и предсказуема полиция, базирана на хора.“

И в двата случая предсказуемите полицейски системи присвояват оценка на риска на въпросното лице или място, което насърчава полицията да предприеме последващи действия през даден интервал. Първият от тези подходи, предсказуемата полиция, базирана на място, се фокусира предимно върху полицейските патрули. Това включва използването на картографиране на престъпления и анализи за вероятните места на бъдещи престъпления, базирани на предишни статистики.

Вторият подход се фокусира върху прогнозирането на вероятността дадено лице да представлява потенциален бъдещ риск. Например през 2013 г. началник на чикагската полиция беше изпратен в дома на 22-годишния Робърт Макданиел, който е бил маркиран като потенциален риск или извършител на насилие с оръжие в центъра на Чикаго от алгоритъм. „Топлинният списък“, който алгоритъмът помогна да се сглоби, търсеше модели, които биха могли да предскажат бъдещи нарушители или жертви, дори и самите те да не са направили нищо, което да оправдае тази проверка, освен спазването на a профил.

Като Chicago Tribune отбелязва: „Стратегията изисква индивидуално предупреждаване на тези в списъка с горещини, че по-нататъшната престъпна дейност, дори и за най-дребните нарушения, ще доведе до премахване на цялата сила на закона тях."

Мечтата за предсказуема полицейска дейност беше, че като се действа въз основа на количествено измерими данни, тя ще направи полицията не само по-ефективна, но и по-малко податлива на догадки и, като резултат, пристрастия. Поддръжниците твърдяха, че това ще промени полицията към по-добро и ще постави началото на нова ера на интелигентна полиция. Въпреки това, почти от самото начало, предсказуемата полиция имаше твърди критици. Те твърдят, че вместо да помага да се отървете от проблеми като расизъм и други системни пристрастия, предсказуемото полицейско управление може всъщност да помогне за тяхното утвърждаване. И е трудно да се спори, че те нямат смисъл.

Дискриминационни алгоритми

Идеята, че базираните на машинно обучение предсказуеми полицейски системи могат да се научат да дискриминират въз основа на фактори като раса, не е нищо ново. Инструментите за машинно обучение се обучават с огромно количество данни. И докато тези данни се събират от система, в която расата продължава да бъде преобладаващ фактор, това може да доведе до дискриминация.

Като Рената М. О’Донъл пише в документ от 2019 г., озаглавен „Предизвикване на расистки предсказуеми полицейски алгоритми съгласно клаузата за равна защита”, алгоритмите за машинно обучение се учат от данни, получени от съдебна система, в която „чернокожите американци са затворени в държавните затвори със скорост това е 5,1 пъти повече от затвора за белите и един от всеки трима черни мъже, родени днес, може да очаква да отиде в затвора през живота си, ако настоящите тенденции продължи."

„Данните не са обективни“, каза Фъргюсън пред Digital Trends. „Просто сме сведени до двоичен код. Системите, управлявани от данни, които работят в реалния свят, не са по-обективни, справедливи или безпристрастни от реалния свят. Ако вашият реален свят е структурно неравен или расово дискриминационен, управлявана от данни система ще отразява тези обществени неравенства. Входящите данни са опетнени от пристрастия. Анализът е опетнен от пристрастия. И механизмите на полицейската власт не се променят само защото има технология, която ръководи системите.

Фъргюсън дава пример с арестите като един привидно обективен фактор при прогнозиране на риска. Арестите обаче ще бъдат изкривени от разпределението на полицейските ресурси (като например къде патрулират) и видовете престъпления, които обикновено изискват арести. Това е само една илюстрация на потенциално проблемни данни.

Опасностите от мръсните данни

Липсващите и неправилни данни понякога се наричат ​​в извличането на данни „мръсни данни“. А Документ от 2019 г. на изследователи от A.I. Сега Институт към Нюйоркския университет разширява този термин, за да се отнася и до данни, които са повлияни от корумпирани, пристрастни и незаконни практики - независимо дали това е от умишлено манипулирани, които са изкривени от индивида и обществени пристрастия. Може например да включва данни, които са генерирани от ареста на невинен човек, на когото са подложени доказателства или който е фалшиво обвинен по друг начин.

Има известна ирония във факта, че през последните десетилетия изискванията на обществото на данните, в което всичко е свързано с количествено определяне и чугунени цифрови цели, току-що доведе до много... е, наистина лоши данни. Сериалът на HBO Жицата показаха феномена от реалния свят на „изхвърляне на статистиката“ и годините, откакто шоуто излезе от ефир, предложиха много примери за действително системно манипулиране на данни, фалшиви полицейски доклади и противоконституционни практики, които са изпратили невинни хора в затвор.

Лошите данни, които позволяват на хората с власт да удрят изкуствено цели, са едно нещо. Но комбинирайте това с алгоритми и прогнозни модели, които използват това като основа за моделиране на света, и потенциално ще получите нещо много по-лошо.

Изследователите демонстрираха как съмнителни данни за престъпления, включени в предсказуеми полицейски алгоритми, могат да създадат това, което се нарича „избягали вериги за обратна връзка”, в който полицията многократно се изпраща в едни и същи квартали, независимо от истинското ниво на престъпност. Един от съавторите на този документ, компютърен учен Суреш Венкатасубраманиан, казва, че моделите за машинно обучение могат да вграждат погрешни предположения чрез тяхното моделиране. Подобно на старата поговорка за това как за човека с чука всеки проблем изглежда като пирон, тези системи моделират само определени елементи на проблем - и си представете само един възможен изход.

„[Нещо, което] не се разглежда в тези модели, е до каква степен моделирате факта, че хвърлянето на повече ченгета в даден район всъщност може понижи качеството на живот на хората, които живеят там?“ Венкатасубраманиан, професор в Училището по компютри към Университета на Юта, каза пред Digital Тенденции. „Предполагаме, че повече ченгета е по-добро нещо. Но както виждаме в момента, наличието на повече полиция не е непременно добро нещо. Всъщност може да влоши нещата. В нито един модел, който съм виждал, някой някога е попитал каква е цената на поставянето на повече полиция в даден район.

Несигурното бъдеще на предсказуемата полиция

Тези, които работят в полицията с прогнози, понякога неиронично използват термина „Доклад за малцинството“, за да се позоват на вида прогноза, която правят. Терминът често се използва като препратка към Едноименният филм от 2002 г, който от своя страна е базиран на разказ от 1956 г. на Филип К. Дик. в Доклад за малцинството, специален полицейски отдел PreCrime задържа престъпници въз основа на предусещане за престъпления, които ще бъдат извършени в бъдеще. Тези прогнози са предоставени от трима екстрасенси, наречени „предугадатели“.

Но обратът в Доклад за малцинството е, че прогнозите не винаги са точни. Несъгласните видения на един от предубедителите осигуряват алтернативен поглед върху бъдещето, който се потиска от страх системата да не изглежда ненадеждна.

В момента предсказуемата полиция е изправена пред собственото си несигурно бъдеще. Наред с новите технологии като разпознаване на лица, технологията, достъпна за правоприлагащите органи за възможна употреба, никога не е била по-мощна. В същото време осъзнаването на използването на предсказуема полиция предизвика обществена реакция, която всъщност може да е помогнала за отмяната му. Фъргюсън каза пред Digital Trends, че използването на предсказуеми полицейски инструменти е в „надолу“ през последните няколко години.

„В зенита си [предсказуемата полицейска дейност на място] беше в над 60 големи града и растеше, но в резултат на успешно организиране на общността, то до голяма степен е намалено и/или заменено с други форми на управление на данни анализи“, каза той. „Накратко, терминът предсказуема полиция стана токсичен и полицейските управления се научиха да преименуват това, което правят с данни. Базираната на личността предсказуема полиция имаше по-рязък спад. Двата основни града, инвестирали в създаването му – Чикаго и Лос Анджелис – се оттеглиха от своята индивидуална основа стратегии след остри критики на общността и опустошителни вътрешни одити, които показват, че тактиките не са работа. Списъците с прогнози не само бяха погрешни, но и неефективни.

Грешните инструменти за работа?

Въпреки това, Рашида Ричардсън, директор по политически изследвания в A.I. Now Institute каза, че има твърде много непрозрачност относно използването на тази технология. „Все още не знаем поради липсата на прозрачност по отношение на правителственото придобиване на технологии и много други вратички в съществуващите процедури за възлагане на обществени поръчки, които могат да предпазят определени покупки на технологии от обществен контрол,“ тя каза. Тя дава пример с технология, която може да бъде предоставена на полицейско управление безплатно или закупена от трета страна. „Ние знаем от изследвания като моите и медийни доклади, че много от най-големите полицейски управления в САЩ са използвали технология в даден момент, но има и много малки полицейски управления, които я използват или са я използвали за ограничен период от време от време."

Като се има предвид настоящият въпрос за ролята на полицията, ще има ли изкушение да прегърнете отново предсказуем полицейски контрол като инструмент за вземане на решения, базирани на данни - може би в рамките на по-малко дистопичната научна фантастика брандиране? Има възможност такова възраждане да се появи. Но Венкатасубраманиан е силно скептичен, че машинното обучение, както се практикува в момента, е правилният инструмент за работата.

„Цялостта на машинното обучение и неговият успех в съвременното общество се основава на предпоставката, че независимо какво е действителното проблем, в крайна сметка се свежда до събиране на данни, изграждане на модел, прогнозиране на резултата – и не е нужно да се тревожите за домейна,“ той каза. „Можете да напишете един и същ код и да го приложите на 100 различни места. Това е обещанието за абстракция и преносимост. Проблемът е, че когато използваме това, което хората наричат ​​социално-технически системи, където имате хора и технология, преплетени в сложни вълни, не можете да направите това. Не можете просто да включите парче и да очаквате да работи. Защото [има] вълнообразни ефекти с поставянето на това парче и факта, че има различни играчи с различни цели в такава система и те подкопават системата според собствените си нужди различни начини. Всички тези неща трябва да се вземат предвид, когато говорите за ефективност. Да, можете да кажете абстрактно, че всичко ще работи добре, но там е без абстракт. Има само контекста, в който работите.“