Буквальный отчет меньшинства: алгоритмические искажения превентивной полиции

Предиктивная полиция должен был изменить методы работы полиции, введя нас в мир умных законов. правоприменение, при котором предвзятость будет устранена, и полиция сможет реагировать на данные, а не на догадки. Но спустя десять лет после того, как большинство из нас впервые услышали термин «предиктивная полицейская деятельность», кажется очевидным, что он не сработал. Из-за негативной реакции общественности использование этой технологии значительно сократилось по сравнению с тем, что было всего несколько лет назад.

В апреле этого года Лос-Анджелес, который, по данным LA Times, «стал пионером в прогнозировании преступности с помощью данных», сократил финансирование своей программы прогнозирования полицейской деятельности, обвинив ее в затратах. «Это трудное решение», — заявил начальник полиции Мишель Мур.

рассказал LA Times. «Мы использовали эту стратегию, но, по прогнозам, затраты на это право составят сотни тысяч долларов. теперь мне нужно заняться поиском этих денег и их направлением на другие, более важные виды деятельности».

Что пошло не так? Как может что-то, рекламируемое как «умная» технология, привести к дальнейшему укоренению предубеждений и дискриминации? И является ли мечта о прогнозирующей полицейской деятельности тем, что можно было бы настроить с помощью правильного алгоритма, или это тупик в более справедливом обществе, которое в настоящее время пытается понять, как должна действовать полиция?

Перспективы превентивной полицейской деятельности

Предиктивная полицейская деятельность в ее нынешнем виде возникла примерно десять лет назад, когда в 2009 году психолог Коллин МакКью и начальник полиции Лос-Анджелеса Чарли Бек опубликовали статью под названием «Предиктивная полицейская деятельность: чему мы можем научиться у Walmart и Amazon о борьбе с преступностью в условиях рецессии?В статье они ухватились за то, как крупные ритейлеры используют большие данные, чтобы помочь выявить закономерности в прошлом поведении клиентов, которые можно использовать для прогнозирования будущего поведения. Благодаря достижениям в области вычислений и сбора данных МакКью и Бек предположили, что можно собирать и анализировать данные о преступлениях в режиме реального времени. Эти данные затем можно было бы использовать для прогнозирования, предотвращения и более эффективного реагирования на преступления, которые еще не произошли.

За прошедшие годы превентивная полицейская деятельность превратилась из бесполезной идеи в реальность во многих частях Соединенных Штатов, а также в остальном мире. В процессе этого он намеревался превратить полицейскую деятельность из реактивной силы в упреждающую; опираясь на некоторые прорывы в технологиях, основанных на данных, которые позволяют выявлять закономерности в реальном времени и действовать в соответствии с ними.

«Существуют две основные формы профилактической полицейской деятельности», Эндрю Фергюсон, профессор права Университета округа Колумбия Дэвид А. Кларка, автор книги Рост полицейской деятельности с большими данными: слежка, гонка и будущее правоохранительных органов, рассказал Digital Trends. «[Это] полицейская служба с прогнозированием на основе места и работа полиции с прогнозированием на основе человека».

В обоих случаях системы прогнозирования полицейской деятельности присваивают оценку риска конкретному лицу или месту, что побуждает полицию принимать последующие меры через определенные промежутки времени. Первый из этих подходов — полицейская деятельность с прогнозированием на месте — ориентирован преимущественно на полицейские патрули. Он предполагает использование карт преступности и аналитики вероятных мест будущих преступлений на основе предыдущей статистики.

Второй подход фокусируется на прогнозировании вероятности того, что человек представляет потенциальный будущий риск. Например, в 2013 году командира полиции Чикаго отправили в дом 22-летнего Роберта МакДэниела. который был отмечен как потенциальный риск или виновник насилия с применением огнестрельного оружия в центре Чикаго алгоритм. «Список хитов», который помог составить алгоритм, искал закономерности, которые могли бы предсказать будущих преступников. или жертвы, даже если они сами не сделали ничего, что могло бы оправдать такое пристальное внимание, кроме соблюдения требований профиль.

Как Чикаго Трибьюн отметила: «Стратегия призывает индивидуально предупреждать тех, кто находится в списке желающих, о том, что дальнейшая преступная деятельность, даже за самые мелкие правонарушения, это приведет к тому, что на него будет применена вся сила закона. их."

Мечта о профилактической работе полиции заключалась в том, что, действуя на основе количественных данных, она сделает работу полиции не только более эффективной, но и менее склонной к догадкам и, как следствие, к предвзятости. Сторонники утверждали, что это изменит работу полиции к лучшему и откроет новую эру умной работы полиции. Однако почти с самого начала у превентивной полицейской деятельности были стойкие критики. Они утверждают, что вместо того, чтобы помочь избавиться от таких проблем, как расизм и другие системные предубеждения, профилактическая работа полиции на самом деле может помочь укрепить их. И трудно утверждать, что они не имеют смысла.

Дискриминационные алгоритмы

Идея о том, что системы прогнозирования полиции на основе машинного обучения могут научиться различать по таким факторам, как раса, не является чем-то новым. Инструменты машинного обучения обучаются на огромных объемах данных. И пока эти данные собираются системой, в которой расовая принадлежность продолжает оставаться решающим фактором, это может привести к дискриминации.

Как Рената М. О’Доннелл пишет в статье 2019 года под названием «Борьба с расистскими алгоритмами прогнозирования полицейской деятельности в соответствии с положением о равной защитеАлгоритмы машинного обучения учатся на данных, полученных из системы правосудия, в которой «чернокожие американцы содержатся в тюрьмах штатов с частотой это в 5,1 раза больше, чем у белых, и каждый третий чернокожий мужчина, рожденный сегодня, может рассчитывать на то, что попадет в тюрьму при жизни, если нынешние тенденции продолжать."

«Данные необъективны», — сказал Фергюсон Digital Trends. «Это просто мы, сведенные к двоичному коду. Системы, управляемые данными, которые работают в реальном мире, не более объективны, справедливы и беспристрастны, чем реальный мир. Если ваш реальный мир структурно неравен или расово дискриминационен, система, основанная на данных, отразит это социальное неравенство. Входные данные испорчены предвзятостью. Анализ запятнан предвзятостью. И механизмы полицейской власти не меняются только потому, что существует технология, управляющая системами».

Фергюсон приводит пример арестов как одного, казалось бы, объективного фактора прогнозирования риска. Однако аресты будут искажаться в зависимости от распределения полицейских ресурсов (например, мест, где они патрулируют) и типов преступлений, которые обычно требуют арестов. Это всего лишь одна иллюстрация потенциально проблемных данных.

Опасности грязных данных

Отсутствующие и неверные данные в интеллектуальном анализе данных иногда называют «грязными данными». А Статья исследователей из Института А.И. Сейчас Институт Нью-Йоркского университета расширяет этот термин, чтобы также относиться к данным, на которые повлияли коррумпированные, предвзятые и незаконные практики - будь то намеренное манипулирование, искажение отдельными и социальные предубеждения. Например, сюда могут быть включены данные, полученные в результате ареста невиновного человека, которому подбросили улики или которого иным образом ложно обвинили.

Есть определенная ирония в том, что в последние десятилетия требования информационного общества, в котором все дело в количественной оценке и железных числовых целях, только что привело к множеству… ну, на самом деле плохие данные. сериал HBO Провод продемонстрировал реальный феномен «подтасовки статистики», и годы, прошедшие с тех пор, как шоу вышло из эфира, породили множество примеры реальных системных манипуляций с данными, фальшивых полицейских протоколов и неконституционных практик, в результате которых невиновные люди были отправлены в тюрьма.

Плохие данные, которые позволяют людям, находящимся у власти, искусственно поражать цели – это одно. Но объедините это с алгоритмами и прогнозирующими моделями, которые используют это в качестве основы для моделирования мира, и вы потенциально получите нечто гораздо худшее.

Исследователи продемонстрировали, как сомнительные данные о преступности, включенные в алгоритмы прогнозирования полицейской деятельности, могут создать то, что называется «неконтролируемые петли обратной связи», в котором полицию неоднократно отправляют в одни и те же районы, независимо от истинного уровня преступности. Один из соавторов этой статьи, ученый-компьютерщик Суреш Венкатасубраманиан, говорит, что модели машинного обучения могут создавать ошибочные предположения в ходе моделирования. Подобно старой поговорке о том, что для человека с молотком каждая проблема выглядит как гвоздь, эти системы моделируют только определенные элементы проблемы и представляют только один возможный результат.

«[Что-то] не рассматривается в этих моделях, так это то, в какой степени вы моделируете тот факт, что размещение большего количества полицейских в каком-либо районе действительно может снизить качество жизни людей, которые там живут?» Венкатасубраманиан, профессор Школы вычислительной техники Университета Юты, рассказал Digital Тенденции. «Мы считаем, что больше полицейских — это лучше. Но, как мы видим сейчас, наличие большего количества полиции – это не обязательно хорошо. На самом деле это может усугубить ситуацию. Ни в одной модели, которую я когда-либо видел, никто никогда не спрашивал, сколько стоит размещение большего количества полиции в определенном районе».

Неопределенное будущее превентивной полицейской деятельности

Те, кто работает в полиции с прогнозированием, иногда без иронии используют термин «отчет меньшинства» для обозначения типа прогнозирования, которое они делают. Этот термин часто используется для обозначения одноимённый фильм 2002 года, который, в свою очередь, был основан на рассказе Филипа К. Хуй. В Отчет меньшинства, специальный отдел полиции PreCrime задерживает преступников на основе предвидения преступлений, которые будут совершены в будущем. Эти прогнозы предоставляют три экстрасенса, которых называют «провидцами».

Но поворот в Отчет меньшинства Дело в том, что прогнозы не всегда точны. Несогласные видения одного из предсказателей дают альтернативный взгляд на будущее, который подавляется из-за страха сделать систему ненадежной.

Прямо сейчас прогнозирующая полицейская деятельность сталкивается со своим собственным неопределенным будущим. Наряду с новыми технологиями, такими как распознавание лиц, технология, доступная правоохранительным органам для возможного использования, никогда не была более мощной. В то же время осведомленность об использовании профилактической полицейской деятельности вызвала общественную реакцию, которая, возможно, на самом деле помогла ее подавить. Фергюсон рассказал Digital Trends, что использование инструментов прогнозирования полиции в последние несколько лет находится на спаде.

«На пике своего развития [полицейская служба с прогнозированием на месте] существовала более чем в 60 крупных городах, и их число росло, но в результате успешная организация сообщества, она в значительной степени была сокращена или заменена другими формами, основанными на данных. аналитика», — сказал он. «Короче говоря, термин «прогностическая полицейская деятельность» стал токсичным, и полицейские управления научились переименовывать то, что они делают с данными. В полицейской деятельности, основанной на индивидуальном прогнозировании, падение было более резким. Два основных города, вложивших средства в его создание, — Чикаго и Лос-Анджелес — отказались от своих индивидуальных подходов. стратегии после резкой критики сообщества и разрушительных внутренних проверок, которые показали, что такая тактика не принесла результатов. работа. Списки прогнозов были не только ошибочными, но и неэффективными».

Неправильные инструменты для работы?

Однако, Рашида Ричардсон, директор по политическим исследованиям Института А.И. Теперь Институт заявил, что существует слишком большая неясность в отношении использования этой технологии. «Мы до сих пор не знаем из-за отсутствия прозрачности в отношении государственного приобретения технологий и многих лазейки в существующих процедурах закупок, которые могут защитить определенные закупки технологий от общественного контроля», она сказала. Она приводит пример технологии, которая может быть передана полицейскому управлению бесплатно или куплена третьей стороной. «Из исследований, таких как мое, и из сообщений средств массовой информации, мы знаем, что многие крупнейшие полицейские управления США использовали технология в какой-то момент, но есть также много небольших полицейских управлений, которые используют ее или использовали ее в течение ограниченного периода времени. времени."

Учитывая текущие вопросы о роли полиции, возникнет ли искушение вновь принять прогнозирующая полицейская деятельность как инструмент принятия решений на основе данных – возможно, в менее мрачной научной фантастике брендинг? Существует вероятность того, что такое возрождение может произойти. Но Венкатасубраманиан крайне скептически относится к тому, что машинное обучение в том виде, в котором оно практикуется в настоящее время, является подходящим инструментом для этой работы.

«Вся суть машинного обучения и его успех в современном обществе основаны на предпосылке, что, независимо от фактической проблема, в конечном итоге все сводится к сбору данных, построению модели, прогнозированию результата — и вам не нужно беспокоиться о предметной области». он сказал. «Вы можете написать один и тот же код и применить его в 100 разных местах. Это обещание абстракции и переносимости. Проблема в том, что когда мы используем то, что люди называют социотехническими системами, где люди и технологии переплетаются в сложные волны, вы не можете этого сделать. Вы не можете просто подключить кусок и ожидать, что он будет работать. Потому что [есть] волновые эффекты от установки этой детали и того факта, что есть разные игроки с разными целями в такой системе, и они подрывают систему для своих собственных нужд в различные пути. Все эти вещи необходимо учитывать, когда вы говорите об эффективности. Да, можно абстрактно сказать, что все будет работать нормально, но там является нет реферата. Есть только контекст, в котором вы работаете».