문자 그대로의 소수 보고서: 예측 치안의 알고리즘 편향

예측 치안 치안 수행 방식을 변화시켜 우리를 스마트 법률의 세계로 안내할 예정이었습니다. 편견이 제거되고 경찰이 데이터에 대응할 수 있는 집행 직감. 그러나 우리 대부분이 "예측 치안"이라는 용어를 처음들은 지 10년이 지난 지금은 그것이 효과가 없다는 것이 분명해 보입니다. 대중의 반발로 인해 이 기술은 불과 몇 년 전과 비교해 사용량이 크게 감소하고 있습니다.

LA 타임즈에 따르면 올해 4월, “데이터를 통해 범죄 예측을 개척”한 로스앤젤레스는 비용 문제를 이유로 예측 치안 프로그램에 대한 자금을 삭감했습니다. 미셸 무어 경찰청장 "어려운 결정이다" LA 타임즈에 말했다. “우리가 사용한 전략이지만, 그 오른쪽에 지출할 비용이 수십만 달러에 달할 것으로 예상됩니다. 이제 그 돈을 찾아 그 돈을 더 중요한 다른 활동에 보내는 것이 내가 해야 할 일입니다.”

무엇이 잘못되었나요? "스마트" 기술이라고 광고되는 것이 어떻게 편견과 차별을 더욱 고착시킬 수 있습니까? 그리고 올바른 알고리즘으로 조정할 수 있는 예측 치안의 꿈입니까, 아니면 현재 경찰이 어떻게 운영되어야 하는지 고심하고 있는 공정한 사회에서 막다른 골목입니까?

예측경찰의 약속

현재 형태의 예측 치안은 심리학자 Colleen McCue와 로스앤젤레스 경찰청장 Charlie Beck이 쓴 2009년 논문에서 약 10년 전으로 거슬러 올라갑니다.예측 치안: 경기 침체기 범죄 퇴치에 관해 월마트와 아마존으로부터 무엇을 배울 수 있습니까?” 논문에서 그들은 미래 행동을 예측하는 데 사용할 수 있는 과거 고객 행동 패턴을 발견하는 데 도움이 되도록 주요 소매업체에서 빅데이터를 사용하는 방식을 포착했습니다. 컴퓨팅과 데이터 수집의 발전 덕분에 McCue와 Beck은 범죄 데이터를 실시간으로 수집하고 분석하는 것이 가능하다고 제안했습니다. 이 데이터는 아직 발생하지 않은 범죄를 보다 효과적으로 예측, 예방 및 대응하는 데 사용될 수 있습니다.

그 이후 몇 년 동안 예측 치안은 미국의 많은 지역과 세계 다른 지역에서 일회용 아이디어에서 현실로 전환되었습니다. 그 과정에서 치안을 수동적인 힘에서 능동적인 힘으로 바꾸는 작업에 착수했습니다. 실시간으로 패턴을 파악하고 이에 따라 조치를 취할 수 있게 해주는 데이터 기반 기술의 몇 가지 획기적인 기술을 활용합니다.

“예측 치안 유지에는 두 가지 주요 형태가 있습니다.” 앤드류 퍼거슨, 컬럼비아 특별구 대학교 법학 교수 David A. Clarke 법학대학원 및 저자 빅 데이터 정책의 부상: 감시, 인종, 법 집행의 미래, Digital Trends에 말했습니다. "[이것은] 장소 기반 예측 치안과 사람 기반 예측 치안입니다."

두 경우 모두 예측 치안 시스템은 문제의 사람이나 장소에 위험 점수를 할당하여 경찰이 일정한 간격으로 후속 조치를 취하도록 장려합니다. 이러한 접근 방식 중 첫 번째인 장소 기반 예측 치안은 주로 경찰 순찰에 중점을 둡니다. 여기에는 이전 통계를 기반으로 미래 범죄가 발생할 가능성이 있는 장소에 대한 범죄 매핑 및 분석이 포함됩니다.

두 번째 접근 방식은 개인이 미래에 잠재적인 위험을 초래할 가능성을 예측하는 데 중점을 둡니다. 예를 들어, 2013년에 시카고 경찰 사령관이 22세 로버트 맥다니엘의 집으로 파견되었습니다. 시카고 도심에서 총기 폭력의 잠재적 위험이 있거나 가해자로 지목된 사람 연산. 알고리즘이 조립하는 데 도움이 된 "히트 목록"은 미래의 범죄자를 예측할 수 있는 패턴을 찾았습니다. 또는 피해자, 비록 그들 자신이 규정에 부합하는 것 이상으로 이러한 조사를 보장할 만한 어떤 조치도 취하지 않았더라도 프로필.

다음과 같이 시카고 트리뷴이 언급한: “이 전략은 히트 리스트에 있는 사람들에게 추가 범죄 행위가 있을 수 있음을 개별적으로 경고하는 것입니다. 가장 사소한 범죄일지라도 법의 완전한 효력이 발휘될 것입니다. 그들을."

예측 치안의 꿈은 정량화 가능한 데이터에 따라 치안을 더욱 효율적으로 만들 뿐만 아니라 추측과 그에 따른 편견을 줄이는 것이었습니다. 지지자들은 이것이 치안을 더 나은 방향으로 변화시키고 스마트 치안의 새로운 시대를 열 것이라고 주장했습니다. 그러나 거의 처음부터 예측적 치안 유지에 대해 신랄한 비판이 있었습니다. 그들은 인종차별이나 기타 체계적 편견과 같은 문제를 제거하는 데 도움이 되기보다는 예측 치안이 실제로 문제를 확고히 하는 데 도움이 될 수 있다고 주장합니다. 그리고 그들이 요점이 없다고 주장하기는 어렵습니다.

차별 알고리즘

머신러닝 기반 예측 치안 시스템이 인종과 같은 요인을 기반으로 차별하는 방법을 학습할 수 있다는 아이디어는 새로운 것이 아닙니다. 머신러닝 도구는 막대한 양의 데이터로 학습됩니다. 그리고 인종이 계속해서 압도적인 요소가 되는 시스템에 의해 데이터가 수집되는 한 이는 차별로 이어질 수 있습니다.

레나타 M. O'Donnell은 2019년 논문에서 "평등 보호 조항에 따른 인종 차별적 예측 치안 알고리즘에 도전,” 기계 학습 알고리즘은 “흑인 미국인이 주 교도소에 수감되는 비율로” 사법 제도에서 파생된 데이터로부터 학습하고 있습니다. 이는 백인 투옥의 5.1배이며, 현재 추세대로라면 오늘 태어난 흑인 남성 3명 중 1명은 평생 감옥에 갈 것으로 예상할 수 있습니다. 계속하다."

퍼거슨은 디지털 트렌드에 “데이터는 객관적이지 않습니다.”라고 말했습니다. “우리는 바이너리 코드로 축소되었습니다. 현실 세계에서 작동하는 데이터 기반 시스템은 현실 세계보다 더 객관적이거나 공정하거나 편견이 없습니다. 현실 세계가 구조적으로 불평등하거나 인종적으로 차별적이라면 데이터 기반 시스템은 그러한 사회적 불평등을 반영할 것입니다. 들어오는 입력은 편견으로 인해 오염되었습니다. 분석은 편견으로 오염되어 있습니다. 그리고 시스템을 안내하는 기술이 있다고 해서 경찰 권력의 메커니즘이 바뀌는 것은 아닙니다.”

퍼거슨(Ferguson)은 위험을 예측하는 객관적인 요인 중 하나로 체포의 예를 제시합니다. 그러나 체포는 경찰 자원 할당(예: 순찰 장소)과 일반적으로 체포가 필요한 범죄 유형에 따라 왜곡됩니다. 이는 잠재적으로 문제가 있는 데이터를 보여주는 한 가지 예일 뿐입니다.

더러운 데이터의 위험성

누락되거나 잘못된 데이터는 데이터 마이닝에서 "더티 데이터"라고도 합니다. ㅏ A.I. 연구진의 2019년 논문. 현재 뉴욕대학교 연구소 이 용어를 확장하여 부패, 편향, 불법의 영향을 받은 데이터를 지칭하기도 합니다. 관행 - 의도적으로 조작되어 개인에 의해 왜곡되었는지 여부 사회적 편견. 예를 들어, 증거가 심어져 있거나 거짓으로 기소된 무고한 사람을 체포하여 생성된 데이터가 포함될 수 있습니다.

지난 수십 년 동안 데이터 사회의 요구가 충족되었다는 사실에는 아이러니가 있습니다. 모든 것은 정량화 및 주철 수치 목표에 관한 것이며, 방금 많은… 음, 정말 나쁜 데이터. HBO 시리즈 와이어 '통계를 속이는' 현실 세계 현상을 선보였으며, 방송이 중단된 이후 몇 년 동안 많은 정보가 제공되었습니다. 실제 시스템적 데이터 조작, 위조된 경찰 보고서, 무고한 사람들을 범죄로 몰아넣은 위헌 행위의 예 교도소.

권력을 가진 사람들이 인위적으로 목표물을 타격할 수 있게 해주는 나쁜 데이터도 한 가지입니다. 그러나 이것을 세계 모델링의 기초로 사용하는 알고리즘 및 예측 모델과 결합하면 잠재적으로 훨씬 더 나쁜 결과를 얻을 수 있습니다.

연구자들은 예측 치안 알고리즘에 연결된 의심스러운 범죄 데이터가 어떻게 ""라고 불리는 범죄 데이터를 생성할 수 있는지 보여주었습니다.폭주 피드백 루프,'는 실제 범죄율과 상관없이 같은 동네에 경찰을 반복적으로 파견하는 내용이다. 해당 논문의 공동저자 중 한 명인 컴퓨터 과학자 Suresh Venkatasubramanian, 머신러닝 모델은 모델링을 통해 잘못된 가정을 구축할 수 있다고 말합니다. 망치를 가진 사람에게는 모든 문제가 못처럼 보인다는 옛말처럼 이러한 시스템은 문제의 특정 요소만 모델링하고 가능한 결과는 하나만 상상합니다.

“이러한 모델에서 해결되지 않는 문제는 더 많은 경찰을 한 지역에 투입하면 실제로 거기 사는 사람들의 삶의 질을 떨어뜨리나요?” 유타대학교 컴퓨터공학부 교수인 Venkatasubramanian은 Digital과의 인터뷰에서 이렇게 말했습니다. 동향. “우리는 경찰이 더 많은 것이 더 나은 것이라고 생각합니다. 하지만 지금 우리가 보고 있듯이 경찰이 더 많다고 반드시 좋은 것은 아닙니다. 실제로 상황을 악화시킬 수 있습니다. 내가 본 어떤 모델에서도 한 지역에 더 많은 경찰을 배치하는 데 드는 비용이 얼마인지 묻는 사람은 없었습니다.”

예측 치안의 불확실한 미래

예측 치안에 종사하는 사람들은 자신들이 하고 있는 예측의 종류를 언급하기 위해 때때로 "마이너리티 리포트"라는 용어를 일률적으로 사용합니다. 이 용어는 다음에 대한 언급으로 자주 언급됩니다. 2002년 동명의 영화는 1956년 Philip K. 형사. ~ 안에 마이너리티 리포트, 범죄예비경찰은 미래에 일어날 범죄를 미리 예측하여 범인을 검거하는 특수경찰서입니다. 이러한 예측은 "프리코그(precogs)"라고 불리는 세 명의 심령술사에 의해 제공됩니다.

하지만 반전이 마이너리티 리포트 예측이 항상 정확하지는 않다는 것입니다. 예측 톱니바퀴 중 하나에 의한 반대 비전은 미래에 대한 대체 관점을 제공하며, 이는 시스템이 신뢰할 수 없는 것처럼 보일 것이라는 두려움 때문에 억제됩니다.

현재 예측 치안은 불확실한 미래에 직면해 있습니다. 얼굴 인식과 같은 신기술과 함께 법 집행 기관이 사용할 수 있는 기술도 그 어느 때보다 강력합니다. 동시에, 예측 치안의 사용에 대한 인식은 실제로 이를 진압하는 데 도움이 되었을 수도 있는 대중의 반발을 불러일으켰습니다. 퍼거슨(Ferguson)은 예측 치안 도구의 사용이 지난 몇 년 동안 "하강세"에 있었다고 디지털 트렌드(Digital Trends)에 말했습니다.

“전성기에는 [장소 기반 예측 치안]이 60개 이상의 주요 도시에서 성장하고 있었지만 성공적인 커뮤니티 조직으로 인해 이는 크게 줄어들거나 다른 형태의 데이터 기반으로 대체되었습니다. 분석한다”고 말했다. “요컨대, 예측 치안이라는 용어는 점점 더 해로워졌고 경찰서는 데이터를 사용하여 수행하는 작업의 이름을 바꾸는 방법을 배웠습니다. 개인 기반 예측 치안은 더욱 가파른 하락세를 보였습니다. 설립에 투자한 두 주요 도시인 시카고와 로스앤젤레스는 개인 기반의 계획을 철회했습니다. 날카로운 커뮤니티 비판과 전술이 실패했음을 보여주는 파괴적인 내부 감사 이후의 전략 일하다. 예측 목록에는 결함이 있을 뿐만 아니라 효과도 없었습니다.”

작업에 잘못된 도구가 있습니까?

하지만, 라시다 리처드슨, A.I. 정책 연구 이사 Now Institute는 이 기술의 사용이 너무 불투명하다고 말했습니다. “정부의 기술 확보와 많은 부분에 대한 투명성이 부족하기 때문에 우리는 아직 알지 못합니다. 대중의 조사로부터 특정 기술 구매를 보호할 수 있는 기존 조달 절차의 허점” 그녀가 말했다. 그녀는 경찰서에 무료로 제공되거나 제3자가 구매할 수 있는 기술의 예를 제시합니다. “우리는 나와 같은 연구와 언론 보도를 통해 미국 최대 규모의 경찰서 중 다수가 기술을 사용하고 있거나 제한된 기간 동안 사용해온 소규모 경찰서도 많이 있습니다. 시간이.”

현재 경찰의 역할에 대한 의문이 제기되는 상황에서 다시 포용하고 싶은 유혹이 있을까요? 데이터 기반 의사 결정을 위한 도구로서의 예측 치안 - 아마도 덜 디스토피아적인 공상 과학 환경에서 브랜딩? 이런 부활이 나올 가능성도 있다. 그러나 Venkatasubramanian은 현재 실행되는 기계 학습이 해당 작업에 적합한 도구라는 점에 대해 매우 회의적입니다.

“현대 사회에서 머신러닝 전체와 그 성공은 실제 상황이 어떻든 상관없이 다음을 전제로 합니다. 문제는 결국 데이터 수집, 모델 구축, 결과 예측으로 귀결됩니다. 도메인에 대해 걱정할 필요가 없습니다.” 그는 말했다. “동일한 코드를 작성하여 100가지 다른 곳에 적용할 수 있습니다. 이것이 바로 추상화와 이식성의 약속입니다. 문제는 인간과 기술이 복잡한 파도로 얽혀 있는 사회 기술 시스템이라고 부르는 것을 사용할 때 이를 수행할 수 없다는 것입니다. 단지 부품을 연결하고 그것이 작동할 것이라고 기대할 수는 없습니다. 왜냐면 그 조각을 넣으면 파급력이 생기고, 다른 부분이 있다는 사실이 있으니까요. 그러한 시스템에서 다양한 의제를 가진 플레이어는 자신의 필요에 따라 시스템을 전복시킵니다. 다른 방법들. 효율성에 대해 이야기할 때 이러한 모든 사항을 고려해야 합니다. 예, 추상적으로는 모든 것이 잘 작동할 것이라고 말할 수 있지만 ~이다 초록 없음. 당신이 일하고 있는 맥락만이 있을 뿐입니다.”