文字通りの少数派レポート: 予測警察のアルゴリズムの偏り

予測型警察バイアスが進行中
ジュヌヴィエーブ・ポブラノ/デジタル トレンド

予測ポリシング 警察の取り締まり方法を変革し、私たちをスマートな法の世界に導くはずだった 偏見が取り除かれ、警察はデータではなくデータに対応できるようになる執行。 勘。 しかし、私たちのほとんどが「予測ポリシング」という言葉を初めて聞いてから 10 年が経ち、それが機能していないことは明らかのようです。 世間の反発を受けて、このテクノロジーの利用はわずか数年前と比べて大幅に減少しています。

コンテンツ

  • 予測ポリシングの約束
  • 判別アルゴリズム
  • ダーティデータの危険性
  • 予測ポリシングの不確実な将来
  • 仕事に適したツールが間違っていませんか?

LAタイムズによれば、ロサンゼルス市は今年4月、「データによる犯罪予測の先駆者」であり、そのコストを理由に予測警察プログラムへの予算を削減した。 ミシェル・ムーア警察署長「それは難しい決断だ」 LAタイムズに語った. 「これは私たちが採用した戦略ですが、その権利を獲得するには数十万ドルの費用がかかると予想されています」 今、そのお金を見つけて、そのお金を他のより中心的な活動に振り向けることが私がしなければならないことです。」

おすすめ動画

何が悪かったのか? 「スマート」テクノロジーとして宣伝されているものが、どうして偏見や差別をさらに根強いものにするのでしょうか? そして、予測警察の夢は、適切なアルゴリズムで微調整できるものなのか、それとも、現在警察がどのように運営されるべきかに取り組んでいるより公正な社会においては行き止まりなのか?

予測ポリシングの約束

現在の形の予測警察活動は、心理学者のコリーン・マッキューとロサンゼルス警察署長チャーリー・ベックによる2009年の論文「予測ポリシング: 不況下での犯罪との戦いについてウォルマートとアマゾンから何を学べるか?この論文の中で、彼らは、将来の行動を予測するために使用できる過去の顧客行動のパターンを明らかにするために、大手小売業者がビッグデータを使用している方法を取り上げました。 コンピューティングとデータ収集の両方の進歩のおかげで、マッキューとベックは、犯罪データをリアルタイムで収集して分析することが可能であると示唆しました。 このデータは、まだ発生していない犯罪を予測、防止し、より効果的に対応するために使用できます。

それ以来数年で、予測警察活動は、米国の多くの地域および世界の他の地域で、使い捨てのアイデアから現実のものへと移行しました。 その過程で、政府は警察活動を事後対応力から積極的なものに変えることに着手した。 データ駆動型テクノロジーの画期的な技術を利用して、リアルタイムでパターンを特定し、それに基づいて行動することが可能になります。

予測ポリシング マップ
ワシントンポスト/ゲッティ

「予測ポリシングには主に 2 つの形式があります。」 アンドリュー・ファーガソン、コロンビア特別区大学法学部教授、デビッド A. クラーク法科大学院の教授であり、次の著書があります。 ビッグデータ警察の台頭: 監視、人種、法執行の将来とデジタルトレンドに語った。 「[これらは] 場所ベースの予測ポリシングと人ベースの予測ポリシングです。」

どちらの場合も、予測警察システムは問題の人物または場所にリスク スコアを割り当て、警察が一定の間隔で追跡するよう促します。 これらのアプローチの 1 つ目である場所ベースの予測ポリシングは、主に警察のパトロールに焦点を当てています。 これには、犯罪マッピングの使用と、以前の統計に基づいた将来の犯罪の可能性が高い場所に関する分析が含まれます。

予測的取り締まりは、人種差別やその他の体系的な偏見のような問題を取り除くのに役立つのではなく、実際にはそれらを定着させるのに役立つ可能性があります。

2 番目のアプローチは、個人が将来潜在的なリスクを引き起こす可能性を予測することに焦点を当てています。 たとえば、2013 年、シカゴ警察の司令官が 22 歳のロバート マクダニエルの家に派遣されました。 シカゴ市中心部で銃による暴力の潜在的な危険性または加害者として警告を受けていた人 アルゴリズム。 アルゴリズムが組み立てるのに役立った「ヒート リスト」は、将来の犯罪者を予測できる可能性のあるパターンを探しました。 あるいは被害者自身が、法に準拠する以上にこの精査を正当化するようなことを何もしていなかったとしても、 プロフィール。

として シカゴ・トリビューン紙が指摘: 「この戦略では、犯罪行為がさらに進むことについて、ヒートリストに載っている人々に個別に警告するよう求めています。 たとえ最も軽微な犯罪であっても、法律の完全な強制力が取り除かれることになります。 彼ら。"

予測的取り締まりの夢は、定量化可能なデータに基づいて行動することで、取り締まりをより効率的にするだけでなく、推測やその結果として偏見が生じにくくなるということでした。 支持者らは、これにより警察活動がより良い方向に変化し、スマート警察の新時代の到来をもたらすだろうと主張した。 しかし、予測ポリシングにはほぼ最初から根強い批判がありました。 彼らは、予測取り締まりは人種差別やその他の体系的な偏見のような問題を取り除くのに役立つのではなく、実際にはそれらを固定化するのに役立つ可能性があると主張しています。 そして、彼らに意味がないことを主張するのは難しいです。

判別アルゴリズム

機械学習ベースの予測警察システムが人種などの要因に基づいて差別を学習できるという考えは、何も新しいものではありません。 機械学習ツールは、大量のデータを使用してトレーニングされます。 そして、そのデータが人種が圧倒的な要素であり続けるシステムによって収集される限り、それは差別につながる可能性があります。

パトロール中の警察官
ワシントンポスト/ゲッティ

レナータ M 役 オドネルは2019年の論文で「平等保護条項に基づく人種差別的予測取り締まりアルゴリズムへの挑戦」、機械学習アルゴリズムは、「アメリカ黒人は一定の割合で州刑務所に収監されている」という司法制度から得られたデータから学習しています。 これは白人の投獄の5.1倍であり、現在の傾向であれば、今日生まれた黒人男性の3人に1人が生涯に刑務所に行くことが予想される。 続く。"

「データは客観的ではありません」とファーガソン氏はデジタルトレンドに語った。 「それは私たちをバイナリコードに還元しただけです。 現実世界で動作するデータ駆動型システムは、現実世界と同様に客観的、公平、または不偏ではありません。 現実世界が構造的に不平等である場合、または人種差別がある場合、データ駆動型システムはそれらの社会的不平等を反映します。 入力される入力はバイアスによって汚染されています。 分析には偏見が含まれています。 そして、警察権力の仕組みは、システムを誘導するテクノロジーがあるからといって変わるものではありません。」

ファーガソン氏は、リスクを予測する際の一見客観的な要素の 1 つとして逮捕の例を挙げています。 ただし、逮捕件数は、警察資源の配分(パトロールする場所など)や、通常逮捕が必要となる犯罪の種類によって左右されます。 これは、問題がある可能性のあるデータの一例にすぎません。

ダーティデータの危険性

欠落しているデータや不正確なデータは、データ マイニングでは「ダーティ データ」と呼ばれることがあります。 あ A.I. の研究者による 2019 年の論文 ニューヨーク大学のナウ研究所 この用語を拡張して、腐敗、偏向、違法の影響を受けたデータを指すこともあります。 慣行 - それが個人や個人によって歪められ、意図的に操作されたものであるかどうか 社会的な偏見。 たとえば、証拠を植え付けられたり、無実の罪で告発されたりした無実の人の逮捕から生成されたデータが含まれる可能性があります。

過去数十年にわたってデータ社会の要求が高まってきたという事実には、ある種の皮肉があります。 すべては定量化と鋳鉄の数値目標に関するものであり、それはまさに多くのことをもたらしました…まあ、本当に 悪いデータ。 HBOシリーズ ワイヤー 「統計を冗談にする」という現実世界の現象を紹介し、番組が放送されてから何年も経って、多くのことが提供されてきました。 実際の組織的なデータ操作、偽造された警察報告書、無実の人々を送り込んだ憲法違反の行為の例 刑務所。

クリスチャンサイエンスモニター/ゲッティ

権力者が人為的に標的を攻撃できるようにする悪いデータは別のことです。 しかし、これを世界をモデル化するための基礎として使用するアルゴリズムや予測モデルと組み合わせると、さらに悪いことが起こる可能性があります。

研究者らは、予測警察アルゴリズムに組み込まれた疑わしい犯罪データが、どのようにして「」と呼ばれるものを生み出す可能性があるかを実証しました。暴走したフィードバックループ」では、実際の犯罪率に関係なく、警察が繰り返し同じ地域に派遣されます。 その論文の共著者の一人は、 コンピューター科学者スレシュ・ヴェンカタスブラマニアンは、機械学習モデルはそのモデリングを通じて誤った仮定を組み込む可能性があると述べています。 ハンマーを持つ人にとって、すべての問題は釘に見えるという古いことわざのように、これらのシステムは問題に対する特定の要素のみをモデル化し、考えられる結果は 1 つだけを想定します。

「これらのモデルで取り上げられていないのは、より多くの警官を地域に投入すると実際にどのような影響が出るのかという事実をどの程度モデル化しているのかということです」 そこに住む人々の生活の質が低下するのではないか?」 ユタ大学コンピューティング学部教授のヴェンカタスブラマニアン氏はDigitalに語った。 トレンド。 「私たちは警官が増える方が良いことだと考えています。 しかし、私たちが今見ているように、警察の数が増えることは必ずしも良いことではありません。 それは実際に事態を悪化させる可能性があります。 私がこれまでに見たどのモデルでも、地域にもっと多くの警察を投入するのにどれくらいの費用がかかるか尋ねた人は一人もいませんでした。」

予測ポリシングの不確実な将来

予測ポリシングに携わる人々は、自分たちが行っている予測の種類を指すために、皮肉にも「マイノリティ リポート」という用語を使用することがあります。 この用語は、以下への言及として頻繁に引用されます。 2002年の同名の映画、この作品は、フィリップ K の 1956 年の短編小説に大まかに基づいています。 ディック。 で マイノリティ・リポート, 特別な事前犯罪警察部門は、将来行われるであろう犯罪の予知に基づいて犯罪者を逮捕します。 これらの予測は、「プリコグ」と呼ばれる 3 人の霊能者によって提供されます。

しかし、ねじれは マイノリティ・リポート それは、予測が常に正確であるとは限らないということです。 プリコグの 1 人による反対のビジョンは、別の未来の視点を提供しますが、システムが信頼できないものであると思われることを恐れてその視点は抑制されます。

内部監査は戦術が機能しなかったことを示しました。 予測リストには欠陥があっただけでなく、効果もありませんでした。

現在、予測警察は不確実な将来に直面しています。 顔認識などの新しいテクノロジーと並んで、法執行機関が利用できるテクノロジーはかつてないほど強力になっています。 同時に、予測的取り締まりの使用に対する意識が世間の反発を引き起こし、それが実際にはそれを鎮圧するのに役立ったのかもしれない。 ファーガソン氏はデジタル・トレンドに対し、予測型警察ツールの使用はここ数年「下降傾向」にあると語った。

「最盛期には、[場所ベースの予測警察活動] は 60 以上の主要都市で行われ、さらに拡大していましたが、その結果、 コミュニティ組織化が成功したにもかかわらず、それは大幅に削減され、または他の形式のデータ駆動型に置き換えられました。 分析だ」と彼は言った。 「要するに、予測警察という用語は有害なものになり、警察署はデータを使って行っていることの名前を変更することを学びました。 人物ベースの予測ポリシングはより急激に減少しました。 その創設に投資した2つの主要都市、シカゴとロサンゼルスは、個人ベースの都市を撤回した コミュニティからの鋭い批判と、その戦術が効果的でなかったことを示す壊滅的な内部監査後の戦略 仕事。 予測リストには欠陥があっただけでなく、効果もありませんでした。」

仕事に適したツールが間違っていませんか?

しかし、 ラシダ・リチャードソン、A.I.の政策研究ディレクター。 Now Instituteは、この技術の使用については不透明すぎると述べた。 「政府による技術買収や多くのことに関する透明性が欠如しているため、まだわかりません。 既存の調達手続きには抜け穴があり、特定の技術購入が国民の監視から守られる可能性がある。」 彼女は言いました。 彼女は、警察に無料で提供されたり、第三者が購入したりする可能性のあるテクノロジーの例を挙げています。 「私たちのような調査やメディアの報道から、米国最大規模の警察署の多くが ある時点でテクノロジーは普及しましたが、多くの小規模な警察署でもこのテクノロジーを使用している、または期間限定で使用しています。 時間のこと。」

警察の役割に関する現在の疑問を考慮すると、警察を再び受け入れたいという誘惑はあるだろうか データ主導の意思決定ツールとしての予測警察 - おそらくディストピア的でない SF の下で ブランド化? このような復活が起こる可能性はあります。 しかし、ヴェンカタスブラマニアン氏は、現在行われている機械学習がこの仕事に適切なツールであるかどうかについては非常に懐疑的である。

「機械学習全体と現代社会におけるその成功は、実際の学習内容が何であれ、次のような前提に基づいています。 問題は、最終的にはデータを収集し、モデルを構築し、結果を予測することです。ドメインについて心配する必要はありません。」 彼は言った。 「同じコードを記述して、100 の異なる場所に適用できます。 それが抽象化と移植性の約束です。 問題は、人間とテクノロジーが複雑な波のように絡み合ういわゆる社会技術システムを使用する場合、これができないことです。 何かを接続するだけで機能することを期待することはできません。 なぜなら、その作品を入れることと、異なるものがあるという事実による波及効果があるからです。 このようなシステムではさまざまな目的を持ったプレーヤーが存在し、彼らは自分たちのニーズに合わせてシステムを破壊します。 違う方法。 効果について語るときは、これらすべてを考慮に入れる必要があります。 はい、抽象的にはすべてうまくいくと言えますが、 要約はありません。 存在するのはあなたが取り組んでいるコンテキストだけです。」