דו"ח מיעוט מילולי: הטיות אלגוריתמיות של שיטור חזוי

שיטור חזוי היה אמור לשנות את אופן ביצוע השיטור, ולהכניס אותנו לעולם של משפט חכם אכיפה שבה הוסרה הטיה והמשטרה תוכל להגיב לנתונים, לא ניחושים. אבל עשור אחרי שרובנו שמענו לראשונה את המונח "שיטור חזוי" נראה ברור שזה לא עבד. מונעת על ידי תגובה ציבורית, הטכנולוגיה חווה ירידה משמעותית בשימוש בה, בהשוואה לפני כמה שנים בלבד.

באפריל השנה, לוס אנג'לס - שלפי ה-LA Times, "החלוצה בחיזוי פשע באמצעות נתונים" - קיצצה את המימון לתוכנית השיטור החזוי שלה, והאשימה את העלות. "זו החלטה קשה", מפקד המשטרה מישל מור אמר ל-LA Times. "זו אסטרטגיה שהשתמשנו בה, אבל תחזיות העלות של מאות אלפי דולרים לבזבז על הזכות הזו עכשיו לעומת מציאת הכסף הזה והפניית הכסף לפעילויות אחרות יותר מרכזיות זה מה שאני צריך לעשות."

מה השתבש? איך יכול להיות שמשהו מפורסם כטכנולוגיה "חכמה" יגרום להטיות ואפליה מושרשת נוספת? והאם החלום של שיטור חזוי הוא כזה שניתן לכוונן עם האלגוריתם הנכון - או מבוי סתום בחברה הוגנת יותר שמתלבטת כיום עם איך המשטרה צריכה לפעול?

ההבטחה של שיטור חזוי

שיטור חזוי במתכונתו הנוכחית מתוארך בערך לעשור למאמר משנת 2009 של הפסיכולוגית קולין מק'קיו ומפקד משטרת לוס אנג'לס צ'רלי בק, שכותרתו "שיטור חזוי: מה אנחנו יכולים ללמוד מוולמארט ואמזון על מאבק בפשיעה במיתון?" במאמר, הם תפסו את הדרך שבה נעשה שימוש ב-Big Data על ידי קמעונאים גדולים כדי לעזור לחשוף דפוסים בהתנהגות לקוחות בעבר שניתן להשתמש בהם כדי לחזות התנהגות עתידית. הודות להתקדמות הן בתחום המחשוב והן באיסוף הנתונים, מקו ובק הציעו שניתן לאסוף ולנתח נתוני פשע בזמן אמת. לאחר מכן ניתן יהיה להשתמש בנתונים אלו כדי לצפות, למנוע ולהגיב בצורה יעילה יותר לפשעים שטרם התרחשו.

בשנים שחלפו מאז, שיטור חזוי עבר מרעיון זרוק למציאות בחלקים רבים של ארצות הברית, יחד עם שאר העולם. תוך כדי כך היא יצאה לשנות את השיטור מכוח תגובתי לכוח פרואקטיבי; מסתמכים על כמה מפריצות הדרך בטכנולוגיה מונעת נתונים המאפשרים לזהות דפוסים בזמן אמת - ולפעול על פיהם.

"ישנן שתי צורות עיקריות של שיטור חזוי", אנדרו פרגוסון, פרופסור למשפטים באוניברסיטת מחוז קולומביה דייוויד א. בית הספר למשפטים של קלארק ומחבר של עלייתה של שיטור ביג דאטה: מעקב, גזע ועתיד אכיפת החוק, אמר ל-Digital Trends. "[אלה] שיטור חיזוי מבוסס-מקום ושיטור חיזוי מבוסס-אדם."

בשני המקרים, מערכות השיטור החזוי מקצות ציון סיכון לאדם או למקום המדובר, מה שמעודד את המשטרה לבצע מעקב במרווח נתון. הראשונה מבין הגישות הללו, שיטור חיזוי מבוסס-מקום, מתמקדת בעיקר בסיורים משטרתיים. זה כרוך בשימוש במיפוי פשיעה וניתוח לגבי המקומות הסבירים של פשעים עתידיים, בהתבסס על נתונים סטטיסטיים קודמים.

הגישה השנייה מתמקדת בניבוי הסבירות שאדם מהווה סיכון עתידי פוטנציאלי. לדוגמה, בשנת 2013, מפקד משטרת שיקגו נשלח לביתו של רוברט מקדניאל בן ה-22, שסומן כסיכון פוטנציאלי או כמבצע אלימות בנשק בעיר שיקגו על ידי אַלגוֹרִיתְם. "רשימת החום" שהאלגוריתם עזר להרכיב חיפשה דפוסים שאולי יוכלו לחזות עבריינים עתידיים או קורבנות, גם אם הם עצמם לא עשו דבר כדי להצדיק בדיקה זו מעבר להתאמה ל פּרוֹפִיל.

בתור ה שיקגו טריביון ציינה: "האסטרטגיה קוראת להזהיר את אלו ברשימת החום בנפרד כי המשך פעילות פלילית, גם בעבירות הקטנות ביותר, יגרמו להפלת מלוא תוקף החוק אוֹתָם."

החלום של שיטור חזוי היה שפועל על פי נתונים הניתנים לכימות, זה יהפוך את השיטור לא רק ליעילה יותר, אלא גם פחות נוטה לניחוש וכתוצאה מכך להטיה. זה, טענו התומכים, ישנה את השיטור לטובה, ויפתח עידן חדש של שיטור חכם. עם זאת, כמעט מההתחלה, לשיטור החזוי היו מבקרים נחרצים. הם טוענים שבמקום לעזור להיפטר מבעיות כמו גזענות והטיות מערכתיות אחרות, שיטור חזוי עשוי למעשה לעזור לבסס אותן. וקשה להתווכח שאין להם טעם.

אלגוריתמים מפלים

הרעיון שמערכות חיזוי מבוססות למידת מכונה יכולות ללמוד להבחין על סמך גורמים כמו גזע אינו דבר חדש. כלי למידת מכונה מאומנים עם שלל נתונים אדירים. וכל עוד הנתונים האלה נאספים על ידי מערכת שבה גזע ממשיך להיות גורם מכריע, זה יכול להוביל לאפליה.

בתור רנטה מ. אודונל כותב במאמר משנת 2019, שכותרתו "קריאת תיגר על אלגוריתמי שיטור חזויים גזעניים במסגרת סעיף ההגנה השווה," אלגוריתמי למידת מכונה לומדים מנתונים שמקורם במערכת משפט שבה "אמריקאים שחורים כלואים בבתי כלא במדינה בקצב זה פי 5.1 מהכלא של לבנים, ואחד מכל שלושה גברים שחורים שנולדו היום יכול לצפות ללכת לכלא בחייו אם המגמות הנוכחיות לְהַמשִׁיך."

"הנתונים אינם אובייקטיביים", אמר פרגוסון ל-Digital Trends. "זה רק אנחנו מופחתים לקוד בינארי. מערכות מונעות נתונים הפועלות בעולם האמיתי אינן אובייקטיביות, הוגנות או חסרות פניות יותר מהעולם האמיתי. אם העולם האמיתי שלך אינו שוויוני מבחינה מבנית או מפלה מבחינה גזעית, מערכת מונעת נתונים תשקף את אי השוויון החברתי הזה. התשומות הנכנסות נגועים בהטיה. הניתוח נגוע בהטיה. והמנגנונים של סמכות המשטרה לא משתנים רק בגלל שיש טכנולוגיה שמנחה את המערכות".

פרגוסון נותן את הדוגמה של מעצרים כגורם אחד לכאורה אובייקטיבי בחיזוי הסיכון. עם זאת, המעצרים יהיו מוטים על ידי הקצאת משאבי המשטרה (כגון היכן הם מפטרלים) וסוגי הפשיעה שבדרך כלל מצדיקים מעצרים. זהו רק המחשה אחת לנתונים שעלולים להיות בעייתיים.

הסכנות של נתונים מלוכלכים

נתונים חסרים ושגויים מכונה לפעמים בכריית נתונים "נתונים מלוכלכים". א מאמר משנת 2019 מאת חוקרים מה-A.I. עכשיו המכון באוניברסיטת ניו יורק מרחיב מונח זה להתייחס גם לנתונים המושפעים ממושחתים, מוטים ובלתי חוקיים פרקטיקות - בין אם זה נעשה ממניפולציה מכוונת המעוותת על ידי אינדיבידואל ו הטיות חברתיות. זה יכול, למשל, לכלול נתונים שנוצרו ממעצרו של אדם חף מפשע שנשתלו עליו ראיות או שהואשם שווא בדרך אחרת.

יש אירוניה מסוימת בעובדה שבמהלך העשורים האחרונים הדרישות של חברת הנתונים, שבה הכל עוסק בכימות ובמטרות מספריות מברזל יצוק, הוביל רק להרבה מאוד... ובכן, באמת נתונים גרועים. סדרת HBO הכבל הציג את תופעת העולם האמיתי של "לכסות את הנתונים הסטטיסטיים", והשנים שחלפו מאז ירדה התוכנית מהאוויר הציעו הרבה דוגמאות למניפולציה מערכתית של נתונים בפועל, דוחות משטרה מזויפים ופרקטיקות לא חוקתיות ששלחו אנשים חפים מפשע כלא.

נתונים גרועים שמאפשרים לאנשים בשלטון לפגוע באופן מלאכותי במטרות זה דבר אחד. אבל תשלב את זה עם אלגוריתמים ומודלים חזויים שמשתמשים בזה כבסיס שלהם למודלים של העולם ואפשר לקבל משהו הרבה יותר גרוע.

חוקרים הוכיחו כיצד נתוני פשע מפוקפקים המחוברים לאלגוריתמים של שיטור חזוי יכולים ליצור מה שמכונה "לולאות משוב בורחות," שבה שוטרים נשלחים שוב ושוב לאותן שכונות ללא קשר לשיעור הפשיעה האמיתית. אחד ממחברי המאמר ההוא, מדען המחשב Suresh Venkatasubramanian, אומר שמודלים של למידת מכונה יכולים לבנות הנחות שגויות באמצעות המודלים שלהם. כמו האמרה הישנה על איך, עבור האדם עם הפטיש, כל בעיה נראית כמו מסמר, המערכות הללו מדגימות רק אלמנטים מסוימים לבעיה - ומדמיינות רק תוצאה אפשרית אחת.

"[משהו] שלא מתייחסים אליו במודלים האלה הוא באיזו מידה אתה מדגמן את העובדה שזריקת עוד שוטרים לאזור יכולה למעשה להוריד את איכות החיים של אנשים שגרים שם?" Venkatasubramanian, פרופסור בבית הספר למחשוב באוניברסיטת יוטה, סיפר לדיגיטל טרנדים. "אנחנו מניחים שיותר שוטרים זה דבר טוב יותר. אבל כפי שאנו רואים כרגע, יש יותר משטרה זה לא בהכרח דבר טוב. זה באמת יכול להחמיר את המצב. בשום דגם שראיתי אי פעם מישהו שאל מה המחיר של הכנסת עוד שוטרים לאזור".

העתיד הלא ברור של שיטור חזוי

אלה העובדים בשיטור חזוי משתמשים לפעמים באופן לא אירוני במונח "דוח מיעוט" כדי להתייחס לסוג התחזית שהם עושים. המונח מופעל לעתים קרובות כהתייחסות ל- סרט משנת 2002 באותו שם, שבתורו היה מבוסס באופן רופף על סיפור קצר מ-1956 מאת פיליפ ק. זַיִן. ב דו"ח מיעוט, מחלקת משטרת PreCrime מיוחדת תופסת פושעים על סמך ידיעה מוקדמת של פשעים שעומדים להתבצע בעתיד. תחזיות אלו מסופקות על ידי שלושה מדיומים הנקראים "precogs".

אבל הטוויסט פנימה דו"ח מיעוט הוא שהתחזיות לא תמיד מדויקות. חזונות מתנגדים של אחד המקדימים מספקים מבט חלופי על העתיד, שמדוכא מחשש לגרום למערכת להיראות לא אמינה.

נכון לעכשיו, שיטור חזוי עומד בפני עתיד לא ברור משלה. לצד טכנולוגיות חדשות כמו זיהוי פנים, הטכנולוגיה הזמינה לרשויות אכיפת החוק לשימוש אפשרי מעולם לא הייתה חזקה יותר. במקביל, המודעות לשימוש במשטרה חזויה גרמה לתגובת נגד ציבורית שאולי דווקא סייעה לבטלה. פרגוסון אמר ל-Digital Trends כי השימוש בכלי שיטור חזוי נמצא ב"ירידה" בשנים האחרונות.

"בשיאו, [שיטור חיזוי מבוסס-מקום] היה בלמעלה מ-60 ערים גדולות וגדל, אך כתוצאה מכך ארגון קהילה מוצלח, הוא צומצם במידה רבה או הוחלף בצורות אחרות של מונעי נתונים אנליטיקה", אמר. "בקיצור, המונח שיטור חזוי הפך לרעיל, ומחלקות המשטרה למדו לשנות את השם של מה שהם עושים עם הנתונים. לשיטור חיזוי מבוסס-אדם הייתה נפילה תלולה יותר. שתי הערים העיקריות שהשקיעו ביצירתו - שיקגו ולוס אנג'לס - נסוגו מהתפיסה האישית שלהן אסטרטגיות לאחר ביקורת קהילתית נוקבת וביקורות פנימיות הרסניות שמראות שהטקטיקה לא עשתה זאת עֲבוֹדָה. לא רק שהרשימות החזויות היו פגומות, הן גם לא היו יעילות".

הכלים הלא נכונים לעבודה?

למרות זאת, רשידה ריצ'רדסון, מנהל חקר מדיניות ב-A.I. כעת אמר המכון כי יש יותר מדי אטימות לגבי השימוש בטכנולוגיה זו. "אנחנו עדיין לא יודעים בגלל חוסר השקיפות לגבי רכישת טכנולוגיה ממשלתית ועוד פרצות בהליכי רכש קיימים שעשויות להגן על רכישות טכנולוגיות מסוימות מביקורת ציבורית". היא אמרה. היא נותנת דוגמה לטכנולוגיה שעשויה להינתן למחלקת משטרה בחינם או שנרכשה על ידי צד שלישי. "אנו יודעים ממחקרים כמו שלי ודיווחים בתקשורת שרבות ממחלקות המשטרה הגדולות בארה"ב השתמשו ב- טכנולוגיה מתישהו, אבל יש גם מחלקות משטרה קטנות רבות שמשתמשות בה, או שהשתמשו בה לתקופות מוגבלות של זמן."

בהתחשב בתשאול הנוכחי על תפקיד המשטרה, האם יהיה פיתוי לאמץ מחדש שיטור חזוי ככלי לקבלת החלטות מונעות נתונים - אולי תחת מדע בדיוני פחות דיסטופי מיתוג? קיימת אפשרות שתחייה כזו יכולה להופיע. אבל Venkatasubramanian סקפטי מאוד שלמידת מכונה, כפי שנהוגה כיום, היא הכלי הנכון לתפקיד.

"מכלול למידת המכונה והצלחתה בחברה המודרנית מבוססת על ההנחה, לא משנה מה בפועל בעיה, זה מסתכם בסופו של דבר באיסוף נתונים, בניית מודל, חיזוי תוצאה - ואתה לא צריך לדאוג לגבי התחום." הוא אמר. "אתה יכול לכתוב את אותו הקוד ולהחיל אותו ב-100 מקומות שונים. זו ההבטחה להפשטה ולניידות. הבעיה היא שכאשר אנו משתמשים במה שאנשים מכנים מערכות סוציו-טכניות, שבהן יש בני אדם וטכנולוגיה מעורבים בגלים מורכבים, אינך יכול לעשות זאת. אתה לא יכול פשוט לחבר חתיכה ולצפות שהוא יעבוד. כי [יש] השפעות אדווה עם הכנסת היצירה הזו והעובדה שיש שונות שחקנים עם אג'נדות שונות במערכת כזו, והם מערערים את המערכת לצרכים שלהם דרכים שונות. כל הדברים האלה צריכים להילקח בחשבון כאשר אתה מדבר על יעילות. כן, אפשר לומר בתקציר שהכל יעבוד בסדר, אבל שם הוא אין תקציר. יש רק את ההקשר שאתה עובד בו".