בני אדם לא יכולים להפסיק את דברי השנאה המקוונים לבד. אנחנו צריכים בוטים שיעזרו

באינטרנט יש בעיה של דברי שטנה.

עבור לכל מדור תגובות ביוטיוב או סקור מדיה חברתית אפילו לפרק זמן קצר ולא תמצא מחסור בתגובות פוגעניות, עם דעות קדומות לעתים קרובות. אבל איך פותרים את הבעיה הזו? ובכך, איך נמנעים מהחמרה בטעות?

החודש, שני רודפי דברי שטנה A.I. הוכרזו אלגוריתמים: אחד נוצר בבריטניה, השני בארה"ב. אפשר יהיה להשתמש בשניהם יום אחד לסרוק את המדיה החברתית או אזורים אחרים בעולם המקוון, ולהדגיש דברי שטנה או דיבור פוגעני כדי שניתן יהיה לדווח עליהם, למחוק אותם או לחסום אותם.

הראשון, שפותח על ידי חוקרים מאוניברסיטת אקסטר בבריטניה, הוא א כלי בשם לולה שרותמת את "ההתקדמות האחרונה בעיבוד השפה הטבעית ובתיאוריית ההתנהגות" כדי לסרוק אלפי הודעות בדקה כדי לחשוף תוכן שנאה. "רמת הדיוק יוצאת מן הכלל בהשוואה לפתרונות הקיימים בשוק", ד"ר דיוויד לופז, אחד היוצרים של לולה, סיפר ל-Digital Trends.

השני, העבודה של חוקרים מאוניברסיטת דרום קליפורניה, טוען שהוא מסוגל למשהו דומה. "האלגוריתם שפיתחנו הוא מסווג טקסט, שלוקח פוסטים במדיה החברתית - או טקסט פוטנציאלי אחר - ומנבא אם הטקסט מכיל דברי שטנה או לא."

ברנדן קנדי, דוקטורט במדעי המחשב. סטודנט שעבד על הפרויקט, סיפר ל-Digital Trends.

זו עבודה לאוטומציה. סוג של

כדי להבין מדוע יש צורך לפנות לפתרונות אוטומטיים כדי לפתור את הבעיות האנושיות ביותר הללו, חיוני להבין את היקף המדיה החברתית. בכל שנייה ביום נשלחים בממוצע 6,000 ציוצים. זה שווה ל-350,000 ציוצים בדקה, 500 מיליון ציוצים ביום או 200 מיליארד ציוצים בשנה. עַל פייסבוק, כ-35 מיליון אנשים מעדכנים את הסטטוסים שלהם על בסיס יומי.

אפילו עבור ענקיות טכנולוגיה מאוישות היטב, המספרים הללו הופכים את זה לבלתי אפשרי עבור מנחים אנושיים לבצע את המיתון הנדרש בעצמם. החלטות כאלה חייבות להיעשות מהר מאוד, לא רק כדי להתעדכן בתוכן החדש שנוצר בכל רגע, אלא גם כדי שהודעות מסוימות לא יראו מספר גדול של משתמשים. אלגוריתמים מעוצבים היטב הם הדרך המעשית היחידה לפתור בעיה זו.

באמצעות למידת מכונה, ניתן - לפחות בתיאוריה - לפתח כלים שניתן לאמן לחפש דברי שטנה או דיבור פוגעני כך שניתן למחוק אותם או לדווח עליהם. אבל זה לא קל. דברי שטנה הם מונח רחב ושנוי במחלוקת. ניסיונות להגדיר זאת באופן חוקי או אפילו לא פורמלי בקרב בני אדם מתגלים כקשים. כמה דוגמאות של דברי שטנה עשויות להיות כל כך ברורות שאף אחד לא יכול לערער עליהן. אבל מקרים אחרים עשויים להיות עדינים יותר; סוג הפעולות שסביר יותר שיסווגו כ"מיקרו-אגרסיות". כפי שאמר שופט בית המשפט העליון של ארצות הברית פוטר סטיוארט על גסויות: "אני יודע את זה כשאני רואה את זה".

"ישנם סוגים רבים של דברי שטנה [ושפה פוגענית", אמר קנדי ​​ל-Digital Trends. "קל לסמן כמה דברי שטנה - למשל השמצות. אבל רוב דברי השטנה מורכבים מבחינה רטורית, עושים דמוניזציה ודה-הומניזציה באמצעות מטאפורה, סטריאוטיפים ספציפיים תרבותית ו'שריקות כלבים'".

מחמיר את הבעיה, לא טוב יותר

ציד דברי שנאה קודמים A.I. הכלים הוכחו כלא יעילים מכיוון שהם מכשיר בוטה מכדי לחשוף דוגמאות מורכבות יותר של דעות קדומות באינטרנט. אלגוריתמים לזיהוי דברי שטנה המעוצבים בצורה גרועה, רחוקים מלהפסיק את דברי השנאה באינטרנט, למעשה הוכח כמגביר דברים כמו הטיה גזעית על ידי חסימת ציוצים לא פוגעניים שנשלחו על ידי מיעוט קבוצות. זה יכול להיות משהו פשוט כמו העובדה שמסווגים דברי שטנה רגישים יתר על המידה למונחים כמו "שחור", "הומו" או "טרנסג'נדר" שעשויים להיות קשורים יותר לתוכן שנאה בחלק הגדרות.

בדיוק כמו צ'אטבוט Tay הידוע לשמצה של מיקרוסופט, שלמד התנהגות גזענית לאחר אינטראקציה עם משתמשים, מסווגים שמאומנים על נתוני טקסט מקוריים של מדיה חברתית יכולים להישען בכבדות על מילים ספציפיות תוך התעלמות או חוסר מודעות להקשר שלהם.

ס

היכולת לנתח טוב יותר הודעות מקוונות בהקשר היא מה ששני ה-A.I החדשים. מערכות זיהוי מבטיחות. מערכת לולה של בריטניה טוענת שהיא מסוגלת לנתח 25,000 הודעות בדקה כדי לזהות התנהגויות מזיקות - כולל בריונות ברשת, שנאה ואיסלאמופוביה - עם דיוק של עד 98%. חלק מזה הוא הסתכלות לא רק על מילות מפתח, אלא באמצעות "מנוע זיהוי רגשות" כדי להבין אילו רגשות מתעוררים בטקסט - בין אם זה אהבה, כעס, פחד, אמון או אחרים.

בינתיים, אוניברסיטת דרום קליפורניה A.I. מערכת הזיהוי מבטיחה להסתכל על ההקשר כמו גם על התוכן.

"נקודת המוצא שלנו במחקר זה היא שיטה סטנדרטית, המקודדת רצפים של אסימוני טקסט למספרים וקטורים, המשמשים [לאחר מכן] לפלט הסתברותי של תווית המחלקה של 'שנאה' או 'אין שנאה'", ברנדון אמר. "באמצעות אלגוריתם 'הסבר פוסט-הוק' שחברי הצוות שלנו פיתחו, תכנתנו דברי שטנה מסווגים לתת פחות חשיבות למזהי קבוצה, ויותר חשיבות להקשר הסובב את הקבוצה מזהים."

המערכת נבחנה על ידי ניתוח מאמרים מאתר העליונות הלבנים Stormfront והדיווח הניטרלי יותר של הניו יורק טיימס. יוצריו טוענים שהוא היה מסוגל למיין שנאה מתוכן שאינו שנאה ברמת דיוק של 90%.

מלחמה בשתי חזיתות

עם זאת, לא רק חוקרים עצמאיים מפתחים כלים לזיהוי דברי שטנה. גם הרשתות החברתיות פועלות לפתור את הבעיה הזו.

"עכשיו אנחנו מסירים 10 מיליון חתיכות של דברי שנאה רבע", אמר עמית בהטצ'ריה, מנהל ניהול מוצר בקבוצת היושרה הקהילתית של פייסבוק, ל-Digital Trends. "מתוכם, כ-90% זוהו לפני שהמשתמשים דיווחו לנו על כך. השקענו יותר - והשתפרנו - באיתור יזום של תוכן שעלול להפר, כולל דברי שטנה".

טכניקות הזיהוי של פייסבוק, הסביר בהטצ'ריה, מתמקדות בדברים כמו התאמת טקסט ותמונה, שבהן מחפש תמונות ומחרוזות טקסט זהות שכבר הוסרו כדברי שטנה במקום אחר ב- פּלַטפוֹרמָה. הוא גם משתמש במסווגים של למידת מכונה המנתחים שפה וסוגי תוכן אחרים. לפייסבוק יש גם נקודות נתונים נוספות, מכיוון שהיא יכולה להסתכל על התגובות והתגובות לפוסט כדי לראות איך אלה תואמים היטב ביטויים, דפוסים והתקפות נפוצות שנראו בעבר בתוכן שמפר את דברי השנאה שלו מדיניות.

טוויטר משתמשת גם בכלי למידת מכונה כדי לפצח תוכן שנאה. חלק מזה מבוסס על מילות מפתח, אבל טוויטר מנתח בנוסף את התנהגות המשתמשים כדי לנסות ולקבוע עד כמה המשתמשים נוחים באינטראקציות. לדוגמה, משתמש שמצייץ למשתמש אחר ומשיב לו ואז עוקב אחריו, יראה אחרת מזה שמצייץ ישירות לאדם אחר שוב ושוב, אך הוא מתעלם או נחסם. הדינמיקה ההתנהגותית הזו יכולה לעזור לחשוף דפוסים של הטרדה או התנהגות ממוקדת לא רצויה שבה טוויטר תוכל להשתמש כדי להבין טוב יותר את התוכן של המתרחש בפלטפורמה שלה.

עם זאת, דובר טוויטר אמר ל-Digital Trends שהודעות המסומנות כפוגעניות נבדקות באופן ידני על ידי בני אדם (בסדר עדיפות מכונה) כדי לקבוע שהם זוהו כהלכה כגון.

אתגר מתמשך

Bhattacharyya של פייסבוק אמר כי הרשת החברתית התקדמה "התקדמות גדולה" במהלך השנים בבלימת דברי שטנה בפלטפורמות שלה וכי הצוות שלה גאה במה שהיא השיגה. במקביל, Bhattacharyya אמר, "העבודה שלנו לעולם לא הושלמה ואנחנו יודעים שלעולם לא נוכל למנוע מכל פיסת תוכן שנאה להופיע בפלטפורמות שלנו".

המציאות המדכאת היא שדברי שטנה ברשת כנראה לעולם לא ייפתרו כבעיה. לפחות, לא בלי שאנשים יעשו שינוי. האינטרנט עשוי, לרעתו, להגביר קולות אנושיים מסוימים, ולהטמיע ולקבוע דעות קדומות אנושיות מסוימות, אבל זה בגלל שזה פשוט האנושות שנכתבה בגדול. כל הבעיות הקיימות בעולם האמיתי יעשו את דרכן, במידה מסוימת, לעולם המקוון.

עם זאת, פיצוח על התנהגות פוגענית באינטרנט לא חייב להיות תגובתי. זה יכול להיות גם פרואקטיבי. לדוגמה, דובר טוויטר ששוחח עם Digital Trends ציין כי מבין המשתמשים שיש להם חשבונות חסומים למשך 12 שעות עקב הפרות של כללים, הרוב אכן פוגעים שוב. זה מצביע על כך שרגעים ניתנים ללמד יכולים להתרחש. בין אם הם באמת מניעים את המשתמשים לבחון מחדש את התנהגותם או פשוט מפסיקים מהם להתנהג באופן שובר את הכללים, זה בכל זאת מפחית התנהגות שוברת כללים מטרידה בפלטפורמה.

הדובר גם אמר כי טוויטר בוחנת כעת מערכת מבוססת "דחיפה". זה יציע הנחיות לפני שמשתמשים מצייצים, ויתריע על כך שמה שהם עומדים לפרסם עלול להיתקל בחוקים של טוויטר. ייתכן שהסיבה לכך היא מילת מפתח מסוימת. כאשר משתפים מאמר שלא פתחת דרך טוויטר, הוא עשוי להציע גם אזהרה. מערכת דחיפה זו נוסתה לאחרונה עם מספר קטן של משתמשים. בעוד שהניסוי הסתיים כעת, קיימת אפשרות שהיא תושק כתכונה לכל המשתמשים בעתיד.

עתיד השיח באינטרנט

שאלת דברי שטנה ודברים פוגעניים אחרים ברשתות החברתיות רק תהפוך לדוחקת יותר. בצרפת, למשל, א החוק התקבל במאי שקורא להסיר תוכן פלילי מסוים מהמדיה החברתית תוך שעה. אם לא, חברות המדיה החברתיות המדוברות יעמדו בפני קנס של עד 4% מההכנסות העולמיות שלהן. יש להסיר תוכן "בלתי חוקי בעליל" אחר תוך 24 שעות. שרת המשפטים ניקול בלוב אמרה לפרלמנט הצרפתי שהחוק יעזור להפחית את דברי השנאה ברשת.

לא הוצע חוק כזה, ככל הידוע לנו, ברצינות בארצות הברית. אבל ככל שהמדיה החברתית הופכת לחלק גדול יותר ומשפיע יותר מהאופן שבו אנו מתקשרים, פגיעה בהתנהגות רעילה תהיה חשובה יותר ויותר. זו לא בעיה שניתן לטפל בה אך ורק על ידי מנחים אנושיים. אבל זה גם אחד שכאשר הוא מבוצע באמצעות A.I., חייב להיעשות בזהירות - לא רק כדי להבטיח שזה משפר את הבעיה, אלא כדי להבטיח שזה לא יחמיר אותה.

עתיד השיח באינטרנט תלוי בכך.

המלצות עורכים

• איך א.י. יצר את סליל הדגש הספורט המדהים שאי אפשר להפסיק לצפות בו