Хората не могат да спрат онлайн езика на омразата сами. Имаме нужда от ботове за помощ

Интернет има проблем с речта на омразата.

Отидете в която и да е секция за коментари в YouTube или претърсете социалните медии дори за кратко време и няма да откриете недостиг на обидни, често предубедени коментари. Но как да разрешите този проблем? И по този начин как да избегнете случайното влошаване?

Този месец двама търсещи реч на омразата A.I. бяха обявени алгоритми: Единият е създаден в Обединеното кралство, другият в САЩ. И двата могат да бъдат използвани един ден за претърсване на социални медии или други области на онлайн света и подчертаване на речта на омразата или обидната реч, така че да може да бъде докладвана, изтрита или блокирана.

Първият, разработен от изследователи от университета в Ексетър на Обединеното кралство, е a инструмент на име Лола който използва „най-новите постижения в обработката на естествения език и поведенческата теория“, за да сканира хиляди съобщения на минута, за да разкрие насаждащо омраза съдържание. „Нивото на точност е изключително в сравнение със съществуващите решения на пазара,“

Д-р Дейвид Лопес, един от създателите на Лола, каза пред Digital Trends.

Второто, дело на изследователи от Университета на Южна Калифорния, твърди, че е способен на нещо подобно. „Алгоритъмът, който разработихме, е текстов класификатор, който взема публикации в социалните медии – или потенциално друг текст – и предвижда дали текстът съдържа реч на омразата или не,“ Брендън Кенеди, доктор по компютърни науки. студент, работил по проекта, каза Digital Trends.

Това е работа за автоматизация. Един вид

За да разберем защо е необходимо да се обърнем към автоматизирани решения за решаване на този най-човешки проблем, е изключително важно да разберем самия мащаб на социалните медии. Всяка секунда от деня се изпращат средно 6000 туита. Това се равнява на 350 000 туита в минута, 500 милиона туита на ден или 200 милиарда туита годишно. На Facebook, приблизително 35 милиона души актуализират статусите си ежедневно.

Дори за добре оборудвани технологични гиганти, тези числа правят невъзможно човешките модератори да извършват необходимото модериране сами. Такива решения трябва да се вземат много бързо, не само за да сте в крак с новото съдържание, генерирано всеки момент, но и за да не се виждат определени съобщения от голям брой потребители. Добре разработените алгоритми са единственият практически начин за решаване на този проблем.

С помощта на машинно обучение е възможно - поне на теория - да се разработят инструменти, които могат да бъдат обучени да търсят реч на омразата или обидна реч, така че да могат да бъдат изтрити или докладвани. Но това не е лесно. Речта на омразата е широк и оспорван термин. Опитите да се дефинира законно или дори неофициално сред хората се оказват трудни. Някои примери за реч на омразата може да са толкова ясни, че никой не може да ги оспори. Но други случаи може да са по-фини; типът действия, които е по-вероятно да бъдат класифицирани като „микроагресии“. Както съдията от Върховния съд на Съединените щати Потър Стюарт каза известното за непристойността: „Разбирам го, когато го видя.“

„Има много видове реч на омразата [и] обиден език“, каза Кенеди пред Digital Trends. „Някои речи на омразата са лесни за сигнализиране – например обиди. Но по-голямата част от речта на омразата е реторично сложна, демонизираща и дехуманизираща чрез метафора, културно специфични стереотипи и „кучешки свирки“.“

Влошаване на проблема, не подобряване

Предишен A.I. инструментите се оказаха неефективни, защото са твърде груб инструмент за разкриване на по-сложни примери на предразсъдъци онлайн. Лошо проектираните алгоритми за откриване на речта на омразата, далеч от спирането на речта на омразата онлайн, имат всъщност е показано, че засилва неща като расови пристрастия чрез блокиране на необидни туитове, изпратени от малцинство групи. Това може да е нещо толкова просто като факта, че класификаторите на речта на омразата са свръхчувствителни към термини като „Чернокож“, „гей“ или „транссексуален“, което е по-вероятно да бъде свързано с насаждащо омраза съдържание в някои настройки.

Точно като прословутия Tay chatbot на Microsoft, който научи расистко поведение след взаимодействие с потребители, класификаторите, които са обучени на оригинални текстови данни от социални медии, могат да се окажат силно разчитащи на конкретни думи, като същевременно игнорират или не са наясно със заобикалящия ги контекст.

с

Способността за по-добър анализ на онлайн съобщения в контекст е това, което двата нови A.I. обещават системи за откриване. Системата Lola на Обединеното кралство твърди, че може да анализира 25 000 съобщения в минута, за да открие вредно поведение - включително кибертормоз, омраза и ислямофобия - с до 98% точност. Част от това е да се разглеждат не само ключови думи, но и използване на „машина за откриване на емоции“, за да се определи какви емоции са предизвикани в текста – независимо дали това е любов, гняв, страх, доверие или други.

Междувременно Университетът на Южна Калифорния A.I. системата за откриване обещава да разглежда контекста, както и съдържанието.

„Нашата отправна точка в това изследване е стандартен метод, който кодира последователности от текстови токени в числови вектори, които [след това] се използват за вероятностно извеждане на етикета на класа на „омраза“ или „без омраза“, Брандън казах. „Използвайки алгоритъм за „пост-хок обяснение“, разработен от членовете на нашия екип, програмирахме речта на омразата класификатори, за да придадат по-малко значение на груповите идентификатори и по-голямо значение на контекста около групата идентификатори.”

Системата беше тествана чрез анализиране на статии от уебсайта Stormfront, подкрепящ превъзходството на бялата раса, и по-неутралните репортажи на New York Times. Неговите създатели твърдят, че е бил в състояние да сортира омраза от съдържание без омраза с ниво на точност от 90%.

Война на два фронта

Но не само независими изследователи разработват инструменти за откриване на речта на омразата. Социалните мрежи също работят за решаването на този проблем.

„Сега премахваме 10 милиона парчета Речта на омразата една четвърт“, каза Амит Бхаттачария, директор продуктов мениджмънт в групата за почтеност на общността на Facebook, пред Digital Trends. „От това около 90% са открити, преди потребителите да ни докладват. Инвестирахме повече в – и станахме по-добри в – проактивното откриване на потенциално нарушаващо съдържание, включително реч на омразата.“

Техниките за откриване на Facebook, обясни Бхаттачария, се фокусират върху неща като съвпадение на текст и изображение, в което търси изображения и идентични поредици от текст, които вече са премахнати като реч на омразата другаде в платформа. Той също така използва класификатори за машинно обучение, които анализират език и други типове съдържание. Facebook също има допълнителни точки за данни, тъй като може да прегледа реакциите и коментарите към публикация, за да види как съвпадат точно с общи фрази, модели и атаки, наблюдавани преди в съдържание, което нарушава речта на омразата политики.

Twitter също използва инструменти за машинно обучение, за да разбие насаждащо омраза съдържание. Част от това е базирано на ключови думи, но Twitter допълнително анализира поведението на потребителите, за да се опита да определи колко удобни са потребителите при взаимодействие. Например, потребител, който туитва на друг потребител и получава отговор и след това следва, ще бъде разглеждан по различен начин от този, който туитва директно на друг човек многократно, но е игнориран или блокиран. Тази поведенческа динамика може да помогне за разкриване на модели на тормоз или нежелано целенасочено поведение, което Twitter може да използва, за да разбере по-добре съдържанието на това, което се случва на неговата платформа.

Въпреки това, говорител на Twitter каза пред Digital Trends, че съобщенията, маркирани като обидни, се преглеждат ръчно от хора (в машинно приоритизиран ред), така че да се определи дали са идентифицирани правилно като такива.

Постоянно предизвикателство

Bhattacharyya от Facebook каза, че социалната мрежа е постигнала „голям напредък“ през годините в ограничаването на речта на омразата в своите платформи и че екипът й се гордее с това, което е постигнала. В същото време Бхаттачария каза: „Нашата работа никога не е завършена и знаем, че може никога да не успеем да предотвратим появата на всяка част от насаждащо омраза съдържание на нашите платформи.“

Потискащата реалност е, че речта на омразата онлайн вероятно никога няма да бъде разрешена като проблем. Поне не без хората да направят промяна. Интернет може, в свой ущърб, да усили определени човешки гласове и да вгради и кодифицира определени човешки предразсъдъци, но това е така, защото това е просто човечеството, написано широко. Каквито и проблеми да съществуват в реалния свят, до известна степен ще си проправят път в онлайн света.

Въпреки това, преследването на злоупотребяващото поведение онлайн не трябва да бъде реактивно. Може да бъде и проактивно. Например, говорителят на Twitter, който разговаря с Digital Trends, посочи, че от потребителите, чиито акаунти са забранени за 12 часа поради нарушаване на правилата, мнозинството обиждат отново. Това предполага, че могат да се появят обучителни моменти. Независимо дали наистина подканват потребителите да преразгледат поведението си или просто ги спират да се държат по начин, който нарушава правилата, това все пак намалява неприятното поведение, нарушаващо правилата, в платформата.

Говорителят също каза, че Twitter сега проучва система, базирана на „подбутване“. Това ще предложи подкани, преди потребителите да туитнат, предупреждавайки ги, че това, което ще публикуват, може да противоречи на правилата на Twitter. Това може да се дължи на конкретна ключова дума. Когато споделяте статия, която не сте отваряли чрез Twitter, тя също може да предложи предупреждение. Тази система за подтикване беше тествана наскоро с малък брой потребители. Въпреки че пробният период вече е приключил, има възможност той да бъде въведен като функция за всички потребители в бъдеще.

Бъдещето на дискурса в интернет

Въпросът за речта на омразата и друга обидна реч в социалните медии ще става все по-належащ. Във Франция, например, a законът беше приет през май който изисква определено престъпно съдържание да бъде премахнато от социалните медии в рамките на един час. Ако не е, въпросните компании за социални медии ще бъдат изправени пред глоба до 4% от глобалните си приходи. Друго „явно незаконно“ съдържание трябва да бъде премахнато в рамките на 24 часа. Министърът на правосъдието Никол Белубе каза пред френския парламент, че законът ще помогне за намаляване на езика на омразата онлайн.

Доколкото ни е известно, такъв закон не е бил предлаган сериозно в Съединените щати. Но тъй като социалните медии стават все по-голяма и по-влиятелна част от начина, по който общуваме, борбата с токсичното поведение ще става все по-важна. Това не е проблем, който може да бъде адресиран само от човешки модератори. Но също така е и такъв, който, когато се предприема с помощта на ИИ, трябва да се направи внимателно - не само за да се гарантира, че подобрява проблема, но и за да се гарантира, че няма да го влоши.

Бъдещето на дискурса в интернет зависи от това.

Препоръки на редакторите

• Как A.I. създаде онзи невероятен спортен филм, който не можете да спрете да гледате