Ludzie nie mogą sami powstrzymać mowy nienawiści w Internecie. Potrzebujemy botów do pomocy

Internet ma problem z mową nienawiści.

Przejdź do dowolnej sekcji komentarzy na YouTube lub przeszukaj media społecznościowe nawet przez krótki czas, a znajdziesz mnóstwo obraźliwych, często uprzedzonych komentarzy. Ale jak rozwiązać ten problem? Jak w ten sposób uniknąć przypadkowego pogorszenia sytuacji?

W tym miesiącu dwie A.I. poszukujące mowy nienawiści ogłoszono algorytmy: jeden stworzony w Wielkiej Brytanii, drugi w USA. Obydwa mogą pewnego dnia zostać wykorzystane do przeszukiwania mediów społecznościowych lub innych obszarów świata online i podkreślania mowy nienawiści lub mowy obraźliwej, aby można było ją zgłosić, usunąć lub zablokować.

Pierwszy, opracowany przez naukowców z brytyjskiego Uniwersytetu w Exeter, to: narzędzie o nazwie Lola która wykorzystuje „najnowsze osiągnięcia w przetwarzaniu języka naturalnego i teorii behawioralnej”, aby skanować tysiące wiadomości na minutę w celu wykrycia treści nienawistnych. „Poziom dokładności jest wyjątkowy w porównaniu z rozwiązaniami istniejącymi na rynku”

Doktor David Lopez, jeden z twórców Loli, powiedział Digital Trends.

Drugie dzieło badacze z Uniwersytetu Południowej Kalifornii, twierdzi, że jest zdolny do czegoś podobnego. „Opracowany przez nas algorytm to klasyfikator tekstu, który pobiera posty z mediów społecznościowych – lub potencjalnie inny tekst – i przewiduje, czy tekst zawiera mowę nienawiści, czy nie” Brendana Kennedy’ego, doktor informatyki. studentka, która pracowała nad projektem, powiedziała Digital Trends.

To jest zadanie dla automatyzacji. Rodzaj

Aby zrozumieć, dlaczego konieczne jest skorzystanie z zautomatyzowanych rozwiązań, aby rozwiązać ten najbardziej ludzki problem, konieczne jest zrozumienie samej skali mediów społecznościowych. W każdej sekundzie dnia wysyłanych jest średnio 6000 tweetów. Odpowiada to 350 000 tweetów na minutę, 500 milionom tweetów dziennie lub 200 miliardom tweetów rocznie. NA Facebook, około 35 milionów ludzi codziennie aktualizuje swoje statusy.

Nawet w przypadku gigantów technologicznych z dobrą kadrą liczby te uniemożliwiają moderatorom samodzielne dokonanie niezbędnej moderacji. Takie decyzje muszą być podejmowane bardzo szybko, nie tylko po to, aby być na bieżąco z generowanymi w każdej chwili nowymi treściami, ale także po to, aby określone komunikaty nie dotarły do ​​dużej liczby użytkowników. Jedynym praktycznym sposobem rozwiązania tego problemu są dobrze zaprojektowane algorytmy.

Wykorzystując uczenie maszynowe, możliwe jest – przynajmniej w teorii – opracowanie narzędzi, które można przeszkolić w zakresie wyszukiwania mowy nienawiści lub wypowiedzi obraźliwych w celu ich usunięcia lub zgłoszenia. Ale to nie jest łatwe. Mowa nienawiści to pojęcie szerokie i sporne. Próby jego prawnego lub nawet nieformalnego zdefiniowania wśród ludzi okazują się trudne. Niektóre przykłady mowy nienawiści mogą być tak jednoznaczne, że nikt nie będzie w stanie ich zakwestionować. Ale inne przypadki mogą być bardziej subtelne; rodzaj działań, który z większym prawdopodobieństwem można zaliczyć do „mikroagresji”. Jak słynnie powiedział sędzia Sądu Najwyższego Stanów Zjednoczonych Potter Stewart na temat nieprzyzwoitości: „Rozpoznaję, kiedy to widzę”.

„Istnieje wiele rodzajów mowy nienawiści [i] języka obraźliwego” – Kennedy powiedział Digital Trends. „Niektóre wypowiedzi nienawiści można łatwo zasygnalizować – na przykład obelgi. Jednak większość mowy nienawiści jest retorycznie złożona, demonizuje i odczłowiecza za pomocą metafor, stereotypów specyficznych kulturowo i „psich gwizdków”.

Pogarszając problem, a nie poprawiając

Poprzednia A.I. polująca na mowę nienawiści narzędzia okazały się nieskuteczne, ponieważ są zbyt tępym narzędziem do odkrywania bardziej złożonych przykładów uprzedzeń w Internecie. Źle zaprojektowane algorytmy wykrywania mowy nienawiści, wcale nie powstrzymują tej mowy w Internecie w rzeczywistości wykazano, że wzmacnia takie rzeczy, jak uprzedzenia rasowe, blokując nieobraźliwe tweety wysyłane przez mniejszość grupy. Może to być coś tak prostego, jak fakt, że klasyfikatory mowy nienawiści są nadwrażliwe na takie terminy „Czarny”, „gej” lub „transpłciowy”, co w niektórych przypadkach może być częściej kojarzone z treściami pełnymi nienawiści ustawienia.

Podobnie jak niesławny chatbot Tay firmy Microsoft, który się nauczył rasistowskie zachowanie po interakcji z użytkownikamiklasyfikatory przeszkoleni na oryginalnych danych tekstowych z mediów społecznościowych mogą w dużym stopniu opierać się na konkretnych słowach, ignorując otaczający je kontekst lub nie będąc tego świadomi.

S

Możliwość lepszej analizy wiadomości online w kontekście jest tym, co oferują dwie nowe technologie A.I. systemy detekcji obiecują. Brytyjski system Lola twierdzi, że jest w stanie analizować 25 000 wiadomości na minutę w celu wykrycia szkodliwych zachowań – w tym cyberprzemocy, nienawiści i islamofobii – z dokładnością do 98%. Częścią tego jest nie tylko sprawdzanie słów kluczowych, ale także użycie „silnika wykrywania emocji” w celu sprawdzenia, jakie emocje wywołuje tekst – czy jest to miłość, złość, strach, zaufanie czy inne.

Tymczasem Uniwersytet Południowej Kalifornii A.I. system wykrywania obiecuje przyjrzeć się kontekstowi i treści.

„Naszym punktem wyjścia w tych badaniach jest standardowa metoda, która koduje sekwencje tokenów tekstowych na numeryczne wektory, które są [następnie] wykorzystywane do probabilistycznego wyprowadzenia etykiety klasy „nienawiść” lub „brak nienawiści”” – Brandon powiedział. „Korzystając z algorytmu wyjaśniania post hoc opracowanego przez członków naszego zespołu, zaprogramowaliśmy mowę nienawiści klasyfikatory, aby przypisać mniejszą wagę identyfikatorom grup, a większą wagę kontekstowi otaczającemu grupę identyfikatory.”

System został przetestowany poprzez analizę artykułów ze strony internetowej Stormfront poświęconej białej supremacji oraz bardziej neutralnego reportażu „New York Timesa”. Jego twórcy twierdzą, że był w stanie oddzielić nienawiść od treści nienawistnych z dokładnością do 90%.

Wojna na dwóch frontach

Jednak nie tylko niezależni badacze opracowują narzędzia do wykrywania mowy nienawiści. Sieci społecznościowe również pracują nad rozwiązaniem tego problemu.

„Usuwamy obecnie 10 milionów sztuk mowa nienawiści kwartał” – powiedział Digital Trends Amit Bhattacharyya, dyrektor ds. zarządzania produktami w grupie ds. integralności społeczności na Facebooku. „Z tego około 90% wykryto, zanim użytkownicy nam to zgłosili. Zainwestowaliśmy więcej i staliśmy się lepsi w proaktywnym wykrywaniu treści potencjalnie naruszających zasady, w tym mowy nienawiści”.

Bhattacharyya wyjaśnił, że techniki wykrywania Facebooka koncentrują się na takich kwestiach, jak dopasowywanie tekstu i obrazu wyszukuje obrazy i identyczne ciągi tekstu, które zostały już usunięte w innym miejscu jako mowa nienawiści platforma. Wykorzystuje również klasyfikatory uczenia maszynowego, które analizują język i inne typy treści. Facebook ma również dodatkowe punkty danych, ponieważ może sprawdzić reakcje i komentarze do postu, aby zobaczyć, jak to zrobić ściśle odpowiadają one powszechnym wyrażeniom, wzorcom i atakom obserwowanym wcześniej w treściach naruszających mowę nienawiści polityki.

Twitter korzysta również z narzędzi do uczenia maszynowego, aby eliminować treści nienawistne. Niektóre z nich opierają się na słowach kluczowych, ale Twitter dodatkowo analizuje zachowania użytkowników, aby spróbować określić, jak komfortowo użytkownicy czują się w interakcjach. Na przykład użytkownik, który tweetuje do innego użytkownika i otrzymuje odpowiedź, a następnie jest obserwowany, będzie postrzegany inaczej niż użytkownik, który wielokrotnie wysyła tweety bezpośrednio do innej osoby, ale jest ignorowany lub blokowany. Ta dynamika zachowań może pomóc w ujawnieniu wzorców nękania lub niepożądanych, ukierunkowanych zachowań, które Twitter może następnie wykorzystać do lepszego zrozumienia treści tego, co dzieje się na jego platformie.

Jednak rzecznik Twittera powiedział Digital Trends, że wiadomości oznaczone jako obraźliwe są sprawdzane ręcznie przez ludzi (w kolejności priorytetów maszynowych), aby ustalić, czy zostały one prawidłowo zidentyfikowane jako taki.

Ciągłe wyzwanie

Bhattacharyya z Facebooka powiedział, że sieć społecznościowa poczyniła przez lata „wielki postęp” w ograniczaniu mowy nienawiści na swoich platformach i że jej zespół jest dumny z tego, czego osiągnął. Jednocześnie Bhattacharyya powiedział: „Nasza praca nigdy się nie kończy i wiemy, że być może nigdy nie będziemy w stanie zapobiec pojawianiu się na naszych platformach wszystkich treści szerzących nienawiść”.

Przygnębiająca rzeczywistość jest taka, że ​​problem mowy nienawiści w Internecie prawdopodobnie nigdy nie zostanie rozwiązany. Przynajmniej nie bez ludzi dokonujących zmian. Internet może, ze szkodą dla niego, wzmacniać pewne ludzkie głosy oraz osadzać i kodyfikować określone ludzkie uprzedzenia, ale dzieje się tak dlatego, że jest to po prostu ludzkość rozpisana na szeroką skalę. Wszelkie problemy istniejące w świecie rzeczywistym w pewnym stopniu przedostaną się do świata online.

To powiedziawszy, zwalczanie nadużyć w Internecie nie musi mieć charakteru reaktywnego. Może też działać proaktywnie. Na przykład rzecznik Twittera, który rozmawiał z Digital Trends, zauważył, że spośród użytkowników, których konta zostały zablokowane na 12 godzin z powodu naruszenia zasad, większość ponownie dopuściła się przestępstwa. Sugeruje to, że mogą wystąpić momenty pouczające. Niezależnie od tego, czy rzeczywiście zachęcają użytkowników do ponownego przeanalizowania swojego zachowania, czy po prostu powstrzymują ich od zachowań łamiących zasady, niemniej jednak ogranicza to irytujące zachowania łamiące zasady na platformie.

Rzecznik powiedział również, że Twitter bada obecnie system oparty na „szturchnięciu”. Spowoduje to wyświetlenie monitów, zanim użytkownicy zaczną tweetować, ostrzegając ich, że to, co zamierzają opublikować, może naruszać zasady Twittera. Może to być spowodowane konkretnym słowem kluczowym. Jeśli udostępnisz na Twitterze artykuł, którego nie otworzyłeś, może on również wyświetlić ostrzeżenie. Ten system szturchnięć został niedawno przetestowany na małej liczbie użytkowników. Chociaż okres próbny już się zakończył, istnieje możliwość, że w przyszłości zostanie udostępniony jako funkcja wszystkim użytkownikom.

Przyszłość dyskursu w Internecie

Kwestia mowy nienawiści i innych obraźliwych wypowiedzi w mediach społecznościowych stanie się jeszcze bardziej paląca. We Francji na przykład A ustawa została uchwalona w maju która wzywa do usunięcia niektórych treści o charakterze przestępczym z mediów społecznościowych w ciągu godziny. Jeśli tak nie jest, danym firmom z branży mediów społecznościowych grozi kara w wysokości do 4% ich globalnych przychodów. Inne treści „jawnie nielegalne” należy usunąć w ciągu 24 godzin. Minister sprawiedliwości Nicole Belloubet powiedziała francuskiemu parlamentowi, że nowe prawo pomoże ograniczyć mowę nienawiści w Internecie.

O ile nam wiadomo, żadne takie prawo nie zostało poważnie zaproponowane w Stanach Zjednoczonych. Jednak w miarę jak media społecznościowe stają się coraz większą i bardziej wpływową częścią naszej komunikacji, zwalczanie toksycznych zachowań będzie coraz ważniejsze. Nie jest to problem, który mogą rozwiązać wyłącznie moderatorzy. Ale jest to również sytuacja, którą podejmując się z wykorzystaniem sztucznej inteligencji, należy robić ostrożnie – nie tylko po to, aby mieć pewność, że problem zostanie rozwiązany, ale także aby mieć pewność, że go nie pogorszy.

Od tego zależy przyszłość dyskursu w Internecie.

Zalecenia redaktorów

• Jak sztuczna inteligencja stworzył ten niesamowity film z najważniejszymi wydarzeniami sportowymi, którego nie możesz przestać oglądać