Menschen können Hassreden im Internet nicht allein stoppen. Wir brauchen Bots, die helfen

Das Internet hat ein Problem mit Hassreden.

Besuchen Sie einen YouTube-Kommentarbereich oder durchstöbern Sie die sozialen Medien auch nur für kurze Zeit, und Sie werden keinen Mangel an beleidigenden, oft voreingenommenen Kommentaren finden. Aber wie löst man dieses Problem? Und wie vermeidet man dabei, dass es versehentlich noch schlimmer wird?

Diesen Monat haben zwei K.I. Algorithmen wurden angekündigt: Einer wurde im Vereinigten Königreich entwickelt, der andere in den USA. Beide könnten eines Tages verwendet werden um soziale Medien oder andere Bereiche der Online-Welt zu durchsuchen und Hassreden oder beleidigende Reden hervorzuheben, damit sie gemeldet, gelöscht oder blockiert werden können.

Das erste, von Forschern der britischen Universität Exeter entwickelte, ist ein

Werkzeug namens Lola das sich die „neuesten Fortschritte in der Verarbeitung natürlicher Sprache und der Verhaltenstheorie“ zunutze macht, um Tausende von Nachrichten pro Minute zu durchsuchen und hasserfüllte Inhalte aufzudecken. „Die Genauigkeit ist im Vergleich zu bestehenden Lösungen auf dem Markt hervorragend.“ David Lopez, einer von Lolas Schöpfern, sagte gegenüber Digital Trends.

Das zweite, die Arbeit von Forscher an der University of Southern California, behauptet, zu etwas Ähnlichem fähig zu sein. „Der von uns entwickelte Algorithmus ist ein Textklassifikator, der Social-Media-Beiträge – oder möglicherweise auch anderen Text – aufnimmt und vorhersagt, ob der Text Hassreden enthält oder nicht.“ Brendan Kennedy, ein Informatik-Doktorand. Student, der an dem Projekt gearbeitet hat, sagte gegenüber Digital Trends.

Dies ist eine Aufgabe für die Automatisierung. So'ne Art

Um zu verstehen, warum es notwendig ist, auf automatisierte Lösungen zurückzugreifen, um dieses menschlichste aller Probleme zu lösen, ist es wichtig, das Ausmaß der sozialen Medien zu verstehen. Jede Sekunde des Tages werden durchschnittlich 6.000 Tweets gesendet. Das entspricht 350.000 Tweets pro Minute, 500 Millionen Tweets pro Tag oder 200 Milliarden Tweets pro Jahr. An Facebook35 Millionen Menschen aktualisieren täglich ihren Status.

Selbst für gut besetzte Technologiegiganten ist es aufgrund dieser Zahlen für menschliche Moderatoren unmöglich, die notwendige Moderation selbst durchzuführen. Solche Entscheidungen müssen sehr schnell getroffen werden, nicht nur, um den Überblick über die ständig neu generierten Inhalte zu behalten, sondern auch, damit bestimmte Nachrichten nicht von einer großen Anzahl von Benutzern gesehen werden. Gut konzipierte Algorithmen sind der einzige praktikable Weg, dieses Problem zu lösen.

Mithilfe von maschinellem Lernen ist es – zumindest theoretisch – möglich, Tools zu entwickeln, die darauf trainiert werden können, Hassreden oder beleidigende Reden aufzuspüren, damit diese gelöscht oder gemeldet werden können. Aber das ist nicht einfach. Hassrede ist ein weit gefasster und umstrittener Begriff. Versuche, es unter Menschen rechtlich oder sogar informell zu definieren, erweisen sich als schwierig. Einige Beispiele für Hassreden sind möglicherweise so eindeutig, dass niemand sie bestreiten kann. Aber andere Fälle mögen subtiler sein; die Art von Handlungen, die eher als „Mikroaggressionen“ eingestuft werden. Potter Stewart, Richter am Obersten Gerichtshof der Vereinigten Staaten, sagte über Obszönität: „Ich weiß es, wenn ich es sehe.“

„Es gibt viele Arten von Hassreden [und] beleidigender Sprache“, sagte Kennedy gegenüber Digital Trends. „Manche Hassreden sind leicht zu melden – zum Beispiel Beleidigungen. Aber die meisten Hassreden sind rhetorisch komplex, dämonisierend und entmenschlichend durch Metaphern, kulturspezifische Stereotypen und ‚Hundepfeifen‘.“

Dadurch wird das Problem schlimmer, nicht besser

Frühere K.I. zur Jagd auf Hassreden Tools haben sich als unwirksam erwiesen, weil sie ein zu stumpfes Instrument sind, um komplexere Beispiele von Vorurteilen online aufzudecken. Schlecht konzipierte Algorithmen zur Erkennung von Hassreden haben Hassreden im Internet weit davon entfernt, Hassreden zu stoppen Es hat sich tatsächlich gezeigt, dass es Dinge wie rassistische Vorurteile verstärkt, indem es nicht anstößige Tweets blockiert, die von Minderheiten gesendet werden Gruppen. Das könnte so einfach sein wie die Tatsache, dass Hassreden-Klassifikatoren überempfindlich auf Begriffe wie reagieren „Schwarz“, „schwul“ oder „Transgender“, was in manchen Fällen eher mit hasserfüllten Inhalten in Verbindung gebracht wird Einstellungen.

Genau wie der berüchtigte Tay-Chatbot von Microsoft, der gelernt hat Rassistisches Verhalten nach Interaktion mit BenutzernKlassifikatoren, die auf Originaldaten von Social-Media-Texten trainiert werden, können sich am Ende stark auf bestimmte Wörter stützen, während sie deren umgebenden Kontext ignorieren oder sich dessen nicht bewusst sind.

S

Die Fähigkeit, Online-Nachrichten besser im Kontext zu analysieren, ist das Ziel der beiden neuen KI-Systeme. Erkennungssysteme versprechen. Das britische Lola-System behauptet, in der Lage zu sein, 25.000 Nachrichten pro Minute zu analysieren, um schädliches Verhalten – einschließlich Cybermobbing, Hass und Islamophobie – mit einer Genauigkeit von bis zu 98 % zu erkennen. Ein Teil davon besteht darin, nicht nur nach Schlüsselwörtern zu suchen, sondern mithilfe einer „Emotionserkennungs-Engine“ herauszufinden, welche Emotionen im Text hervorgerufen werden – seien es Liebe, Wut, Angst, Vertrauen oder andere.

Inzwischen hat die University of Southern California A.I. Das Erkennungssystem verspricht, sowohl den Kontext als auch den Inhalt zu berücksichtigen.

„Unser Ausgangspunkt in dieser Forschung ist eine Standardmethode, die Sequenzen von Text-Tokens in Zahlen kodiert „Vektoren, die [dann] verwendet werden, um wahrscheinlich die Klassenbezeichnung ‚Hass‘ oder ‚kein Hass‘ auszugeben“, Brandon sagte. „Mithilfe eines von Mitgliedern unseres Teams entwickelten ‚Post-hoc-Erklärungsalgorithmus‘ haben wir Hassreden programmiert Klassifikatoren, um Gruppenbezeichnern weniger Bedeutung zu verleihen und dem Kontext um die Gruppe mehr Bedeutung zu verleihen Identifikatoren.“

Das System wurde durch die Analyse von Artikeln der weißrassistischen Website Stormfront und der neutraleren Reportage der New York Times getestet. Die Entwickler behaupten, dass es in der Lage sei, Hass-Inhalte von Nicht-Hass-Inhalten mit einer Genauigkeit von 90 % zu trennen.

Ein Krieg an zwei Fronten

Es sind jedoch nicht nur unabhängige Forscher, die Tools zur Erkennung von Hassreden entwickeln. Auch soziale Netzwerke arbeiten daran, dieses Problem zu lösen.

„Wir entfernen jetzt 10 Millionen Stücke Hassrede ein Viertel“, sagte Amit Bhattacharyya, Direktor für Produktmanagement in der Community Integrity Group von Facebook, gegenüber Digital Trends. „Davon wurden etwa 90 % erkannt, bevor uns Benutzer davon meldeten. Wir haben mehr in die proaktive Erkennung potenziell rechtsverletzender Inhalte, einschließlich Hassreden, investiert und sind darin besser geworden.“

Die Erkennungstechniken von Facebook, erklärte Bhattacharyya, konzentrieren sich auf Dinge wie den Text- und Bildabgleich, bei dem es sucht nach Bildern und identischen Textzeichenfolgen, die bereits an anderer Stelle auf der Website als Hassrede entfernt wurden Plattform. Es verwendet auch Klassifikatoren für maschinelles Lernen, die Sprache und andere Inhaltstypen analysieren. Auch Facebook verfügt über zusätzliche Datenpunkte, da es sich die Reaktionen und Kommentare zu einem Beitrag ansehen kann, um zu sehen, wie Diese stimmen weitgehend mit gängigen Phrasen, Mustern und Angriffen überein, die zuvor in Inhalten beobachtet wurden, die gegen Hassreden verstoßen Richtlinien.

Twitter nutzt auch maschinelle Lerntools, um gegen hasserfüllte Inhalte vorzugehen. Einiges davon basiert auf Schlüsselwörtern, aber Twitter analysiert zusätzlich das Nutzerverhalten, um herauszufinden, wie wohl sich die Nutzer bei Interaktionen fühlen. Beispielsweise wird ein Benutzer, der an einen anderen Benutzer twittert, auf den er antwortet und dem er dann folgt, anders gesehen als jemand, der wiederholt direkt an eine andere Person twittert, aber ignoriert oder blockiert wird. Diese Verhaltensdynamik kann dazu beitragen, Belästigungsmuster oder unerwünschtes gezieltes Verhalten aufzudecken, die Twitter dann nutzen kann, um den Inhalt der Vorgänge auf seiner Plattform besser zu verstehen.

Ein Twitter-Sprecher teilte Digital Trends jedoch mit, dass als anstößig gekennzeichnete Nachrichten manuell überprüft werden durch Menschen (in einer maschinenpriorisierten Reihenfolge), um festzustellen, ob sie korrekt als identifiziert wurden solch.

Eine ständige Herausforderung

Bhattacharyya von Facebook sagte, dass das soziale Netzwerk im Laufe der Jahre „große Fortschritte“ bei der Eindämmung von Hassreden auf seinen Plattformen gemacht habe und dass sein Team stolz auf das sei, was es erreicht habe. Gleichzeitig sagte Bhattacharyya: „Unsere Arbeit ist nie abgeschlossen und wir wissen, dass wir möglicherweise nie verhindern können, dass alle hasserfüllten Inhalte auf unseren Plattformen erscheinen.“

Die bedrückende Realität ist, dass Hassreden im Internet wahrscheinlich nie als Problem gelöst werden werden. Zumindest nicht, ohne dass Menschen etwas ändern. Das Internet könnte zu seinem Nachteil bestimmte menschliche Stimmen verstärken und bestimmte menschliche Vorurteile einbetten und kodifizieren, aber das liegt daran, dass es sich nur um die Menschheit im Großen und Ganzen handelt. Welche Probleme auch immer in der realen Welt bestehen, sie werden bis zu einem gewissen Grad ihren Weg in die Online-Welt finden.

Das Vorgehen gegen missbräuchliches Verhalten im Internet muss jedoch nicht reaktiv erfolgen. Es kann auch proaktiv sein. Beispielsweise wies der Twitter-Sprecher, der mit Digital Trends sprach, darauf hin, dass die Mehrheit der Nutzer, deren Konten aufgrund von Regelverstößen für 12 Stunden gesperrt wurden, erneut beleidigt wird. Dies deutet darauf hin, dass lehrreiche Momente auftreten können. Unabhängig davon, ob sie Benutzer wirklich dazu auffordern, ihr Verhalten zu überdenken, oder sie einfach davon abhalten, sich auf eine Art und Weise zu verhalten, die gegen die Regeln verstößt, reduzieren sie dennoch störendes Regelverstoßverhalten auf der Plattform.

Der Sprecher sagte auch, dass Twitter derzeit ein „Nudge“-basiertes System erforscht. Dadurch erhalten Benutzer vor dem Tweeten Hinweise, die sie darauf aufmerksam machen, dass das, was sie posten möchten, gegen die Twitter-Regeln verstoßen könnte. Dies kann an einem bestimmten Schlüsselwort liegen. Wenn Sie einen Artikel, den Sie nicht geöffnet haben, über Twitter teilen, wird möglicherweise auch eine Warnung angezeigt. Dieses Nudge-System wurde kürzlich mit einer kleinen Anzahl von Benutzern getestet. Obwohl die Testversion nun abgeschlossen ist, besteht die Möglichkeit, dass sie in Zukunft allen Benutzern als Funktion zur Verfügung gestellt wird.

Die Zukunft des Diskurses im Internet

Die Frage nach Hassreden und anderen beleidigenden Äußerungen in den sozialen Medien wird immer dringlicher. In Frankreich zum Beispiel a Das Gesetz wurde im Mai verabschiedet Darin wird gefordert, bestimmte strafbare Inhalte innerhalb einer Stunde aus den sozialen Medien zu entfernen. Ist dies nicht der Fall, drohen den betreffenden Social-Media-Unternehmen Strafen in Höhe von bis zu 4 % ihres weltweiten Umsatzes. Andere „offensichtlich rechtswidrige“ Inhalte müssen innerhalb von 24 Stunden entfernt werden. Justizministerin Nicole Belloubet erklärte vor dem französischen Parlament, dass das Gesetz dazu beitragen werde, Hassreden im Internet zu reduzieren.

Soweit uns bekannt ist, wurde in den Vereinigten Staaten kein ernsthafter Vorschlag für ein solches Gesetz vorgelegt. Doch da soziale Medien ein immer größerer und einflussreicherer Teil unserer Kommunikation werden, wird es immer wichtiger, gegen toxisches Verhalten vorzugehen. Dies ist kein Problem, das nur von menschlichen Moderatoren gelöst werden kann. Aber es ist auch etwas, das, wenn es mit KI durchgeführt wird, sorgfältig durchgeführt werden muss – nicht nur, um sicherzustellen, dass es das Problem verbessert, sondern um sicherzustellen, dass es es nicht verschlimmert.

Die Zukunft des Diskurses im Internet hängt davon ab.

Empfehlungen der Redaktion

• Wie K.I. hat dieses tolle Sport-Highlight-Reel erstellt, das man nicht aufhören kann, es anzuschauen