Mensen kunnen online haatzaaien niet alleen stoppen. We hebben bots nodig om te helpen

Het internet heeft een probleem met haatzaaien.

Ga naar een YouTube-commentaarsectie of struin sociale media af, zelfs maar voor een korte tijd, en je zult geen tekort aan aanstootgevende, vaak bevooroordeelde opmerkingen vinden. Maar hoe los je dit probleem op? En hoe voorkom je daarbij dat het per ongeluk erger wordt?

Deze maand hebben twee op haatzaaiende uitlatingen gerichte A.I. Er werden algoritmen aangekondigd: de ene is gemaakt in het Verenigd Koninkrijk, de andere in de VS. Beide zouden ooit kunnen worden gebruikt om sociale media of andere delen van de onlinewereld af te speuren en haatzaaiende of beledigende uitlatingen onder de aandacht te brengen, zodat deze kunnen worden gerapporteerd, verwijderd of geblokkeerd.

De eerste, ontwikkeld door onderzoekers van de Britse Universiteit van Exeter, is een

hulpmiddel genaamd Lola dat gebruik maakt van de “nieuwste ontwikkelingen op het gebied van natuurlijke taalverwerking en gedragstheorie” om duizenden berichten per minuut te scannen om haatzaaiende inhoud te ontdekken. “Het nauwkeurigheidsniveau is uitstekend vergeleken met bestaande oplossingen op de markt,” Dr. David Lopez, een van de makers van Lola, aan Digital Trends.

De tweede, het werk van onderzoekers aan de Universiteit van Zuid-Californië, beweert tot iets soortgelijks in staat te zijn. “Het algoritme dat we hebben ontwikkeld is een tekstclassificator, die berichten op sociale media – of mogelijk andere tekst – gebruikt en voorspelt of de tekst haatzaaiende uitlatingen bevat of niet,” Brendan Kennedy, een computerwetenschappen Ph. D. student die aan het project werkte, vertelde Digital Trends.

Dit is een klus voor automatisering. Soort van

Om te begrijpen waarom het nodig is om gebruik te maken van geautomatiseerde oplossingen om dit meest menselijke probleem op te lossen, is het van cruciaal belang om de enorme omvang van sociale media te begrijpen. Elke seconde van de dag worden er gemiddeld 6.000 tweets verzonden. Dit komt neer op 350.000 tweets per minuut, 500 miljoen tweets per dag of 200 miljard tweets per jaar. Op Facebookwerken ongeveer 35 miljoen mensen dagelijks hun status bij.

Zelfs voor goed bemande technologiegiganten maken deze aantallen het voor menselijke moderators onhaalbaar om zelf de noodzakelijke moderatie uit te voeren. Dergelijke beslissingen moeten zeer snel worden genomen, niet alleen om op de hoogte te blijven van de nieuwe inhoud die elk moment wordt gegenereerd, maar ook om te voorkomen dat bepaalde berichten door grote aantallen gebruikers worden gezien. Goed ontworpen algoritmen zijn de enige praktische manier om dit probleem op te lossen.

Met behulp van machinaal leren is het – althans in theorie – mogelijk om instrumenten te ontwikkelen die kunnen worden getraind in het opsporen van haatzaaiende of beledigende uitlatingen, zodat deze kunnen worden verwijderd of gerapporteerd. Maar dit is niet eenvoudig. Haatzaaien is een brede en omstreden term. Pogingen om het juridisch of zelfs informeel onder mensen te definiëren, blijken moeilijk. Sommige voorbeelden van haatzaaiende uitlatingen zijn wellicht zo duidelijk dat niemand ze kan betwisten. Maar andere gevallen kunnen subtieler zijn; het soort acties dat eerder als ‘micro-agressies’ wordt geclassificeerd. Zoals rechter Potter Stewart van het Hooggerechtshof van de Verenigde Staten een beroemde uitspraak over obsceniteit zei: ‘Ik weet het als ik het zie.’

“Er zijn veel soorten haatzaaiende uitlatingen [en] aanstootgevend taalgebruik”, vertelde Kennedy aan Digital Trends. “Sommige haatzaaiende uitlatingen zijn gemakkelijk te signaleren, bijvoorbeeld laster. Maar de meeste haatzaaiende uitlatingen zijn retorisch complex en demoniserend en ontmenselijkend door middel van metaforen, cultuurspecifieke stereotypen en ‘hondenfluiten’.”

Het probleem wordt erger gemaakt, niet beter

Eerdere haatzaaiende jacht op A.I. instrumenten zijn ineffectief gebleken omdat ze een te bot instrument zijn om complexere voorbeelden van vooroordelen online aan het licht te brengen. Slecht ontworpen algoritmen voor het detecteren van haatzaaiende uitlatingen zijn er niet in geslaagd om haatzaaiende uitlatingen online tegen te houden Er is feitelijk aangetoond dat het zaken als raciale vooroordelen versterkt door niet-aanstootgevende tweets van minderheidsgroepen te blokkeren groepen. Dat zou zoiets simpels kunnen zijn als het feit dat classificaties van haatzaaiende uitlatingen overgevoelig zijn voor termen als ‘Zwart’, ‘homo’ of ‘transgender’, wat bij sommigen waarschijnlijker in verband wordt gebracht met haatzaaiende inhoud instellingen.

Net als de beruchte Tay-chatbot van Microsoft, die leerde racistisch gedrag na interactie met gebruikers, kunnen classifiers die zijn getraind op originele tekstgegevens van sociale media ertoe leiden dat ze zwaar op specifieke woorden leunen, terwijl ze de omringende context negeren of zich er niet van bewust zijn.

S

De mogelijkheid om online berichten beter in context te analyseren, is wat de twee nieuwe A.I. detectiesystemen beloven. Het Britse Lola-systeem beweert 25.000 berichten per minuut te kunnen analyseren om schadelijk gedrag – waaronder cyberpesten, haat en islamofobie – met een nauwkeurigheid tot 98% te detecteren. Onderdeel hiervan is niet alleen kijken naar trefwoorden, maar door een ‘emotiedetectie-engine’ te gebruiken om uit te zoeken welke emoties in de tekst worden opgeroepen – of dit nu liefde, woede, angst, vertrouwen of andere zijn.

Ondertussen heeft de University of Southern California A.I. detectiesysteem belooft zowel naar de context als naar de inhoud te kijken.

“Ons uitgangspunt in dit onderzoek is een standaardmethode, die reeksen teksttokens codeert naar numerieke waarden vectoren, die [vervolgens] worden gebruikt om probabilistisch het klassenlabel ‘haat’ of ‘geen haat’ uit te voeren”, Brandon gezegd. “Met behulp van een ‘post-hoc uitleg’-algoritme dat leden van ons team hebben ontwikkeld, hebben we haatzaaiende uitlatingen geprogrammeerd classificatoren om minder belang te hechten aan groepsidentificatoren, en meer belang aan de context rondom de groep identificatiegegevens.”

Het systeem werd getest door artikelen van de blanke supremacistische website Stormfront en de meer neutrale reportage van de New York Times te analyseren. De makers beweren dat het in staat was om haat te scheiden van niet-haatinhoud met een nauwkeurigheidsniveau van 90%.

Een oorlog op twee fronten

Het zijn echter niet alleen onafhankelijke onderzoekers die instrumenten ontwikkelen om haatzaaiende uitlatingen op te sporen. Sociale netwerken proberen ook dit probleem op te lossen.

“We verwijderen nu 10 miljoen stukjes Haattoespraak een kwart”, vertelde Amit Bhattacharyya, directeur productmanagement bij de community-integriteitsgroep van Facebook, aan Digital Trends. “Daarvan werd ongeveer 90% gedetecteerd voordat gebruikers het aan ons rapporteerden. We hebben meer geïnvesteerd in – en zijn er beter in geworden – het proactief opsporen van mogelijk inbreukmakende inhoud, waaronder haatzaaiende uitlatingen.”

De detectietechnieken van Facebook, zo legde Bhattacharyya uit, richten zich op zaken als het matchen van tekst en afbeeldingen zoekt naar afbeeldingen en identieke tekstreeksen die elders op de website al als haatzaaiende uitlatingen zijn verwijderd platform. Het maakt ook gebruik van machine learning-classificatoren die taal en andere inhoudstypen analyseren. Facebook beschikt ook over extra datapunten, omdat het naar de reacties en opmerkingen op een bericht kan kijken om te zien hoe Deze komen nauw overeen met algemene zinsneden, patronen en aanvallen die eerder zijn gezien in inhoud die de haatzaaiende uitlatingen schendt beleid.

Twitter maakt ook gebruik van machine learning-tools om haatdragende inhoud aan te pakken. Een deel hiervan is gebaseerd op trefwoorden, maar Twitter analyseert bovendien het gedrag van gebruikers om te proberen te bepalen hoe comfortabel gebruikers zich voelen in interacties. Een gebruiker die bijvoorbeeld naar een andere gebruiker tweet, waarop wordt gereageerd en vervolgens wordt gevolgd, wordt anders bekeken dan iemand die herhaaldelijk rechtstreeks naar een andere persoon tweet, maar wordt genegeerd of geblokkeerd. Deze gedragsdynamiek kan helpen patronen van intimidatie of ongewenst gericht gedrag aan het licht te brengen, die Twitter vervolgens kan gebruiken om de inhoud van wat er op zijn platform gebeurt beter te begrijpen.

Een Twitter-woordvoerder vertelde Digital Trends echter dat berichten die als aanstootgevend zijn gemarkeerd, handmatig worden beoordeeld door mensen (in volgorde van machineprioriteit) om vast te stellen of ze correct zijn geïdentificeerd als zo een.

Een voortdurende uitdaging

Bhattacharyya van Facebook zei dat het sociale netwerk door de jaren heen ‘grote vooruitgang’ heeft geboekt bij het terugdringen van haatzaaiende uitlatingen op zijn platforms en dat zijn team trots is op wat het heeft bereikt. Tegelijkertijd zei Bhattacharyya: “Ons werk is nooit af en we weten dat we misschien nooit zullen kunnen voorkomen dat elk stukje haatdragende inhoud op onze platforms verschijnt.”

De deprimerende realiteit is dat haatzaaiende uitlatingen op internet waarschijnlijk nooit als een probleem zullen worden opgelost. Tenminste, niet zonder dat mensen iets veranderen. Het internet zou, in zijn nadeel, bepaalde menselijke stemmen kunnen versterken en bepaalde menselijke vooroordelen kunnen verankeren en codificeren, maar dat komt omdat het gewoon de mensheid in grote lijnen is. Welke problemen er ook in de echte wereld bestaan, ze zullen tot op zekere hoogte hun weg vinden naar de online wereld.

Dat gezegd hebbende, hoeft het optreden tegen online misbruik niet reactief te zijn. Het kan ook proactief zijn. De Twitter-woordvoerder die met Digital Trends sprak, wees er bijvoorbeeld op dat van de gebruikers van wie de accounts twaalf uur lang verboden zijn vanwege regelovertredingen, de meerderheid opnieuw in overtreding is. Dit suggereert dat er leerzame momenten kunnen voorkomen. Of ze gebruikers er nu echt toe aanzetten hun gedrag opnieuw te onderzoeken of ze simpelweg te beletten zich te gedragen op een manier die de regels overtreedt, het vermindert niettemin het verstorende gedrag op het platform.

De woordvoerder zei ook dat Twitter nu een op ‘nudge’ gebaseerd systeem onderzoekt. Dit biedt prompts voordat gebruikers tweeten, waardoor ze worden gewaarschuwd dat wat ze gaan posten in strijd kan zijn met de regels van Twitter. Dit kan komen door een bepaald zoekwoord. Wanneer je een artikel deelt dat je nog niet hebt geopend via Twitter, kan er ook een waarschuwing in staan. Dit nudgesysteem is onlangs getest met een klein aantal gebruikers. Hoewel de proefperiode nu is afgerond, bestaat de mogelijkheid dat deze in de toekomst als functie voor alle gebruikers wordt uitgerold.

De toekomst van discours op internet

De kwestie van haatzaaiende uitlatingen en andere beledigende uitlatingen op sociale media zal alleen maar urgenter worden. In Frankrijk bijvoorbeeld, a In mei werd de wet aangenomen waarin wordt opgeroepen om bepaalde criminele inhoud binnen een uur van sociale media te verwijderen. Als dat niet het geval is, riskeren de socialemediabedrijven in kwestie een boete van maximaal 4% van hun wereldwijde omzet. Andere “kennelijk illegale” inhoud moet binnen 24 uur worden verwijderd. Minister van Justitie Nicole Belloubet vertelde het Franse parlement dat de wet zou helpen haatzaaiende uitlatingen op internet terug te dringen.

Voor zover wij weten is een dergelijke wet in de Verenigde Staten niet serieus voorgesteld. Maar naarmate sociale media een steeds groter en invloedrijker onderdeel worden van de manier waarop we communiceren, zal het hard optreden tegen giftig gedrag steeds belangrijker worden. Dit is geen probleem dat puur door menselijke moderators kan worden aangepakt. Maar het is ook een probleem dat, wanneer het wordt uitgevoerd met behulp van AI, zorgvuldig moet worden gedaan – niet alleen om ervoor te zorgen dat het probleem wordt verbeterd, maar ook om te garanderen dat het het probleem niet verergert.

De toekomst van het discours op internet hangt ervan af.

Aanbevelingen van de redactie

• Hoe A.I. heeft die geweldige sporthoogtepunt-reel gemaakt waar je niet mee kunt stoppen met kijken