Los seres humanos no pueden detener por sí solos el discurso de odio en línea. Necesitamos robots para ayudar

Internet tiene un problema de discurso de odio.

Vaya a cualquier sección de comentarios de YouTube o busque en las redes sociales aunque sea por un corto período de tiempo y encontrará muchos comentarios ofensivos y frecuentemente prejuiciosos. ¿Pero cómo se soluciona este problema? Y, al hacerlo, ¿cómo se puede evitar empeorarlo accidentalmente?

Este mes, dos I.A. que buscan discursos de odio. Se anunciaron algoritmos: uno creado en el Reino Unido y el otro en los EE. UU. Ambos podrían usarse algún día. para rastrear las redes sociales u otras áreas del mundo en línea, y resaltar el discurso de odio o el discurso ofensivo para que pueda ser reportado, eliminado o bloqueado.

El primero, desarrollado por investigadores de la Universidad de Exeter, en el Reino Unido, es un herramienta llamada Lola

 que aprovecha los “últimos avances en el procesamiento del lenguaje natural y la teoría del comportamiento” para escanear miles de mensajes por minuto y descubrir contenido que incite al odio. "El nivel de precisión es excepcional en comparación con las soluciones existentes en el mercado". Dr. David López, dijo a Digital Trends uno de los creadores de Lola.

El segundo, el trabajo de investigadores de la Universidad del Sur de California, afirma ser capaz de hacer algo similar. "El algoritmo que desarrollamos es un clasificador de texto, que toma publicaciones en redes sociales (o potencialmente otro texto) y predice si el texto contiene discurso de odio o no". Brendan Kennedy, un doctorado en informática. estudiante que trabajó en el proyecto, dijo a Digital Trends.

Este es un trabajo para la automatización. Un poco

Para apreciar por qué es necesario recurrir a soluciones automatizadas para resolver este problema tan humano, es fundamental comprender la magnitud de las redes sociales. Cada segundo del día se envía una media de 6.000 tweets. Esto equivale a 350.000 tweets por minuto, 500 millones de tweets al día o 200 mil millones de tweets al año. En Facebook, aproximadamente 35 millones de personas actualizan su estado diariamente.

Incluso para los gigantes tecnológicos que cuentan con personal suficiente, esas cifras hacen que sea inviable que los moderadores humanos realicen la moderación necesaria por sí solos. Estas decisiones deben tomarse muy rápidamente, no sólo para estar al tanto del nuevo contenido que se genera en cada momento, sino también para que ciertos mensajes no sean vistos por un gran número de usuarios. Los algoritmos bien diseñados son la única forma práctica de resolver este problema.

Utilizando el aprendizaje automático, es posible (al menos en teoría) desarrollar herramientas que puedan entrenarse para detectar discursos de odio u ofensivos para poder eliminarlos o denunciarlos. Pero esto no es fácil. El discurso de odio es un término amplio y controvertido. Los intentos de definirlo legalmente o incluso informalmente entre humanos resultan difíciles. Algunos ejemplos de discurso de odio pueden ser tan claros que nadie pueda discutirlos. Pero otros casos pueden ser más sutiles; el tipo de acciones que tienen más probabilidades de clasificarse como “microagresiones”. Como dijo el juez de la Corte Suprema de los Estados Unidos, Potter Stewart, sobre la obscenidad: “Lo reconozco cuando lo veo”.

"Hay muchos tipos de discurso de odio [y] lenguaje ofensivo", dijo Kennedy a Digital Trends. “Algunos discursos de odio son fáciles de detectar; por ejemplo, los insultos. Pero la mayor parte del discurso de odio es retóricamente complejo, demonizando y deshumanizando a través de metáforas, estereotipos culturalmente específicos y 'silbatos para perros'”.

Empeorar el problema, no mejorarlo

Anterior A.I. que busca el discurso de odio Las herramientas han demostrado ser ineficaces porque son un instrumento demasiado contundente para descubrir ejemplos más complejos de prejuicios en línea. Los algoritmos de detección de discursos de odio mal diseñados, lejos de detener el discurso de odio en línea, han De hecho, se ha demostrado que amplifica aspectos como los prejuicios raciales al bloquear tweets no ofensivos enviados por minorías. grupos. Podría ser algo tan simple como el hecho de que los clasificadores del discurso de odio son demasiado sensibles a términos como "Negro", "gay" o "transgénero", que pueden tener más probabilidades de estar asociados con contenido de odio en algunos ajustes.

Al igual que el infame chatbot Tay de Microsoft, que aprendió Comportamiento racista después de interactuar con los usuarios., los clasificadores que están entrenados en datos de texto originales de redes sociales pueden terminar apoyándose en gran medida en palabras específicas mientras ignoran o desconocen el contexto que las rodea.

s

La capacidad de analizar mejor los mensajes en línea en contexto es lo que los dos nuevos A.I. Los sistemas de detección prometen. El sistema Lola del Reino Unido afirma ser capaz de analizar 25.000 mensajes por minuto para detectar comportamientos dañinos (incluidos el acoso cibernético, el odio y la islamofobia) con hasta un 98% de precisión. Parte de esto consiste no sólo en analizar las palabras clave, sino también en utilizar un “motor de detección de emociones” para determinar qué emociones se provocan en el texto, ya sea amor, ira, miedo, confianza u otras.

Mientras tanto, la Universidad del Sur de California A.I. El sistema de detección promete observar tanto el contexto como el contenido.

"Nuestro punto de partida en esta investigación es un método estándar, que codifica secuencias de tokens de texto en números vectores, que [luego] se utilizan para generar probabilísticamente la etiqueta de clase de 'odio' o 'no odio'”, Brandon dicho. "Utilizando un algoritmo de 'explicación post-hoc' que desarrollaron los miembros de nuestro equipo, programamos el discurso de odio clasificadores para dar menos importancia a los identificadores de grupo y más importancia al contexto que rodea al grupo. identificadores”.

El sistema fue probado analizando artículos del sitio web supremacista blanco Stormfront y el reportaje más neutral del New York Times. Sus creadores afirman que era capaz de separar el contenido de odio del que no lo es con un nivel de precisión del 90%.

Una guerra en dos frentes

Sin embargo, no son sólo los investigadores independientes los que están desarrollando herramientas para detectar el discurso de odio. Las redes sociales también están trabajando para solucionar este problema.

“Ahora eliminamos 10 millones de piezas de El discurso del odio una cuarta parte”, dijo a Digital Trends Amit Bhattacharyya, director de gestión de productos del grupo de integridad comunitaria de Facebook. “De eso, alrededor del 90% se detectó antes de que los usuarios nos lo informaran. Hemos invertido más y mejorado en la detección proactiva de contenido potencialmente infractor, incluido el discurso de odio”.

Las técnicas de detección de Facebook, explicó Bhattacharyya, se centran en cosas como la coincidencia de texto e imágenes, en las que busca imágenes y cadenas de texto idénticas que ya se hayan eliminado como discurso de odio en otras partes de la página. plataforma. También utiliza clasificadores de aprendizaje automático que analizan el lenguaje y otros tipos de contenido. Facebook también tiene puntos de datos adicionales, ya que puede observar las reacciones y comentarios a una publicación para ver cómo Estos coinciden estrechamente con frases, patrones y ataques comunes vistos anteriormente en contenido que viola su discurso de odio. políticas.

Twitter también utiliza herramientas de aprendizaje automático para combatir el contenido que incita al odio. Parte de esto se basa en palabras clave, pero Twitter además analiza el comportamiento del usuario para intentar determinar qué tan cómodos se sienten los usuarios en las interacciones. Por ejemplo, un usuario que tuitea a otro usuario y recibe una respuesta y luego un seguimiento será visto de manera diferente a uno que tuitea directamente a otra persona repetidamente pero es ignorado o bloqueado. Estas dinámicas de comportamiento pueden ayudar a revelar patrones de acoso o comportamiento dirigido no deseado que Twitter puede utilizar para comprender mejor el contenido de lo que sucede en su plataforma.

Sin embargo, un portavoz de Twitter dijo a Digital Trends que los mensajes marcados como ofensivos se revisan manualmente. por humanos (en un orden priorizado por la máquina) para determinar que han sido identificados correctamente como semejante.

Un desafío continuo

Bhattacharyya de Facebook dijo que la red social ha logrado “grandes avances” a lo largo de los años en la lucha contra el discurso de odio en sus plataformas y que su equipo está orgulloso de lo que ha logrado. Al mismo tiempo, Bhattacharyya dijo: “Nuestro trabajo nunca está completo y sabemos que es posible que nunca podamos evitar que cada contenido de odio aparezca en nuestras plataformas”.

La deprimente realidad es que el discurso de odio en línea probablemente nunca se resolverá como un problema. Al menos, no sin que la gente haga un cambio. Internet podría, en su detrimento, amplificar ciertas voces humanas e incorporar y codificar prejuicios humanos particulares, pero eso se debe a que es humanidad en general. Cualquier problema que exista en el mundo real, hasta cierto punto, llegará al mundo en línea.

Dicho esto, tomar medidas enérgicas contra el comportamiento abusivo en línea no tiene por qué ser reactivo. También puede ser proactivo. Por ejemplo, el portavoz de Twitter que habló con Digital Trends señaló que, de los usuarios que tienen cuentas prohibidas durante 12 horas debido a infracciones a las reglas, la mayoría vuelve a ofender. Esto sugiere que pueden ocurrir momentos de enseñanza. Ya sea que realmente inciten a los usuarios a reexaminar su comportamiento o simplemente impidan que se comporten de una manera que infrinja las reglas, de todos modos reduce el comportamiento molesto que infringe las reglas en la plataforma.

El portavoz también dijo que Twitter ahora está explorando un sistema basado en "empujones". Esto ofrecerá indicaciones antes de que los usuarios tuiteen, advirtiéndoles que lo que están a punto de publicar podría infringir las reglas de Twitter. Esto podría deberse a una palabra clave en particular. Al compartir un artículo que no has abierto a través de Twitter, también puede aparecer una advertencia. Este sistema de empujón se probó recientemente con un pequeño número de usuarios. Si bien la prueba ya ha concluido, existe la posibilidad de que se implemente como una función para todos los usuarios en el futuro.

El futuro del discurso en Internet

La cuestión del discurso de odio y otros discursos ofensivos en las redes sociales sólo se volverá más apremiante. En Francia, por ejemplo, un La ley fue aprobada en mayo. que exige que cierto contenido criminal sea eliminado de las redes sociales en el plazo de una hora. Si no es así, las empresas de redes sociales en cuestión se enfrentarán a una multa de hasta el 4% de sus ingresos globales. Otro contenido "manifiestamente ilícito" debe eliminarse en un plazo de 24 horas. La ministra de Justicia, Nicole Belloubet, dijo al Parlamento francés que la ley ayudaría a reducir el discurso de odio en línea.

Hasta donde sabemos, ninguna ley de este tipo ha sido propuesta seriamente en Estados Unidos. Pero a medida que las redes sociales se conviertan en una parte cada vez más grande e influyente de la forma en que nos comunicamos, tomar medidas enérgicas contra el comportamiento tóxico será cada vez más importante. Este no es un problema que puedan abordar únicamente moderadores humanos. Pero también es algo que, cuando se lleva a cabo utilizando IA, debe hacerse con cuidado, no sólo para garantizar que mejore el problema, sino también para garantizar que no lo empeore.

El futuro del discurso en Internet depende de ello.

Recomendaciones de los editores

• Cómo la IA Creó ese increíble video destacado de deportes que no puedes dejar de ver.