Moderação de mídia social: o que a IA pode fazer? Catch - e onde isso falha?

click fraud protection
Melhores ferramentas de gerenciamento de mídia social para pequenas empresas
Panithan Fakseemuang/123RF
Críticas ao discurso de ódio, extremismo, notícias falsas e outros conteúdos que violam os padrões da comunidade tem as maiores redes de mídia social fortalecendo políticas, contratando pessoal e retrabalhado algoritmos. Na série Social (Net) Work, exploramos a moderação nas redes sociais, analisando o que funciona e o que não funciona, ao mesmo tempo que examinamos possibilidades de melhoria.

A partir de um vídeo de uma vítima de suicídio no YouTube para anúncios direcionados a “odiadores de judeus”, sobre Facebook, as plataformas de mídia social são infestadas de conteúdo impróprio que consegue escapar. Em muitos casos, a resposta da plataforma é implementar algoritmos mais inteligentes para melhor identificar conteúdo impróprio. Mas o que a inteligência artificial é realmente capaz de capturar, até que ponto devemos confiar nela e onde ela falha miseravelmente?

“I.A. pode captar linguagem ofensiva e reconhecer imagens muito bem. O poder de identificar a imagem está aí”, diz Winston Binch, diretor digital da

Alemão, uma agência criativa que usa IA. na criação de campanhas digitais para marcas como Target e Taco Bell. “A área cinzenta se torna a intenção.”

IA pode ler texto e imagens, mas a precisão varia

Usando processamento de linguagem natural, A.I. pode ser treinado para reconhecer texto em vários idiomas. Um programa concebido para detectar publicações que violem as directrizes da comunidade, por exemplo, pode ser ensinado a detectar insultos raciais ou termos associados a propaganda extremista.

tendências móveis Google Assistant AI

IA também podem ser treinados para reconhecer imagens, prevenir algumas formas de nudez ou reconhecer símbolos como a suástica. Funciona bem em muitos casos, mas não é infalível. Por exemplo, o Google Fotos foi criticado por marcar imagens de pessoas de pele escura com a palavra-chave "gorila." Anos depois, o Google ainda não encontrou uma solução para o problema, optando por remover o a capacidade do programa de marcar macacos e gorilas inteiramente.

Os algoritmos também precisam ser atualizados à medida que o significado de uma palavra evolui ou para entender como uma palavra é usada no contexto. Por exemplo, os utilizadores LGBT do Twitter notaram recentemente uma falta de resultados de pesquisa para #gay e #bissexual, entre outros termos, levando alguns a sentir que o serviço os estava a censurar. O Twitter pediu desculpas pelo erro, culpando-o um algoritmo desatualizado isso identificava falsamente postagens marcadas com os termos como potencialmente ofensivas. O Twitter disse que seu algoritmo deveria considerar o termo no contexto da postagem, mas não conseguiu fazer isso com essas palavras-chave.

IA é tendencioso

A falha na marcação do gorila traz à tona outra deficiência importante – IA é tendencioso. Você pode se perguntar como um computador pode ser tendencioso, mas a IA. é treinado observando as pessoas completando tarefas ou inserindo os resultados dessas tarefas. Por exemplo, programas para identificar objetos em uma fotografia são frequentemente treinados alimentando o sistema com milhares de imagens que foram inicialmente marcadas manualmente.

O elemento humano é o que torna possível a IA. para realizar tarefas, mas ao mesmo tempo confere-lhe um viés humano.

O elemento humano é o que torna possível a IA. para completar tarefas anteriormente impossíveis em software típico, mas esse mesmo elemento humano também inadvertidamente dá tendência humana a um computador. Uma IA O programa é tão bom quanto os dados de treinamento – se o sistema for alimentado em grande parte com imagens de homens brancos, por exemplo, o programa terá dificuldade em identificar pessoas com outros tons de pele.

“Uma deficiência da IA, em geral, quando se trata de moderar qualquer coisa, desde comentários a usuários conteúdo, é que ele é inerentemente opinativo por design”, disse PJ Ahlberg, técnico executivo diretor de Stink Studios Nova York, uma agência que usa IA. para criar bots de mídia social e moderar campanhas de marca.

Depois que um conjunto de treinamento é desenvolvido, esses dados são frequentemente compartilhados entre os desenvolvedores, o que significa que o preconceito se espalha para vários programas. Ahlberg diz que esse fator significa que os desenvolvedores não conseguem modificar esses conjuntos de dados em programas que usam múltiplas IAs. sistemas, tornando difícil remover quaisquer preconceitos após descobri-los.

IA não é possível determinar a intenção

IA pode detectar uma suástica numa fotografia – mas o software não consegue determinar como ela está sendo usada. O Facebook, por exemplo, pediu desculpas recentemente depois removendo uma postagem que continha uma suástica mas foi acompanhado por um apelo em texto para impedir a propagação do ódio.

Este é um exemplo do fracasso da IA. reconhecer a intenção. O Facebook até marcou uma foto de a estátua de Netuno como sexualmente explícito. Além disso, os algoritmos podem sinalizar involuntariamente trabalhos fotojornalísticos devido a símbolos de ódio ou violência que podem aparecer nas imagens.

Imagens históricas compartilhadas para fins educacionais são outro exemplo — em 2016, o Facebook causou polêmica após removeu a histórica fotografia da “menina napalm” várias vezes antes que a pressão dos usuários obrigasse a empresa a mudar sua postura linha-dura em relação à nudez e restabelecer a foto.

IA tende a servir como uma triagem inicial, mas muitas vezes ainda são necessários moderadores humanos para determinar se o conteúdo realmente viola os padrões da comunidade. Apesar das melhorias na IA, este não é um fato que esteja mudando. O Facebook, por exemplo, está aumentando o tamanho de sua equipe de revisão para 20 mil este ano, o dobro da contagem do ano passado.

IA está ajudando os humanos a trabalhar mais rápido

Um cérebro humano ainda pode ser necessário, mas a IA. tornou o processo mais eficiente. IA pode ajudar a determinar quais postagens exigem revisão humana, bem como ajudar a priorizar essas postagens. Em 2017, o Facebook compartilhou isso IA projetado para detectar tendências suicidas resultou em 100 chamadas para equipes de emergência em um mês. No momento, Facebook disse que o A.I. também estava ajudando a determinar quais postagens veem primeiro um revisor humano.

Amigo preocupado do Facebook
Imagens Getty/Blackzheep

Imagens Getty/Blackzheep

“[I.A. já percorreu um longo caminho e está definitivamente progredindo, mas a realidade é que você ainda precisa muito de um elemento humano para verificar que você está modificando as palavras certas, o conteúdo certo e a mensagem certa”, disse Chris Mele, diretor administrativo da Stink Estúdios. “Onde parece que a IA O que funciona melhor é facilitar os moderadores humanos e ajudá-los a trabalhar mais rápido e em maior escala. Eu não acho que IA está perto de ser 100% automatizado em qualquer plataforma.”

IA é rápido, mas a ética é lenta

A tecnologia, em geral, tende a crescer a um ritmo mais rápido do que as leis e a ética conseguem acompanhar – e a moderação nas redes sociais não é exceção. Binch sugere que esse fator pode significar um aumento na demanda por funcionários com formação em humanidades ou ética, algo que a maioria dos programadores não tem.

Nas suas próprias palavras: “Estamos num ponto em que o ritmo e a velocidade são tão rápidos que precisamos de garantir que a componente ética não fica muito para trás”.

Recomendações dos Editores

  • Quando os direitos autorais dificultam a localização de trilhas sonoras de vídeo, esta IA. músico pode ajudar
  • De 8K a IA, isso é o que pode chegar às câmeras em 2019
  • Os computadores em breve serão mais espertos que nós. Isso faz com que uma I.A. rebelião inevitável?