Modération des réseaux sociaux: que peut faire l’IA? Catch – Et où échoue-t-il ?

Meilleurs outils de gestion des médias sociaux pour les petites entreprises
Panithan Fakseemuang/123RF
Critiques pour discours de haine, extrémisme, fausses nouvelles et autres contenus violant les normes de la communauté dispose des plus grands réseaux de médias sociaux qui renforcent les politiques, ajoutent du personnel et retravaillent algorithmes. Dans la série Social (Net) Work, nous explorons la modération des médias sociaux, en examinant ce qui fonctionne et ce qui ne fonctionne pas, tout en examinant les possibilités d'amélioration.

De vidéo d'une victime de suicide sur YouTube pour publicités ciblant les « haineux des Juifs » sur Facebook, les plateformes de médias sociaux sont en proie à des contenus inappropriés qui parviennent à passer entre les mailles du filet. Dans de nombreux cas, la réponse de la plateforme consiste à mettre en œuvre des algorithmes plus intelligents pour mieux identifier les contenus inappropriés. Mais qu’est-ce que l’intelligence artificielle est réellement capable de capturer, dans quelle mesure devrions-nous lui faire confiance et où échoue-t-elle lamentablement ?

« L’IA. peut capter un langage offensant et peut très bien reconnaître les images. Le pouvoir d'identification de l'image est là », déclare Winston Binch, directeur numérique de Allemand, une agence de création qui utilise l'IA. dans la création de campagnes numériques pour des marques de Target à Taco Bell. "La zone grise devient l'intention."

I.A. peut lire à la fois du texte et des images, mais la précision varie

Grâce au traitement du langage naturel, l'IA. peuvent être entraînés à reconnaître du texte dans plusieurs langues. Un programme conçu pour détecter les publications qui enfreignent les directives de la communauté, par exemple, peut apprendre à détecter les insultes racistes ou les termes associés à la propagande extrémiste.

tendances mobiles assistant google ai

I.A. peuvent également être entraînés à reconnaître des images, à prévenir certaines formes de nudité ou à reconnaître des symboles comme la croix gammée. Cela fonctionne bien dans de nombreux cas, mais ce n’est pas infaillible. Par exemple, Google Photos a été critiqué pour avoir marqué des images de personnes à la peau foncée avec le mot-clé "gorille." Des années plus tard, Google n’a toujours pas trouvé de solution au problème, choisissant plutôt de supprimer le la capacité du programme à marquer des singes et des gorilles entièrement.

Les algorithmes doivent également être mis à jour à mesure que la signification d’un mot évolue ou pour comprendre comment un mot est utilisé dans son contexte. Par exemple, les utilisateurs LGBT de Twitter ont récemment remarqué un manque de résultats de recherche pour les termes #gay et #bisexual, entre autres termes, ce qui a amené certains à penser que le service les censurait. Twitter s'est excusé pour l'erreur et l'a imputé à un algorithme obsolète il s'agissait d'identifier à tort les messages étiquetés avec les termes comme potentiellement offensants. Twitter a déclaré que son algorithme était censé considérer le terme dans le contexte de la publication, mais qu'il n'avait pas réussi à le faire avec ces mots-clés.

I.A. est biaisé

L’échec du marquage des gorilles soulève une autre lacune importante: I.A. est biaisé. Vous vous demandez peut-être comment un ordinateur peut être biaisé, mais l’IA est formé en regardant les gens accomplir des tâches ou en saisissant les résultats de ces tâches. Par exemple, les programmes permettant d'identifier des objets sur une photographie sont souvent entraînés en alimentant le système en milliers d'images initialement étiquetées à la main.

L’élément humain est ce qui permet à l’I.A. pour accomplir des tâches mais lui donne en même temps un parti pris humain.

L’élément humain est ce qui permet à l’I.A. pour accomplir des tâches auparavant impossibles avec un logiciel classique, mais ce même élément humain donne également par inadvertance un biais humain à un ordinateur. Une I.A. La qualité du programme dépend des données d'entraînement: si le système était largement alimenté par des images d'hommes blancs, par exemple, le programme aurait du mal à identifier les personnes ayant d'autres tons de peau.

"Une lacune de l'IA, en général, lorsqu'il s'agit de modérer quoi que ce soit, des commentaires aux utilisateurs. contenu, c'est qu'il est intrinsèquement influencé par la conception », a déclaré PJ Ahlberg, directeur technique Directeur de Stink Studios New York, une agence qui utilise l'IA. pour créer des robots de médias sociaux et modérer les campagnes de marque.

Une fois qu'un ensemble de formation est développé, ces données sont souvent partagées entre les développeurs, ce qui signifie que le biais s'étend à plusieurs programmes. Ahlberg dit que ce facteur signifie que les développeurs ne peuvent pas modifier ces ensembles de données dans les programmes utilisant plusieurs systèmes d'IA. systèmes, ce qui rend difficile la suppression des préjugés après leur découverte.

I.A. ne peut pas déterminer l'intention

I.A. peut détecter une croix gammée sur une photographie – mais le logiciel ne peut pas déterminer comment elle est utilisée. Facebook, par exemple, s'est récemment excusé après supprimer un message contenant une croix gammée mais était accompagné d'un texte plaidant pour arrêter la propagation de la haine.

Ceci est un exemple de l’échec d’A.I. reconnaître l’intention. Facebook a même tagué une photo de la statue de Neptune comme sexuellement explicite. De plus, les algorithmes peuvent involontairement signaler le travail de photojournalisme en raison de symboles de haine ou de violence pouvant apparaître dans les images.

Les images historiques partagées à des fins éducatives sont un autre exemple: en 2016, Facebook a provoqué une controverse. supprimé la photographie historique de la « fille au napalm » à plusieurs reprises avant que la pression des utilisateurs n'oblige l'entreprise à changer sa position dure sur la nudité et à rétablir la photo.

I.A. a tendance à servir de sélection initiale, mais des modérateurs humains sont souvent encore nécessaires pour déterminer si le contenu viole réellement les normes de la communauté. Malgré les améliorations apportées à l’IA, ce n’est pas un fait qui change. Facebook, par exemple, augmente la taille de son équipe d’évaluation à 20 000 personnes cette année, soit le double du nombre de l’année dernière.

I.A. aide les humains à travailler plus vite

Un cerveau humain est peut-être encore nécessaire, mais l’IA a rendu le processus plus efficace. I.A. peut aider à déterminer quelles publications nécessitent un examen humain, ainsi qu'à hiérarchiser ces publications. En 2017, Facebook a partagé cela I.A. conçu pour détecter les tendances suicidaires avait donné lieu à 100 appels aux secouristes en un mois. À l'époque, Facebook a dit que l'A.I. aidait également à déterminer quels messages étaient consultés en premier par un évaluateur humain.

Ami concerné par Facebook
Getty Images/Blackzhep

Getty Images/Blackzhep

« [A.I. a] parcouru un long chemin et fait définitivement des progrès, mais la réalité est que vous avez toujours vraiment besoin d'un élément humain pour vérifier que vous modifiez les bons mots, le bon contenu et le bon message », a déclaré Chris Mele, directeur général de Stink Les studios. "Là où l'on sent l'IA. Ce qui fonctionne le mieux, c'est de faciliter les modérateurs humains et de les aider à travailler plus rapidement et à plus grande échelle. Je ne pense pas que l'IA. est presque 100 % automatisé sur n’importe quelle plate-forme. »

I.A. c'est rapide, mais l'éthique est lente

La technologie, en général, a tendance à se développer à un rythme plus rapide que les lois et l’éthique ne peuvent suivre – et la modération des médias sociaux ne fait pas exception. Binch suggère que ce facteur pourrait signifier une demande accrue d’employés ayant une formation en sciences humaines ou en éthique, ce que la plupart des programmeurs n’ont pas.

Comme il l’a dit: « Nous sommes maintenant à un point où le rythme, la vitesse, est si rapide que nous devons nous assurer que la composante éthique ne traîne pas trop loin derrière. »

Recommandations des rédacteurs

  • Lorsque les droits d'auteur rendent difficile la recherche de bandes sonores vidéo, cette IA. un musicien peut aider
  • Du 8K à l'IA, voici ce qui pourrait arriver aux caméras en 2019
  • Les ordinateurs vont bientôt nous déjouer. Est-ce que ça fait une I.A. une rébellion inévitable?