Tromper les réseaux de neurones dans le monde physique
Dans leur journal, l'équipe de chercheurs du MIT décrit un algorithme qui modifie la texture d'un objet juste assez pour pouvoir tromper les algorithmes de classification d'images. La preuve de ce que l’équipe appelle des « exemples contradictoires » s’avère déroutante pour les systèmes de reconnaissance d’images, quel que soit l’angle sous lequel les objets sont vus – comme la tortue imprimée en 3D qui est systématiquement identifiée comme un fusil. C’est une mauvaise nouvelle pour les systèmes de sécurité qui utilisent l’IA. pour repérer les menaces potentielles à la sécurité.
1 de 5
« En fait, ce n’est pas seulement qu’ils évitent une catégorisation correcte – ils sont classés comme un adversaire choisi. classe, donc nous aurions pu les transformer en autre chose si nous l’avions voulu », a déclaré le chercheur Anish Athalye à Digital. Les tendances. « Les classes de carabine et d’espresso ont été choisies uniformément au hasard. Les exemples contradictoires ont été produits à l’aide d’un algorithme appelé Expectation Over Transformation (EOT), présenté dans notre document de recherche. L'algorithme prend en compte n'importe quel modèle 3D texturé, comme une tortue, et trouve un moyen de modifier subtilement la texture telle qu'elle confond un réseau neuronal donné en lui faisant croire que la tortue est n'importe quelle cible choisie classe."
En rapport
- Le petit robot marcheur du MIT pourrait éventuellement construire d’autres robots plus gros
- Des scientifiques parviennent à imprimer en 3D un véritable cœur à l’aide de cellules humaines
Même s’il peut être amusant qu’une tortue imprimée en 3D soit reconnue comme un fusil, les chercheurs soulignent que les implications sont sacrément terrifiantes. Imaginez, par exemple, un système de sécurité qui utilise l’IA pour signaler des armes à feu ou des bombes, mais qui peut être trompé en lui faisant croire qu’il s’agit plutôt de tomates, de tasses de café, ou même entièrement invisibles. Cela souligne également la fragilité des systèmes de reconnaissance d’images sur lesquels les voitures autonomes s’appuieront, à grande vitesse, pour discerner le monde qui les entoure.
Vidéos recommandées
« Notre travail démontre que les exemples contradictoires constituent un problème plus important que ce que beaucoup de gens pensaient auparavant, et il montre que les exemples contradictoires pour les réseaux de neurones sont une réelle préoccupation dans le monde physique », a poursuivi Athalye. "Ce problème n'est pas seulement une curiosité intellectuelle: c'est un problème qui doit être résolu pour que les systèmes pratiques qui utilisent l'apprentissage profond soient à l'abri des attaques."
Recommandations des rédacteurs
- Ford peut utiliser votre voix pour rendre les roues de votre voiture antivol
- Une percée dans la bio-impression pourrait permettre l’impression 3D d’organes de remplacement
- Il existe enfin un moyen de retracer les armes imprimées en 3D « introuvables »
Améliorez votre style de vieDigital Trends aide les lecteurs à garder un œil sur le monde en évolution rapide de la technologie avec toutes les dernières nouvelles, des critiques de produits amusantes, des éditoriaux perspicaces et des aperçus uniques.
