Reconnaissance d'images A.I. A une faiblesse. Cela pourrait résoudre le problème

Vous connaissez probablement contrefaçons profondes, les « médias synthétiques » modifiés numériquement, capables de tromper les gens en leur faisant voir ou entendre des choses qui ne se sont jamais réellement produites. Les exemples contradictoires sont comme des deepfakes pour l’IA de reconnaissance d’images. systèmes - et même s'ils ne nous semblent même pas un peu étranges, ils sont capables de dérouter les machines.

Il y a plusieurs années, des chercheurs du laboratoire d’informatique et d’intelligence artificielle (CSAIL) du Massachusetts Institute of Technology ont découvert que ils pourraient tromper même des algorithmes de reconnaissance d'images sophistiqués et les amener à confondre les objets simplement en modifiant légèrement leur surface. texture. Ce n’étaient pas non plus des confusions mineures.

Dans la démonstration des chercheurs, ils ont montré qu’il était possible d’obtenir un réseau neuronal de pointe pour regarder une tortue imprimée en 3D et voir à la place un fusil. Ou regarder une balle de baseball et repartir avec la conclusion qu'il s'agit d'un expresso. Si une telle agnosie visuelle se manifestait chez un humain, ce serait le genre d’étude de cas neurologique qui trouverait sa place dans un livre comme le classique d’Oliver Sacks.

Les exemples contradictoires représentent une vulnérabilité fascinante en ce qui concerne la façon dont l’IA visuelle. les systèmes voient le monde. Mais ils représentent également, comme on peut s'y attendre d'un défaut qui confond une tortue jouet fantaisie avec un fusil, un défaut potentiellement alarmant. C’est un problème que les chercheurs cherchent désespérément à trouver comment le corriger.

Aujourd’hui, un autre groupe de chercheurs du MIT a mis au point un nouveau système qui pourrait aider à éviter les entrées « contradictoires ». Ce faisant, ils ont imaginé un cas d’utilisation franchement terrifiant pour des exemples contradictoires, qui pourrait, s’il était mis en œuvre par des pirates informatiques, être utilisé avec un effet mortel.

Le scénario est le suivant: les voitures autonomes perçoivent de mieux en mieux le monde qui les entoure. Mais que se passerait-il si, tout à coup, les caméras embarquées basées sur des entrées visuelles dans une voiture étaient délibérément ou accidentellement rendues incapables d'identifier ce qui se trouvait devant elles? Une mauvaise catégorisation d'un objet sur la route – par exemple en ne parvenant pas à identifier et à placer correctement un piéton – pourrait potentiellement se terminer très, très mal.

Repousser les attaques adverses

« Notre groupe travaille depuis plusieurs années à l’interface de l’apprentissage profond, de la robotique et de la théorie du contrôle, notamment travailler sur l’utilisation du RL profond [apprentissage par renforcement] pour entraîner des robots à naviguer de manière socialement consciente autour des piétons », Michael Everett, chercheur postdoctoral au Département d'aéronautique et d'astronautique du MIT, a déclaré à Digital Trends. « Alors que nous réfléchissions à la manière d'appliquer ces idées à des véhicules plus grands et plus rapides, les questions de sécurité et de robustesse sont devenues le plus grand défi. Nous avons vu une excellente opportunité d’étudier ce problème dans l’apprentissage profond du point de vue d’un contrôle robuste et d’une optimisation robuste.

L'apprentissage par renforcement est une approche de l'apprentissage automatique basée sur des essais et des erreurs qui, de manière célèbre, a été utilisée par les chercheurs pour apprendre aux ordinateurs à jouer aux jeux vidéo sans qu'on lui enseigne explicitement comment. Le nouvel algorithme d’apprentissage par renforcement et de réseau neuronal profond de l’équipe s’appelle CARRL, abréviation de Certified Adversarial Robustness for Deep Reinforcement Learning. En substance, c'est un réseau neuronal avec une dose supplémentaire de scepticisme quant à ce qu’il voit.

Dans une démonstration de leur travail, soutenue par la Ford Motor Company, les chercheurs ont construit un algorithme d'apprentissage par renforcement capable de jouer au jeu Atari classique. Pong. Mais contrairement aux précédents joueurs du jeu RL, dans leur version, ils ont appliqué une attaque contradictoire qui a déstabilisé l'IA. l'évaluation par l'agent de la position de la balle dans le jeu, lui faisant croire qu'elle était quelques pixels plus basse qu'elle n'était en réalité était. Normalement, cela mettrait l'A.I. joueur dans une situation désavantageuse majeure, ce qui lui fait perdre à plusieurs reprises face à l'adversaire informatique. Dans ce cas, cependant, l'agent RL réfléchit à tous les endroits où se trouve le ballon. pourrait être, puis place la pagaie à un endroit où elle ne manquera pas quel que soit le changement de position.

Bien entendu, les jeux sont bien plus simplifiés que le monde réel, comme l’admet volontiers Everett.

« Le monde réel comporte bien plus d’incertitudes que les jeux vidéo, du fait de capteurs imparfaits ou d’attaques contradictoires, qui peuvent suffire à tromper le deep learning. systèmes pour prendre des décisions dangereuses – [comme] peindre au pistolet un point sur la route [ce qui peut amener une voiture autonome] à dévier dans une autre voie », a-t-il déclaré. expliqué. « Notre travail présente un algorithme RL approfondi qui est certifié robuste aux mesures imparfaites. L'innovation clé est que, plutôt que de se fier aveuglément à ses mesures, comme c'est le cas aujourd'hui, notre algorithme pense à travers toutes les mesures possibles qui auraient pu être effectuées, et prend une décision qui considère le pire des cas résultat."

Dans une autre démonstration, ils ont montré que l'algorithme peut, dans un contexte de conduite simulée, éviter les collisions même lorsque ses capteurs sont attaqués par un adversaire qui souhaite que l'agent entre en collision. « Cette nouvelle catégorie d’algorithmes robustes d’apprentissage en profondeur sera essentielle pour apporter des avancées prometteuses en matière d’IA. techniques dans le monde réel », a déclaré Everett.

Il reste encore du travail à faire

Ce travail n’en est qu’à ses débuts et il reste encore beaucoup à faire. Il existe également un problème potentiel selon lequel cela pourrait, dans certains scénarios, provoquer l'échec de l'IA. agent à se comporter de manière trop conservatrice, le rendant ainsi moins efficace. Néanmoins, il s’agit d’une recherche précieuse qui pourrait avoir de profondes répercussions à l’avenir.

« [Il existe d'autres projets de recherche] qui se concentrent sur la protection contre [certains types] d'exemples contradictoires, où le travail du réseau neuronal consiste à classez une image et elle est soit bonne, soit fausse, et l'histoire s'arrête là », a déclaré Everett, interrogé sur le classique tortue contre fusil. problème. « Notre travail s'appuie sur certaines de ces idées, mais se concentre sur l'apprentissage par renforcement, dans lequel l'agent doit agir et obtient une récompense s'il réussit. Nous examinons donc une question à plus long terme: « Si je dis qu’il s’agit d’une tortue, quelles sont les implications futures de cette décision? » et c’est là que notre algorithme peut vraiment aider. Notre algorithme réfléchirait aux pires implications futures du choix d'une tortue ou d'un fusil, ce qui pourrait constituer une étape importante vers la résolution d’importants problèmes de sécurité lorsque l’IA. les décisions des agents ont un impact à long terme effet."

Un article décrivant la recherche est disponible en lecture sur le référentiel électronique de préimpression arXiv.

Recommandations des rédacteurs

• Une IA analogique? Ça paraît fou, mais ça pourrait être l'avenir
• Voici ce qu’une IA analysant les tendances pense que ce sera la prochaine grande nouveauté en matière de technologie
• La Californie a un problème de panne de courant. Les batteries à flux géantes pourraient-elles être la solution?
• Architecture algorithmique: Faut-il laisser l’IA concevoir des bâtiments pour nous?
• L'IA qui détecte les émotions est là, et cela pourrait être lors de votre prochain entretien d'embauche