Обман нейронных сетей в физическом мире
В своей статьеКоманда исследователей Массачусетского технологического института описывает алгоритм, который меняет текстуру объекта ровно настолько, чтобы обмануть алгоритмы классификации изображений. Доказательство того, что команда называет «состязательными примерами», оказывается сбивающим с толку системами распознавания изображений. независимо от угла, под которым рассматриваются объекты — например, 3D-печатная черепаха, которую постоянно идентифицируют как винтовка. Это плохая новость для систем безопасности, использующих искусственный интеллект. для обнаружения потенциальных угроз безопасности.
1 из 5
«На самом деле они не просто избегают правильной категоризации — их классифицируют как избранных противников. класс, поэтому мы могли бы превратить их во что угодно, если бы захотели», — рассказал Digital исследователь Аниш Атали. Тенденции. «Классы винтовки и эспрессо были выбраны случайным образом. Состязательные примеры были созданы с использованием алгоритма «ожидание превыше трансформации» (EOT), который представлен в нашей исследовательской работе. Алгоритм берет любую текстурированную 3D-модель, например черепаху, и находит способ слегка изменить ее. текстура такая, что она сбивает данную нейронную сеть с толку, заставляя думать, что черепаха - это любая выбранная цель сорт."
Связанный
- Крошечный шагающий робот Массачусетского технологического института может в конечном итоге создать других, более крупных роботов
- Ученым удалось напечатать на 3D-принтере настоящее сердце, используя человеческие клетки
Хотя было бы забавно, если бы черепаху, напечатанную на 3D-принтере, признали винтовкой, исследователи отмечают, что последствия чертовски ужасающие. Представьте себе, например, систему безопасности, которая использует ИИ для обнаружения оружия или бомб, но которую можно обмануть, заставив думать, что это помидоры, чашки кофе или даже совершенно невидимые. Это также подчеркивает слабость систем распознавания изображений, на которые беспилотные автомобили будут полагаться на высокой скорости, чтобы различать мир вокруг них.
Рекомендуемые видео
«Наша работа показывает, что состязательные примеры представляют собой более серьезную проблему, чем многие люди думали ранее, и показывает, что состязательные примеры для нейронные сети представляют собой реальную проблему в физическом мире», — продолжила Аталия. «Эта проблема — не просто интеллектуальное любопытство: это проблема, которую необходимо решить, чтобы практические системы, использующие глубокое обучение, были защищены от атак».
Рекомендации редакции
- Ford может использовать ваш голос, чтобы защитить колеса вашего автомобиля от кражи
- Прорыв в биопечати может позволить 3D-печать замещающих органов
- Наконец-то появился способ отследить «неотслеживаемое» оружие, напечатанное на 3D-принтере
Обновите свой образ жизниDigital Trends помогает читателям быть в курсе быстро меняющегося мира технологий благодаря всем последним новостям, забавным обзорам продуктов, содержательным редакционным статьям и уникальным кратким обзорам.
