Обман нейронних мереж у фізичному світі
У їхній газеті, команда дослідників Массачусетського технологічного інституту описує алгоритм, який змінює текстуру об’єкта настільки, щоб він міг обдурити алгоритми класифікації зображень. Докази того, що команда називає «конкурентними прикладами», виявляються незрозумілими для систем розпізнавання зображень, незалежно від кута, під яким розглядаються об’єкти, наприклад черепаха, надрукована на 3D-вимірі, яку постійно ідентифікують як гвинтівка. Це погана новина для систем безпеки, які використовують ШІ. для виявлення потенційних загроз безпеці.
1 з 5
«Насправді справа не тільки в тому, що вони уникають правильної категоризації — їх класифікують як обраних противників класу, тож ми могли б перетворити їх на що завгодно, якби захотіли», — сказав дослідник Аніш Аталійє Digital Тенденції. «Класи гвинтівки та еспресо вибиралися навмання. Змагальні приклади були створені за допомогою алгоритму під назвою «Очікування над трансформацією» (EOT), який представлено в нашій дослідницькій статті. Алгоритм використовує будь-яку текстуровану 3D-модель, наприклад черепаху, і знаходить спосіб непомітно змінити текстура така, що вона вводить в оману дану нейронну мережу, змушуючи її вважати, що черепаха є будь-якою обраною ціллю клас».
Пов'язані
- Крихітний крокуючий робот Массачусетського технологічного інституту згодом зможе створити інших, більших роботів
- Вченим вдалося надрукувати на 3D-вимірі справжнє серце за допомогою клітин людини
Незважаючи на те, що було б смішно визнати надруковану на 3D-принтері черепаху гвинтівкою, проте дослідники зазначають, що наслідки є до біса жахливими. Уявіть, наприклад, систему безпеки, яка використовує штучний інтелект, щоб позначати зброю чи бомби, але її можна обманом змусити подумати, що це помідори, чашки кави чи навіть зовсім невидимі. Це також підкреслює слабкість систем розпізнавання зображень, на які безпілотні автомобілі покладаються на високій швидкості, щоб розрізняти навколишній світ.
Рекомендовані відео
«Наша робота демонструє, що змагальні приклади є більшою проблемою, ніж багато хто думав раніше, і це показує, що змагальні приклади для нейронні мережі викликають справжнє занепокоєння у фізичному світі, — продовжив Аталій. «Ця проблема — не просто інтелектуальна цікавість: це проблема, яку потрібно вирішити, щоб практичні системи, які використовують глибоке навчання, були захищені від атак».
Рекомендації редакції
- Ford може використовувати ваш голос, щоб захистити колеса вашого автомобіля від крадіжки
- Прорив у біодруку може уможливити 3D-друк замінних органів
- Нарешті з’явився спосіб відслідковувати «непростежувану» 3D-друковану зброю
Оновіть свій спосіб життяDigital Trends допомагає читачам стежити за динамічним світом технологій завдяки всім останнім новинам, цікавим оглядам продуктів, проникливим редакційним статтям і унікальним у своєму роді коротким оглядам.
