Распознавание изображений Имеет слабость. Это может исправить это

Вы, вероятно, знакомы с дипфейки, измененные в цифровом формате «синтетические медиа», способные обмануть людей, заставив их увидеть или услышать то, чего на самом деле никогда не происходило. Состязательные примеры подобны дипфейкам для искусственного интеллекта, распознающего изображения. системы — и хотя они не кажутся нам даже немного странными, они способны чертовски сбить с толку машины.

Несколько лет назадИсследователи из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) обнаружили, что они могли обмануть даже сложные алгоритмы распознавания изображений, запутав объекты, просто слегка изменив их поверхность. текстура. Это тоже не были мелкие путаницы.

В ходе демонстрации исследователи показали, что можно заставить современную нейронную сеть смотреть на напечатанную на 3D-принтере черепаху и вместо этого видеть винтовку. Или посмотреть на бейсбольный мяч и прийти к выводу, что это эспрессо. Если бы такая зрительная агнозия проявилась у человека, это был бы своего рода неврологический пример, который нашел бы отражение в книге, подобной классической книге Оливера Сакса.

Состязательные примеры представляют собой удивительную уязвимость, когда дело доходит до того, как визуальный ИИ системы видят мир. Но они также, как и следовало ожидать из-за недостатка, который путает новую игрушечную черепаху с винтовкой, представляют собой потенциально тревожную проблему. Исследователи отчаянно пытались найти способ исправить эту проблему.

Теперь другая группа исследователей из Массачусетского технологического института разработала новую систему, которая может помочь уклониться от «противоречивых» данных. В процессе они придумали откровенно устрашающий вариант использования состязательных примеров, который, если его реализовать хакеры, может быть использован со смертельным эффектом.

Сценарий таков: автономные автомобили все лучше и лучше воспринимают окружающий мир. Но что, если вдруг бортовые камеры автомобиля с визуальным вводом намеренно или случайно перестанут идентифицировать то, что находится перед ними? Неправильная классификация объекта на дороге — например, неспособность правильно идентифицировать и разместить пешехода — потенциально может закончиться очень и очень плохо.

Отражение атак противника

«Наша группа уже несколько лет работает на стыке глубокого обучения, робототехники и теории управления, в том числе работать над использованием глубокого RL [обучения с подкреплением] для обучения роботов социально ориентированной навигации среди пешеходов». Майкл Эверетт, постдокторант кафедры аэронавтики и астронавтики Массачусетского технологического института, рассказал Digital Trends. «Пока мы думали о том, как воплотить эти идеи в более крупных и быстрых автомобилях, вопросы безопасности и надежности стали самой большой проблемой. Мы увидели прекрасную возможность изучить эту проблему в глубоком обучении с точки зрения надежного управления и надежной оптимизации».

Обучение с подкреплением — это подход к машинному обучению, основанный на методе проб и ошибок, который, как известно, использовался исследователями для заставить компьютеры научиться играть в видеоигры без явного обучения тому, как это сделать. Новый алгоритм обучения с подкреплением и алгоритм на основе глубоких нейронных сетей, разработанный командой, называется CARRL, что означает «сертифицированная состязательная устойчивость для глубокого обучения с подкреплением». По сути, это нейронная сеть с добавленной дозой скептицизма, когда дело доходит до того, что он видит.

В ходе одной из демонстраций своей работы, поддержанной Ford Motor Company, исследователи создали алгоритм обучения с подкреплением, способный играть в классическую игру Atari. Понг. Но, в отличие от предыдущих игроков RL, в их версии они применили состязательную атаку, которая сбила с толку ИИ. оценка агентом положения мяча в игре, заставляющая его думать, что он был на несколько пикселей ниже, чем на самом деле был. Обычно это ставит ИИ. игрок находится в невыгодном положении, из-за чего он неоднократно проигрывает компьютерному противнику. В этом случае, однако, агент RL думает обо всех местах, где мяч мог быть, а затем помещает ракетку туда, где она не промахнется, независимо от изменения положения.

Конечно, игры гораздо более упрощены, чем реальный мир, как с готовностью признает Эверетт.

«В реальном мире гораздо больше неопределенности, чем в видеоиграх, из-за несовершенных датчиков или состязательных атак, которых может быть достаточно, чтобы обмануть глубокое обучение. системы для принятия опасных решений — [таких как] нанесение распылителем точки на дороге [которая может привести к тому, что беспилотный автомобиль] свернёт на другую полосу», — он объяснил. «Наша работа представляет собой алгоритм глубокого RL, который надежно устойчив к несовершенным измерениям. Ключевое нововведение заключается в том, что вместо того, чтобы слепо доверять своим измерениям, как это делается сегодня, наш алгоритм считает, что путем всех возможных измерений, которые могли быть сделаны, и принимает решение, учитывающее наихудший случай. исход."

В другой демонстрации они показали, что алгоритм может в моделируемом контексте вождения избегать столкновений, даже когда его датчики подвергаются атаке противника, который хочет, чтобы агент столкнулся. «Эта новая категория надежных алгоритмов глубокого обучения будет иметь важное значение для создания многообещающего искусственного интеллекта. техники в реальный мир», — сказал Эверетт.

Еще больше работы предстоит сделать

Эта работа еще только начинается, и еще многое предстоит сделать. Существует также потенциальная проблема, заключающаяся в том, что в некоторых сценариях это может привести к тому, что ИИ. Агент ведет себя слишком консервативно, что делает его менее эффективным. Тем не менее, это ценное исследование, которое может иметь глубокие последствия в будущем.

«[Существуют и другие исследовательские проекты], направленные на защиту от [определенных типов] состязательных примеров, где задача нейронной сети состоит в том, чтобы классифицируйте изображение, и оно либо правильное, либо неправильное, и на этом история заканчивается», — сказал Эверетт, когда его спросили о классической игре «черепаха против винтовки». проблема. «Наша работа основана на некоторых из этих идей, но сосредоточена на обучении с подкреплением, когда агент должен предпринимать действия и получать некоторое вознаграждение, если он справляется хорошо. Итак, мы рассматриваем долгосрочный вопрос: «Если я скажу, что это черепаха, каковы будущие последствия этого решения?», и именно здесь наш алгоритм действительно может помочь. Наш алгоритм будет думать о наихудших будущих последствиях выбора черепахи или винтовки, что может стать важным шагом на пути к решению важных проблем безопасности, когда ИИ. решения агентов имеют долгосрочную перспективу эффект."

Документ, описывающий исследование, доступен для чтения в электронном хранилище препринтов arXiv..

Рекомендации редакции

• Аналоговый ИИ? Это звучит безумно, но это может быть будущее
• Вот что анализирует тенденции ИИ. думает, что это будет следующим большим достижением в сфере технологий
• В Калифорнии есть проблема с отключением электроэнергии. Могут ли гигантские проточные батареи стать решением?
• Алгоритмическая архитектура: стоит ли позволять ИИ проектировать для нас здания?
• Чувствующий эмоции искусственный интеллект здесь, и это может быть на вашем следующем собеседовании