이미지 인식 AI 약점이 있습니다. 이것은 문제를 해결할 수 있습니다

아마 당신은 잘 알고 있을 겁니다. 딥페이크, 실제로 일어나지 않은 일을 보거나 듣도록 사람들을 속일 수 있는 디지털 방식으로 변경된 "합성 미디어"입니다. 적대적인 예는 이미지 인식 AI의 딥페이크와 같습니다. 시스템 — 그리고 우리에게는 조금도 이상해 보이지 않지만 기계를 혼란스럽게 만들 수 있습니다.

몇 년 전, 매사추세츠 공과대학 컴퓨터 과학 및 인공 지능 연구소(CSAIL)의 연구원들은 다음과 같은 사실을 발견했습니다. 표면을 약간만 변경하면 정교한 이미지 인식 알고리즘도 혼란스러운 개체로 속일 수 있습니다. 조직. 이것도 사소한 혼동이 아니 었습니다.

연구원들의 시연에서 그들은 3D 프린팅된 거북이를 보고 대신 소총을 볼 수 있는 최첨단 신경망을 얻는 것이 가능하다는 것을 보여주었습니다. 또는 야구공을 보고 그것이 에스프레소라고 결론을 내리는 경우도 있습니다. 그러한 시각적 인식 불능증이 인간에게 나타난다면 올리버 색스(Oliver Sacks)의 고전과 같은 책에 등장할 일종의 신경학적 사례 연구가 될 것입니다. 아내를 모자로 착각한 남자.

적대적 사례는 시각적 A.I. 시스템은 세상을 본다. 그러나 또한 참신한 장난감 거북이와 소총을 혼동하는 결함에서 예상할 수 있듯이 잠재적으로 경고할 수도 있습니다. 연구자들이 패치 방법을 필사적으로 알아내고 있는 것입니다.

이제 MIT의 또 다른 연구자 그룹은 "적대적" 입력을 피하는 데 도움이 될 수 있는 새로운 시스템을 고안했습니다. 그 과정에서 그들은 해커가 구현하면 치명적인 효과를 낼 수 있는 적대적 사례에 대한 솔직히 무서운 사용 사례를 상상했습니다.

시나리오는 다음과 같습니다. 자율주행차는 주변 세계를 인식하는 능력이 점점 더 좋아지고 있습니다. 하지만 만약 갑자기 자동차의 시각적 입력 기반 온보드 카메라가 의도적으로 또는 실수로 앞에 무엇이 있는지 식별할 수 없게 되면 어떻게 될까요? 보행자를 정확하게 식별하고 배치하지 못하는 등 도로 위의 물체를 잘못 분류하면 실제로 매우 심각한 결과를 초래할 수 있습니다.

적의 공격을 방어

“우리 그룹은 수년 동안 딥 러닝, 로봇공학, 제어 이론의 인터페이스를 연구해 왔습니다. 보행자 주위에서 사회적 인식 방식으로 탐색할 수 있도록 로봇을 훈련시키기 위해 심층 RL(강화 학습)을 사용하는 작업을 진행하고 있습니다." 마이클 에버렛MIT 항공우주학과의 박사후 연구원은 Digital Trends에 이렇게 말했습니다. “이러한 아이디어를 더 크고 빠른 차량에 적용할 방법을 고민하면서 안전성과 견고성에 대한 질문이 가장 큰 과제가 되었습니다. 우리는 강력한 제어와 강력한 최적화의 관점에서 딥 러닝에서 이 문제를 연구할 수 있는 좋은 기회를 보았습니다.”

강화 학습은 시행착오를 기반으로 한 기계 학습 접근 방식으로, 연구자들이 다음과 같이 유명하게 사용했습니다. 컴퓨터에게 비디오 게임을 배우게 하세요 방법을 명시적으로 가르치지 않고. 팀의 새로운 강화 학습 및 심층 신경망 기반 알고리즘은 CARRL이라고 하며, 이는 Certified Adversarial Robustness for Deep Reinforcement Learning의 약자입니다. 본질적으로 그것은 신경망 그것이 보고 있는 것에 관해서는 회의론이 더해졌습니다.

Ford Motor Company의 지원을 받은 작업 시연에서 연구원들은 고전적인 Atari 게임을 플레이할 수 있는 강화 학습 알고리즘을 구축했습니다. 탁구. 하지만 이전 RL 게임 플레이어와 달리 해당 버전에서는 A.I를 버리는 적대적인 공격을 적용했습니다. 게임의 공 위치에 대한 에이전트의 평가로 인해 실제보다 몇 픽셀 더 낮다고 생각하게 됩니다. 였다. 일반적으로 이렇게 하면 A.I. 플레이어는 컴퓨터 상대에게 반복적으로 패배하게 되어 큰 불리한 입장에 놓이게 됩니다. 그러나 이 경우 RL 에이전트는 공이 있는 모든 위치에 대해 생각합니다. ~할 수 있었다 그런 다음 위치 이동에 관계없이 패들을 놓치지 않을 곳에 패들을 배치합니다.

물론 Everett이 쉽게 인정한 것처럼 게임은 현실 세계보다 훨씬 더 단순화되었습니다.

“실제 세계는 불완전한 센서나 적대적 공격으로 인해 비디오 게임보다 훨씬 더 많은 불확실성을 갖고 있으며, 이는 딥 러닝을 속이기에 충분할 수 있습니다. 위험한 결정을 내리는 시스템 — [예를 들어] 도로에 점을 스프레이로 칠하면 [자율주행차가] 다른 차선으로 방향을 틀 수 있습니다.”라고 그는 말했습니다. 설명했다. “우리의 연구는 불완전한 측정에 대해 확실히 견고한 심층 RL 알고리즘을 제시합니다. 핵심 혁신은 오늘날처럼 측정값을 맹목적으로 신뢰하는 대신 우리 알고리즘이 가능한 모든 측정을 통해 최악의 경우를 고려하여 결정을 내립니다. 결과."

또 다른 시연에서는 시뮬레이션된 운전 상황에서 에이전트가 충돌하기를 원하는 적의 센서가 공격을 받는 경우에도 알고리즘이 충돌을 피할 수 있음을 보여주었습니다. “강력한 딥 러닝 알고리즘이라는 새로운 범주는 유망한 AI를 구현하는 데 필수적입니다. 기술을 현실 세계에 적용했습니다.”라고 Everett은 말했습니다.

아직 해야 할 일이 더 많습니다

이 작업은 아직 초기 단계이고, 해야 할 일이 더 많습니다. 일부 시나리오에서는 이로 인해 AI가 발생할 수 있는 잠재적인 문제도 있습니다. 에이전트가 너무 보수적으로 행동하여 효율성이 떨어집니다. 그럼에도 불구하고 이는 앞으로 엄청난 영향을 미칠 수 있는 귀중한 연구입니다.

“[특정 유형의] 적대적 사례로부터 보호하는 데 초점을 맞춘 [다른 연구 프로젝트가 있습니다] 신경망의 역할은 다음과 같습니다. 이미지를 분류하면 그것이 옳거나 그름이고 이야기는 거기서 끝납니다.” 에버렛이 고전적인 거북이 대 소총에 대해 물었을 때 말했습니다. 문제. “우리 작업은 이러한 아이디어 중 일부를 기반으로 하지만 에이전트가 조치를 취하고 성공할 경우 보상을 받아야 하는 강화 학습에 중점을 두고 있습니다. 그래서 우리는 '만약 이것이 거북이라고 말한다면, 그 결정이 미래에 어떤 영향을 미칠 것인가?'라는 장기적인 질문을 검토하고 있으며, 이것이 바로 우리 알고리즘이 실제로 도움이 될 수 있는 부분입니다. 우리의 알고리즘은 거북이나 소총 중 하나를 선택할 때 발생할 수 있는 최악의 미래 영향에 대해 생각할 것입니다. AI가 중요한 보안 문제를 해결하는 데 중요한 단계가 될 수 있습니다. 대리인의 결정은 장기적인 영향을 받습니다. 효과."

연구를 설명하는 논문은 전자 사전 인쇄 저장소 arXiv에서 읽을 수 있습니다..

편집자의 추천

• 아날로그 AI? 이상하게 들리겠지만, 미래일 수도 있습니다
• 추세 분석 AI는 다음과 같습니다. 기술 분야에서 차세대 혁신이 될 것이라고 생각합니다.
• Cailifornia에는 정전 문제가 있습니다. 거대 흐름 배터리가 해결책이 될 수 있을까요?
• 알고리즘 아키텍처: A.I. 우리를 위한 건물 디자인?
• 감정 감지 A.I. 여기 있습니다. 다음 면접에 나올 수도 있습니다.