실제 세계에서 신경망을 속이는 행위
그들의 논문에서, MIT 연구진은 이미지 분류 알고리즘을 속일 수 있을 만큼 물체의 질감을 변경하는 알고리즘을 설명합니다. 팀이 "적대적 사례"라고 부르는 증거는 이미지 인식 시스템을 당황하게 만드는 것으로 나타났습니다. 개체를 보는 각도에 상관없이 — 일관되게 식별되는 3D 프린팅 거북이와 같이 소총. 이는 AI를 사용하는 보안 시스템에 있어서 나쁜 소식입니다. 잠재적인 보안 위협을 발견하기 위한 것입니다.
1 ~의 5
“실제로 올바른 분류를 회피하는 것이 아니라 선택된 적대자로 분류됩니다. 그래서 우리가 원했다면 그것들을 다른 것으로 바꿀 수도 있었습니다.” Anish Athalye 연구원은 Digital에 이렇게 말했습니다. 동향. “소총과 에스프레소 클래스는 균일하게 무작위로 선택되었습니다. 적대적인 예는 우리 연구 논문에 제시된 EOT(Expectation Over Transformation)라는 알고리즘을 사용하여 생성되었습니다. 알고리즘은 거북이와 같은 질감이 있는 3D 모델을 가져와서 미묘하게 변경하는 방법을 찾습니다. 주어진 신경망이 거북이가 선택된 대상이라고 생각하도록 혼동하는 텍스처 수업."
관련된
- MIT의 작은 걷는 로봇은 결국 다른 더 큰 로봇을 만들 수 있습니다
- 과학자들이 인간 세포를 사용하여 실제 심장을 3D 프린팅했습니다.
3D 프린팅된 거북이가 소총으로 인식되는 것은 재미있을 수도 있지만, 연구원들은 그 의미가 매우 끔찍하다고 지적합니다. 예를 들어 AI를 사용하여 총이나 폭탄에 신호를 표시하지만 그것이 대신 토마토나 커피 잔이거나 심지어 완전히 보이지 않는 것처럼 생각하도록 속일 수 있는 보안 시스템을 상상해 보세요. 이는 또한 자율주행차가 고속으로 주변 세계를 식별하는 데 의존하는 이미지 인식 시스템의 취약성을 강조합니다.
추천 동영상
“우리의 연구는 많은 사람들이 이전에 생각했던 것보다 적대적인 사례가 더 큰 문제라는 것을 보여줍니다. 신경망 물리적 세계에서는 실질적인 문제입니다.”라고 Athalye는 계속 말했습니다. “이 문제는 단순한 지적 호기심이 아니라, 딥러닝을 활용한 실제 시스템이 공격으로부터 안전하기 위해 해결해야 할 문제입니다.”
편집자의 추천
- Ford는 귀하의 목소리를 사용하여 자동차 바퀴를 도난 방지할 수 있습니다.
- 바이오 프린팅의 획기적인 발전으로 대체 장기의 3D 프린팅 가능
- 마침내 '추적 불가능한' 3D 프린팅 총을 추적하는 방법이 등장했습니다.
당신의 라이프스타일을 업그레이드하세요Digital Trends는 독자들이 모든 최신 뉴스, 재미있는 제품 리뷰, 통찰력 있는 사설 및 독특한 미리보기를 통해 빠르게 변화하는 기술 세계를 계속해서 살펴볼 수 있도록 도와줍니다.
