Ten żółw to pistolet! Naukowcy zwracają uwagę na poważną wadę w rozpoznawaniu obrazów

W ich artykulezespół badaczy z MIT opisuje algorytm, który zmienia teksturę obiektu na tyle, że może oszukać algorytmy klasyfikacji obrazu. Dowód na to, co zespół nazywa „przykładami kontradyktoryjnymi”, okazuje się zaskakujący dla systemów rozpoznawania obrazu, niezależnie od kąta, pod jakim patrzy się na obiekty – np. wydrukowany w 3D żółw, który jest konsekwentnie identyfikowany jako strzelba. To zła wiadomość dla systemów bezpieczeństwa wykorzystujących sztuczną inteligencję. do wykrywania potencjalnych zagrożeń bezpieczeństwa.

„Właściwie nie chodzi tylko o to, że unikają prawidłowej kategoryzacji – są klasyfikowani jako wybrany przeciwnik zajęć, więc moglibyśmy zamienić je w cokolwiek innego, gdybyśmy chcieli” – powiedział Digital badacz Anish Athalye Trendy. „Klasy karabinu i espresso zostały wybrane jednolicie i losowo. Kontrowersyjne przykłady zostały utworzone przy użyciu algorytmu zwanego oczekiwaniem nad transformacją (EOT), który przedstawiono w naszym artykule badawczym. Algorytm uwzględnia dowolny teksturowany model 3D, taki jak żółw, i znajduje sposób na subtelną zmianę teksturę w taki sposób, że dezorientuje daną sieć neuronową, myśląc, że żółw jest dowolnym wybranym celem klasa."

Choć rozpoznanie żółwia wydrukowanego na drukarce 3D jako karabinu może być zabawne, naukowcy wskazują, że konsekwencje są naprawdę przerażające. Wyobraźmy sobie na przykład system bezpieczeństwa, który wykorzystuje sztuczną inteligencję do oznaczania broni lub bomb, ale można go oszukać, myśląc, że są to pomidory lub filiżanki kawy, a nawet całkowicie niewidoczny. Podkreśla również słabość systemów rozpoznawania obrazu, na których będą polegać samochody autonomiczne przy dużej prędkości, aby rozpoznać otaczający ich świat.

„Nasza praca pokazuje, że kontradyktoryjne przykłady stanowią większy problem, niż wiele osób wcześniej sądziło, i pokazuje, że kontradyktoryjne przykłady sieci neuronowe stanowią poważny problem w świecie fizycznym” – kontynuowała Athalye. „Ten problem nie jest tylko ciekawostką intelektualną: jest to problem, który należy rozwiązać, aby praktyczne systemy korzystające z głębokiego uczenia były bezpieczne przed atakiem”.

Zalecenia redaktorów

• Ford może wykorzystać Twój głos, aby zabezpieczyć koła Twojego samochodu przed kradzieżą
• Przełom w biodruku może umożliwić drukowanie 3D narządów zastępczych
• Wreszcie istnieje sposób na śledzenie „niewykrywalnej” broni wydrukowanej w 3D

Ulepsz swój styl życiaDigital Trends pomaga czytelnikom śledzić szybko rozwijający się świat technologii dzięki najnowszym wiadomościom, zabawnym recenzjom produktów, wnikliwym artykułom redakcyjnym i jedynym w swoim rodzaju zajawkom.