Oklamání neuronových sítí ve fyzickém světě
V jejich novinách, tým výzkumníků z MIT popisuje algoritmus, který mění texturu objektu natolik, že dokáže oklamat algoritmy klasifikace obrázků. Důkaz toho, co tým nazývá „příklady protivníka“, se ukazuje jako matoucí pro systémy rozpoznávání obrazu, bez ohledu na to, z jakého úhlu jsou objekty pozorovány – jako je například 3D vytištěná želva, která je důsledně identifikována jako pušku. To je špatná zpráva pro bezpečnostní systémy, které používají A.I. pro odhalování potenciálních bezpečnostních hrozeb.
1 z 5
„Ve skutečnosti nejde jen o to, že se vyhýbají správné kategorizaci – jsou klasifikováni jako vybraní protivníkové třídy, takže jsme je mohli proměnit v cokoli jiného, kdybychom chtěli,“ řekl pro Digital výzkumník Anish Athalye Trendy. „Třídy pušek a espressa byly vybrány jednotně náhodně. Protichůdné příklady byly vytvořeny pomocí algoritmu zvaného Expectation Over Transformation (EOT), který je uveden v našem výzkumném článku. Algoritmus přijímá jakýkoli texturovaný 3D model, jako je například želva, a najde způsob, jak jemně změnit textura taková, že mate danou neuronovou síť, aby si myslela, že želva je libovolný vybraný cíl třída."
Příbuzný
- Malý chodící robot MIT by nakonec mohl postavit další, větší roboty
- Vědcům se podařilo vytisknout 3D skutečné srdce pomocí lidských buněk
I když může být legrační mít 3D vytištěnou želvu rozpoznanou jako pušku, výzkumníci však poukazují na to, že důsledky jsou zatraceně děsivé. Představte si například bezpečnostní systém, který používá AI k označení zbraní nebo bomb, ale může být oklamán, aby si myslel, že jsou to rajčata nebo šálky kávy, nebo dokonce úplně neviditelné. Zdůrazňuje také křehkost systémů rozpoznávání obrazu, na které se samořídící auta při vysoké rychlosti budou spoléhat, aby rozeznala svět kolem sebe.
Doporučená videa
„Naše práce ukazuje, že nepřátelské příklady jsou větším problémem, než si mnoho lidí dříve myslelo, a ukazuje, že nepřátelské příklady pro neuronové sítě jsou skutečným problémem ve fyzickém světě,“ pokračovala Athalye. "Tento problém není jen intelektuální kuriozitou: Je to problém, který je třeba vyřešit, aby praktické systémy využívající hluboké učení byly v bezpečí před útokem."
Doporučení redakce
- Ford může použít váš hlas k zabezpečení kol vašeho auta proti krádeži
- Průlom v biotisku by mohl umožnit 3D tisk náhradních orgánů
- Konečně existuje způsob, jak vysledovat „nevysledovatelné“ 3D tištěné zbraně
Upgradujte svůj životní stylDigitální trendy pomáhají čtenářům mít přehled o rychle se měnícím světě technologií se všemi nejnovějšími zprávami, zábavnými recenzemi produktů, zasvěcenými úvodníky a jedinečnými náhledy.
