Prevara nevronskih mrež v fizičnem svetu
V njihovem časopisu, skupina raziskovalcev MIT opisuje algoritem, ki spremeni teksturo predmeta ravno toliko, da lahko preslepi algoritme za klasifikacijo slik. Izkazalo se je, da so dokazi o tem, čemur ekipa pravi »nasprotni primeri«, za sisteme za prepoznavanje slik moteči, ne glede na kot, iz katerega gledamo na predmete – na primer 3D natisnjena želva, ki je dosledno prepoznana kot puško. To je slaba novica za varnostne sisteme, ki uporabljajo AI. za odkrivanje potencialnih varnostnih groženj.
1 od 5
»Pravzaprav ne gre samo za to, da se izogibajo pravilni kategorizaciji – razvrščeni so kot izbrani nasprotnik razreda, zato bi jih lahko spremenili v karkoli drugega, če bi želeli,« je za Digital povedal raziskovalec Anish Athalye Trendi. »Razredi rifle in espresso so bili izbrani enotno naključno. Nasprotni primeri so bili izdelani z uporabo algoritma, imenovanega Expectation Over Transformation (EOT), ki je predstavljen v naši raziskovalni nalogi. Algoritem vzame kateri koli teksturirani 3D model, kot je želva, in najde način, da subtilno spremeni teksturo, tako da zmede dano nevronsko mrežo, da misli, da je želva izbrana tarča razred.”
Povezano
- Majhen hodeči robot MIT bi lahko sčasoma zgradil druge, večje robote
- Znanstvenikom je uspelo 3D natisniti pravo srce s pomočjo človeških celic
Čeprav bi bilo morda smešno, da bi 3D-natisnjeno želvo prepoznali kot puško, pa raziskovalci poudarjajo, da so posledice precej grozljive. Predstavljajte si na primer varnostni sistem, ki uporablja AI za označevanje orožja ali bomb, vendar ga je mogoče zavesti, da misli, da so namesto tega paradižniki ali skodelice kave ali celo popolnoma nevidni. Poudarja tudi šibkost vrste sistemov za prepoznavanje slike, na katere se bodo samovozeči avtomobili zanašali pri visoki hitrosti, da bodo prepoznavali svet okoli sebe.
Priporočeni videoposnetki
»Naše delo dokazuje, da so kontradiktorni primeri večji problem, kot so mnogi mislili prej, in kaže, da kontradiktorni primeri za nevronske mreže so resnično zaskrbljujoči v fizičnem svetu,« je nadaljevala Athalye. "Ta problem ni le intelektualna radovednost: to je problem, ki ga je treba rešiti, da bodo praktični sistemi, ki uporabljajo globoko učenje, varni pred napadi."
Priporočila urednikov
- Ford lahko uporabi vaš glas, da naredi kolesa vašega avtomobila varna pred krajo
- Preboj v biotiskanju bi lahko omogočil 3D-tiskanje nadomestnih organov
- Končno obstaja način za sledenje 'nesledljivim' 3D natisnjenim puškam
Nadgradite svoj življenjski slogDigitalni trendi bralcem pomagajo slediti hitremu svetu tehnologije z vsemi najnovejšimi novicami, zabavnimi ocenami izdelkov, pronicljivimi uvodniki in enkratnimi vpogledi v vsebine.
