Lura neurala nätverk i den fysiska världen
I deras tidning, beskriver teamet av MIT-forskare en algoritm som ändrar ett objekts struktur precis så mycket att det kan lura bildklassificeringsalgoritmer. Beviset på vad teamet kallar "motstridiga exempel" visar sig vara förbryllande för system för bildigenkänning, oavsett vinkeln objekten ses från — till exempel den 3D-printade sköldpaddan som konsekvent identifieras som ett gevär. Det är dåliga nyheter för säkerhetssystem som använder A.I. för att upptäcka potentiella säkerhetshot.
1 av 5
"Det är faktiskt inte bara det att de undviker korrekt kategorisering - de klassas som en utvald motståndare klass, så vi kunde ha förvandlat dem till vad som helst annat om vi hade velat, säger forskaren Anish Athalye till Digital Trender. "Gevärs- och espressoklasserna valdes enhetligt slumpmässigt. De kontradiktoriska exemplen togs fram med hjälp av en algoritm som heter Expectation Over Transformation (EOT), som presenteras i vår forskningsartikel. Algoritmen tar in vilken texturerad 3D-modell som helst, till exempel en sköldpadda, och hittar ett sätt att subtilt ändra struktur så att den förvirrar ett givet neuralt nätverk till att tro att sköldpaddan är vilket som helst valt mål klass."
Relaterad
- MIT: s lilla gångrobot kan så småningom bygga andra, större robotar
- Forskare lyckas 3D-printa ett verkligt hjärta med hjälp av mänskliga celler
Även om det kan vara roligt att ha en 3D-printad sköldpadda igenkänd som ett gevär, påpekar forskarna att konsekvenserna är ganska skrämmande. Föreställ dig till exempel ett säkerhetssystem som använder AI för att flagga vapen eller bomber, men som kan luras att tro att de istället är tomater, eller koppar kaffe, eller till och med helt osynliga. Det understryker också bräckligheten i den typ av bildigenkänningssystem som självkörande bilar kommer att förlita sig på, i hög hastighet, för att urskilja världen omkring dem.
Rekommenderade videor
"Vårt arbete visar att motstridiga exempel är ett större problem än vad många tidigare trodde, och det visar att motstridiga exempel för neurala nätverk är ett verkligt bekymmer i den fysiska världen”, fortsatte Athalye. "Det här problemet är inte bara en intellektuell nyfikenhet: det är ett problem som måste lösas för att praktiska system som använder djupinlärning ska vara säkra från attack."
Redaktörens rekommendationer
- Ford kan använda din röst för att göra din bils hjul stöldsäkra
- Genombrott inom bioprinting skulle kunna möjliggöra 3D-utskrift av ersättningsorgan
- Det finns äntligen ett sätt att spåra "ospårbara" 3D-tryckta vapen
Uppgradera din livsstilDigitala trender hjälper läsare att hålla koll på den snabba teknikvärlden med alla de senaste nyheterna, roliga produktrecensioner, insiktsfulla redaktioner och unika smygtittar.
