Neurale netwerken voor de gek houden in de fysieke wereld
In hun krantbeschrijft het team van MIT-onderzoekers een algoritme dat de textuur van een object net genoeg verandert om algoritmen voor beeldclassificatie voor de gek te houden. Het bewijs van wat het team ‘tegenstrijdige voorbeelden’ noemt, blijkt verbijsterend voor beeldherkenningssystemen. ongeacht de hoek waaruit de objecten worden bekeken, zoals de 3D-geprinte schildpad die consequent wordt geïdentificeerd een geweer. Dat is slecht nieuws voor beveiligingssystemen die gebruik maken van AI. voor het opsporen van potentiële veiligheidsbedreigingen.
1 van 5
“Het is eigenlijk niet alleen zo dat ze de juiste categorisering vermijden – ze worden geclassificeerd als een gekozen tegenstander klasse, dus we hadden er iets anders van kunnen maken als we dat hadden gewild”, vertelde onderzoeker Anish Athalye aan Digital Trends. “De geweer- en espressoklassen werden willekeurig gekozen. De vijandige voorbeelden zijn geproduceerd met behulp van een algoritme genaamd Expectation Over Transformation (EOT), dat wordt gepresenteerd in ons onderzoekspaper. Het algoritme neemt elk gestructureerd 3D-model, zoals een schildpad, in zich op en vindt een manier om de structuur op subtiele wijze te veranderen. textuur zodanig dat het een bepaald neuraal netwerk in de war brengt door te denken dat de schildpad een gekozen doelwit is klas."
Verwant
- De kleine looprobot van MIT zou uiteindelijk andere, grotere robots kunnen bouwen
- Wetenschappers zijn erin geslaagd een echt hart in 3D te printen met behulp van menselijke cellen
Hoewel het misschien grappig is om een 3D-geprinte schildpad als geweer te laten herkennen, wijzen de onderzoekers erop dat de implicaties behoorlijk angstaanjagend zijn. Stel je bijvoorbeeld een beveiligingssysteem voor dat AI gebruikt om wapens of bommen te markeren, maar kan worden misleid door te denken dat het in plaats daarvan tomaten of kopjes koffie zijn, of zelfs volledig onzichtbaar. Het onderstreept ook de kwetsbaarheid van het soort beeldherkenningssystemen waarop zelfrijdende auto's met hoge snelheid zullen vertrouwen om de wereld om hen heen te onderscheiden.
Aanbevolen video's
“Ons werk laat zien dat vijandige voorbeelden een groter probleem zijn dan veel mensen eerder dachten, en het laat zien dat vijandige voorbeelden voor neurale netwerken zijn een echte zorg in de fysieke wereld”, vervolgde Athalye. “Dit probleem is niet alleen een intellectuele nieuwsgierigheid: het is een probleem dat moet worden opgelost zodat praktische systemen die deep learning gebruiken, beschermd zijn tegen aanvallen.”
Aanbevelingen van de redactie
- Ford kan uw stem gebruiken om de wielen van uw auto diefstalbestendig te maken
- Doorbraak in bioprinting zou het 3D-printen van vervangende organen mogelijk kunnen maken
- Er is eindelijk een manier om ‘niet-traceerbare’ 3D-geprinte wapens te traceren
Upgrade uw levensstijlMet Digital Trends kunnen lezers de snelle technische wereld in de gaten houden met het laatste nieuws, leuke productrecensies, inzichtelijke redactionele artikelen en unieke sneak peeks.
