Lure nevrale nettverk i den fysiske verden
I papiret deres, beskriver teamet av MIT-forskere en algoritme som endrer teksturen til et objekt akkurat nok til at det kan lure bildeklassifiseringsalgoritmer. Beviset på det teamet kaller "motstridende eksempler" viser seg å være forvirrende for bildegjenkjenningssystemer, uavhengig av vinkelen objektene ses fra - for eksempel den 3D-printede skilpadden som konsekvent identifiseres som en rifle. Det er dårlige nyheter for sikkerhetssystemer som bruker A.I. for å oppdage potensielle sikkerhetstrusler.
1 av 5
"Det er faktisk ikke bare at de unngår korrekt kategorisering - de er klassifisert som en valgt motstander klasse, så vi kunne ha gjort dem til noe annet hvis vi hadde ønsket det, sa forsker Anish Athalye til Digital Trender. "Rifle- og espressoklassene ble valgt jevnt tilfeldig. De motstridende eksemplene ble produsert ved hjelp av en algoritme kalt Expectation Over Transformation (EOT), som presenteres i forskningsartikkelen vår. Algoritmen tar inn enhver teksturert 3D-modell, for eksempel en skilpadde, og finner en måte å subtilt endre tekstur slik at den forvirrer et gitt nevralt nettverk til å tro at skilpadden er et hvilket som helst valgt mål klasse."
I slekt
- MITs lille gårobot kan til slutt bygge andre, større roboter
- Forskere klarer å 3D-printe et faktisk hjerte ved hjelp av menneskelige celler
Selv om det kan være morsomt å ha en 3D-printet skilpadde anerkjent som en rifle, påpeker forskerne at implikasjonene er ganske skremmende. Tenk deg for eksempel et sikkerhetssystem som bruker AI til å flagge våpen eller bomber, men som kan bli lurt til å tro at de i stedet er tomater, eller kopper kaffe, eller til og med helt usynlige. Det understreker også skrøpelighet i hva slags bildegjenkjenningssystemer selvkjørende biler vil stole på, i høy hastighet, for å se verden rundt dem.
Anbefalte videoer
«Vårt arbeid viser at motstridende eksempler er et større problem enn mange tidligere trodde, og det viser at motstridende eksempler for nevrale nettverk er en reell bekymring i den fysiske verden,” fortsatte Athalye. "Dette problemet er ikke bare en intellektuell nysgjerrighet: Det er et problem som må løses for at praktiske systemer som bruker dyp læring skal være sikre mot angrep."
Redaktørenes anbefalinger
- Ford kan bruke stemmen din til å gjøre bilens hjul tyverisikre
- Gjennombrudd innen bioprinting kan muliggjøre 3D-utskrift av erstatningsorganer
- Det er endelig en måte å spore "usporbare" 3D-trykte våpen
Oppgrader livsstilen dinDigitale trender hjelper leserne å følge med på den fartsfylte teknologiverdenen med alle de siste nyhetene, morsomme produktanmeldelser, innsiktsfulle redaksjoner og unike sniktitter.
