Narre neurale netværk i den fysiske verden
I deres papir, holdet af MIT-forskere beskriver en algoritme, som ændrer teksturen af et objekt lige nok til, at det kan narre billedklassificeringsalgoritmer. Beviset for, hvad holdet kalder "modstridende eksempler", viser sig at være forvirrende for billedgenkendelsessystemer, uanset den vinkel, objekterne ses fra - såsom den 3D-printede skildpadde, der konsekvent identificeres som en riffel. Det er dårlige nyheder for sikkerhedssystemer, der bruger A.I. for at opdage potentielle sikkerhedstrusler.
1 af 5
"Det er faktisk ikke kun, at de undgår korrekt kategorisering - de er klassificeret som en valgt modstander klasse, så vi kunne have forvandlet dem til hvad som helst andet, hvis vi havde ønsket det,” siger forsker Anish Athalye til Digital Trends. “Riffel- og espressoklasserne blev valgt ensartet tilfældigt. De modstridende eksempler blev produceret ved hjælp af en algoritme kaldet Expectation Over Transformation (EOT), som præsenteres i vores forskningspapir. Algoritmen indtager enhver tekstureret 3D-model, såsom en skildpadde, og finder en måde at subtilt ændre tekstur sådan, at den forvirrer et givet neuralt netværk til at tro, at skildpadden er et hvilket som helst valgt mål klasse."
Relaterede
- MITs lille gå-robot kunne i sidste ende bygge andre, større robotter
- Forskere formår at 3D-printe et ægte hjerte ved hjælp af menneskelige celler
Selvom det kan være sjovt at få en 3D-printet skildpadde genkendt som en riffel, påpeger forskerne, at implikationerne er temmelig skræmmende. Forestil dig for eksempel et sikkerhedssystem, der bruger AI til at markere våben eller bomber, men som kan narre til at tro, at de i stedet er tomater, eller kopper kaffe eller endda helt usynlige. Det understreger også skrøbeligheden i den slags billedgenkendelsessystemer, selvkørende biler vil stole på, ved høj hastighed, for at skelne verden omkring dem.
Anbefalede videoer
"Vores arbejde viser, at modstridende eksempler er et større problem, end mange mennesker tidligere troede, og det viser, at modstridende eksempler for neurale netværk er en reel bekymring i den fysiske verden,” fortsatte Athalye. "Dette problem er ikke kun en intellektuel nysgerrighed: Det er et problem, der skal løses, for at praktiske systemer, der bruger dyb læring, er sikre mod angreb."
Redaktørens anbefalinger
- Ford kan bruge din stemme til at gøre din bils hjul tyverisikre
- Gennembrud inden for bioprint kunne muliggøre 3D-print af erstatningsorganer
- Der er endelig en måde at spore 'usporbare' 3D-printede våben
Opgrader din livsstilDigital Trends hjælper læserne med at holde styr på den hurtige teknologiske verden med alle de seneste nyheder, sjove produktanmeldelser, indsigtsfulde redaktionelle artikler og enestående smugkig.
