Quella tartaruga è una pistola! Gli scienziati evidenziano un grave difetto nel riconoscimento delle immagini

Nel loro giornale, il team di ricercatori del MIT descrive un algoritmo che modifica la trama di un oggetto quel tanto che basta per ingannare gli algoritmi di classificazione delle immagini. La prova di quelli che il team chiama “esempi contraddittori” risulta essere sconcertante per i sistemi di riconoscimento delle immagini, indipendentemente dall’angolo da cui vengono visti gli oggetti, come la tartaruga stampata in 3D che viene costantemente identificata un fucile. Questa è una brutta notizia per i sistemi di sicurezza che utilizzano l’A.I. per individuare potenziali minacce alla sicurezza.

“In realtà non è solo che evitano la corretta categorizzazione: sono classificati come un avversario prescelto classe, quindi avremmo potuto trasformarli in qualsiasi altra cosa se avessimo voluto”, ha detto a Digital il ricercatore Anish Athalye Tendenze. “Le classi di fucile ed espresso sono state scelte in modo uniforme e casuale. Gli esempi contraddittori sono stati prodotti utilizzando un algoritmo chiamato Expectation Over Transformation (EOT), presentato nel nostro documento di ricerca. L'algoritmo accetta qualsiasi modello 3D con texture, come una tartaruga, e trova un modo per modificarlo leggermente trama tale da confondere una data rete neurale facendole credere che la tartaruga sia un bersaglio scelto classe."

Anche se potrebbe essere divertente vedere una tartaruga stampata in 3D riconosciuta come un fucile, i ricercatori sottolineano che le implicazioni sono dannatamente terrificanti. Immagina, ad esempio, un sistema di sicurezza che utilizza l’intelligenza artificiale per segnalare armi o bombe, ma può essere indotto con l’inganno a pensare che siano invece pomodori, o tazze di caffè, o addirittura del tutto invisibili. Sottolinea inoltre la fragilità del tipo di sistemi di riconoscimento delle immagini su cui le auto a guida autonoma faranno affidamento, ad alta velocità, per discernere il mondo che le circonda.

"Il nostro lavoro dimostra che gli esempi contraddittori sono un problema più grande di quanto molte persone pensassero in precedenza, e mostra che gli esempi contraddittori per reti neurali sono una vera preoccupazione nel mondo fisico”, ha continuato Athalye. “Questo problema non è solo una curiosità intellettuale: è un problema che deve essere risolto affinché i sistemi pratici che utilizzano il deep learning siano al sicuro dagli attacchi”.

Raccomandazioni degli editori

• Ford può usare la tua voce per rendere le ruote della tua auto antifurto
• Una svolta nel campo della biostampa potrebbe consentire la stampa 3D di organi sostitutivi
• C’è finalmente un modo per rintracciare armi stampate in 3D “non rintracciabili”.

Migliora il tuo stile di vitaDigital Trends aiuta i lettori a tenere d'occhio il frenetico mondo della tecnologia con tutte le ultime notizie, divertenti recensioni di prodotti, editoriali approfonditi e anteprime uniche nel loro genere.