Billedgenkendelse A.I. Har en svaghed. Dette kunne løse det

Du er sikkert bekendt med deepfakes, de digitalt ændrede "syntetiske medier", der er i stand til at narre folk til at se eller høre ting, der aldrig rent faktisk er sket. Modstridende eksempler er som deepfakes til billedgenkendelse A.I. systemer - og selvom de ikke ser en smule mærkelige ud for os, er de i stand til at forvirre maskiner.

For flere år siden, fandt forskere ved Massachusetts Institute of Technologys Computer Science and Artificial Intelligence Laboratory (CSAIL), at de kunne narre selv sofistikerede billedgenkendelsesalgoritmer til at forvirre objekter blot ved en smule at ændre deres overflade struktur. Disse var heller ikke mindre sammenblandinger.

I forskernes demonstration viste de, at det var muligt at få et banebrydende neuralt netværk til at se på en 3D-printet skildpadde og se en riffel i stedet for. Eller at se på en baseball og komme derfra med den konklusion, at det er en espresso. Skulle en sådan visuel agnosi manifestere sig i et menneske, ville det være den slags neurologiske casestudie, der ville finde vej til en bog som Oliver Sacks' klassiker

Modstridende eksempler repræsenterer en fascinerende sårbarhed, når det kommer til, hvordan visuel A.I. systemer ser verden. Men de repræsenterer også, som du kunne forvente af en fejl, der forveksler en nyhedslegetøjskildpadde med en riffel, en potentielt alarmerende en. Det er en, som forskere desperat har fundet ud af, hvordan de skal lappe.

Nu er en anden gruppe forskere fra MIT kommet med et nyt system, der kan hjælpe med at undvige "modstridende" input. I processen har de forestillet sig en ærligt skræmmende use case for modstridende eksempler, en som, hvis den implementeres af hackere, kunne bruges med dødelig virkning.

Scenariet er dette: Autonome biler bliver bedre og bedre til at opfatte verden omkring dem. Men hvad nu hvis de visuelle input-baserede indbyggede kameraer i en bil pludselig blev enten med vilje eller ved et uheld gjort ude af stand til at identificere, hvad der var foran dem? Fejlkategorisering af et objekt på vejen - såsom at undlade at identificere og placere en fodgænger korrekt - kan potentielt ende meget, meget galt.

Afværge modstridende angreb

"Vores gruppe har arbejdet på grænsefladen mellem deep learning, robotteknologi og kontrolteori i flere år - bl.a. arbejde med at bruge dyb RL [reinforcement learning] til at træne robotter til at navigere på en socialt bevidst måde omkring fodgængere,” Michael Everett, en postdoc-forsker i ‎MIT Department of Aeronautics and Astronautics, fortalte Digital Trends. "Da vi tænkte på, hvordan vi kunne bringe disse ideer til større og hurtigere køretøjer, blev spørgsmålene om sikkerhed og robusthed den største udfordring. Vi så en fantastisk mulighed for at studere dette problem i dyb læring ud fra perspektivet af robust kontrol og robust optimering."

Reinforcement learning er en trial-and-error-baseret tilgang til maskinlæring, som velkendt er blevet brugt af forskere til at få computere til at lære at spille videospil uden eksplicit at blive undervist i hvordan. Holdets nye forstærkningslæring og dybe neurale netværksbaserede algoritme kaldes CARRL, en forkortelse for Certified Adversarial Robustness for Deep Reinforcement Learning. I bund og grund er det en neurale netværk med en ekstra dosis skepsis, når det kommer til, hvad den ser.

I en demonstration af deres arbejde, som blev støttet af Ford Motor Company, byggede forskerne en forstærkende læringsalgoritme, der kunne spille det klassiske Atari-spil Pong. Men i modsætning til tidligere RL-spillere anvendte de i deres version et modstridende angreb, der kastede A.I. agentens vurdering af spillets boldposition, hvilket får den til at tro, at den var et par pixels lavere end den faktisk var. Normalt ville dette sætte A.I. spiller i en stor ulempe, hvilket får den til at tabe gentagne gange til computermodstanderen. I dette tilfælde tænker RL-agenten dog på alle steder bolden kunne være, og placerer derefter pagajen et sted, hvor den ikke vil gå glip af uanset positionsskiftet.

Selvfølgelig er spil langt mere forenklet end den virkelige verden, som Everett let indrømmer.

"Den virkelige verden har meget mere usikkerhed end videospil, fra ufuldkomne sensorer eller modstridende angreb, som kan være nok til at narre dyb læring systemer til at træffe farlige beslutninger - [såsom] sprøjtemaling af en prik på vejen [hvilket kan få en selvkørende bil] til at svinge over i en anden vognbane," han forklaret. "Vores arbejde præsenterer en dyb RL-algoritme, der er certificeret robust over for ufuldkomne målinger. Nøgleinnovationen er, at i stedet for blindt at stole på dets målinger, som det gøres i dag, mener vores algoritme gennem alle mulige målinger, der kunne være foretaget, og træffer en beslutning, der overvejer det værst tænkelige resultat."

I en anden demonstration viste de, at algoritmen i en simuleret køresammenhæng kan undgå kollisioner, selv når dens sensorer bliver angrebet af en modstander, der ønsker, at agenten skal kollidere. "Denne nye kategori af robuste deep learning-algoritmer vil være afgørende for at bringe lovende A.I. teknikker ind i den virkelige verden," sagde Everett.

Der skal stadig arbejdes mere

Det er stadig tidlige dage for dette arbejde, og der er mere, der skal gøres. Der er også det potentielle problem, at dette i nogle scenarier kan forårsage A.I. agent til at opføre sig for konservativt, hvilket gør den mindre effektiv. Ikke desto mindre er det et værdifuldt stykke forskning, der kan have dybtgående konsekvenser fremover.

"[Der er andre forskningsprojekter], der fokuserer på at beskytte mod [visse typer] modstridende eksempler, hvor det neurale netværks opgave er at klassificere et billede, og det er enten rigtigt [eller] forkert, og historien slutter der,” sagde Everett, da han blev spurgt om den klassiske skildpadde-versus-riffel problem. "Vores arbejde bygger på nogle af de ideer, men er fokuseret på forstærkende læring, hvor agenten skal tage handlinger og får en belønning, hvis den gør det godt. Så vi kigger på et længerevarende spørgsmål om 'Hvis jeg siger, at dette er en skildpadde, hvad er de fremtidige konsekvenser af den beslutning?', og det er her, vores algoritme virkelig kan hjælpe. Vores algoritme ville tænke over de værste fremtidige konsekvenser af at vælge enten en skildpadde eller en riffel, hvilket kunne være et vigtigt skridt i retning af at løse vigtige sikkerhedsproblemer, når A.I. agenternes beslutninger har en langsigtet effekt."

Et papir, der beskriver forskningen er tilgængelig til at læse på det elektroniske preprint-lager arXiv.

Redaktørens anbefalinger

• Analog A.I.? Det lyder skørt, men det er måske fremtiden
• Her er hvad en trendanalyserende A.I. tror, ​​vil være den næste store ting inden for tech
• Cailifornia har et blackout-problem. Kunne gigantiske flow-batterier være løsningen?
• Algoritmisk arkitektur: Skal vi lade A.I. designe bygninger for os?
• Følelsesfølende A.I. er her, og det kan blive til din næste jobsamtale