Bildegjenkjenning A.I. Har en svakhet. Dette kan fikse det

Du er sikkert kjent med deepfakes, de digitalt endrede "syntetiske mediene" som er i stand til å lure folk til å se eller høre ting som aldri har skjedd. Motstridende eksempler er som deepfakes for bildegjenkjenning A.I. systemer - og selv om de ikke ser litt merkelige ut for oss, er de i stand til å forvirre maskinene.

Flere år siden, fant forskere ved Massachusetts Institute of Technology's Computer Science and Artificial Intelligence Laboratory (CSAIL) at de kunne lure selv sofistikerte bildegjenkjenningsalgoritmer til å forvirre objekter ganske enkelt ved å endre overflaten litt tekstur. Dette var heller ikke små forvekslinger.

I forskernes demonstrasjon viste de at det var mulig å få et banebrytende nevralt nettverk til å se på en 3D-printet skilpadde og se en rifle i stedet. Eller å se på en baseball og komme derfra med konklusjonen at det er en espresso. Hvis en slik visuell agnosi skulle manifestere seg i et menneske, ville det være den typen nevrologiske kasusstudie som ville finne veien inn i en bok som Oliver Sacks’ klassiker

Motstridende eksempler representerer en fascinerende sårbarhet når det kommer til hvordan visuell A.I. systemer ser på verden. Men de representerer også, som du kan forvente av en feil som forveksler en ny lekeskilpadde med en rifle, en potensielt alarmerende. Det er en som forskere desperat har funnet ut hvordan de skal lappe.

Nå har en annen gruppe forskere fra MIT kommet opp med et nytt system som kan bidra til å unngå "motstridende" innspill. I prosessen har de forestilt seg en ærlig skremmende brukssak for motstridende eksempler, en som kan, hvis den implementeres av hackere, brukes til dødelig effekt.

Scenarioet er dette: Autonome biler blir bedre og bedre til å oppfatte verden rundt seg. Men hva om plutselig de visuelle input-baserte kameraene i en bil enten med vilje eller ved et uhell ble gjort ute av stand til å identifisere hva som var foran dem? Feilkategorisering av et objekt på veien - for eksempel å ikke identifisere og plassere en fotgjenger riktig - kan potensielt ende veldig, veldig ille.

Avverge motstridende angrep

"Gruppen vår har jobbet i grensesnittet mellom dyp læring, robotikk og kontrollteori i flere år - inkludert arbeid med å bruke dyp RL [forsterkningslæring] for å trene roboter til å navigere på en sosialt bevisst måte rundt fotgjengere,» Michael Everett, en postdoktor ved ‎MIT Department of Aeronautics and Astronautics, fortalte Digital Trends. «Da vi tenkte på hvordan vi skulle bringe disse ideene til større og raskere kjøretøy, ble spørsmålene om sikkerhet og robusthet den største utfordringen. Vi så en flott mulighet til å studere dette problemet i dyp læring fra perspektivet av robust kontroll og robust optimalisering."

Forsterkende læring er en prøving-og-feil-basert tilnærming til maskinlæring som, kjent, har blitt brukt av forskere til å få datamaskiner til å lære å spille videospill uten å bli eksplisitt lært hvordan. Teamets nye forsterkningslæring og dype nevrale nettverksbaserte algoritme kalles CARRL, forkortelse for Certified Adversarial Robustness for Deep Reinforcement Learning. I hovedsak er det en nevrale nettverket med en ekstra dose skepsis når det kommer til hva den ser.

I en demonstrasjon av arbeidet deres, som ble støttet av Ford Motor Company, bygde forskerne en forsterkende læringsalgoritme som kunne spille det klassiske Atari-spillet Pong. Men i motsetning til tidligere RL-spillere, i deres versjon, brukte de et motstandsangrep som kastet av seg A.I. agentens vurdering av spillets ballposisjon, noe som fikk den til å tro at den var noen få piksler lavere enn den faktisk var. Normalt vil dette sette A.I. spiller i en stor ulempe, noe som får den til å tape gjentatte ganger for datamaskinmotstanderen. I dette tilfellet tenker imidlertid RL-agenten på alle stedene ballen kunne være, og plasserer deretter padlen et sted hvor den ikke vil bomme uavhengig av posisjonsskiftet.

Selvfølgelig er spill mye mer forenklet enn den virkelige verden, som Everett lett innrømmer.

"Den virkelige verden har mye mer usikkerhet enn videospill, fra ufullkomne sensorer eller motstandsangrep, som kan være nok til å lure dyp læring systemer for å ta farlige avgjørelser – [som] spraymaling av en prikk på veien [som kan føre til at en selvkjørende bil] svinger over i et annet kjørefelt,» forklart. "Vårt arbeid presenterer en dyp RL-algoritme som er sertifisert robust for ufullkomne målinger. Nøkkelinnovasjonen er at i stedet for å stole blindt på målingene, slik det gjøres i dag, mener algoritmen vår gjennom alle mulige målinger som kunne vært gjort, og tar en avgjørelse som vurderer det verste tilfellet utfall."

I en annen demonstrasjon viste de at algoritmen i simulert kjøresammenheng kan unngå kollisjoner selv når sensorene blir angrepet av en motstander som vil at agenten skal kollidere. "Denne nye kategorien av robuste dyplæringsalgoritmer vil være avgjørende for å bringe lovende A.I. teknikker inn i den virkelige verden," sa Everett.

Mer arbeid gjenstår

Det er fortsatt tidlig for dette arbeidet, og det er mer som må gjøres. Det er også det potensielle problemet at dette i noen scenarier kan føre til at A.I. agent til å oppføre seg for konservativt, og dermed gjøre den mindre effektiv. Ikke desto mindre er det et verdifullt stykke forskning som kan ha dype konsekvenser fremover.

"[Det er andre forskningsprosjekter] som fokuserer på å beskytte mot [visse typer] av motstridende eksempler, der det nevrale nettverkets jobb er å klassifiser et bilde og det er enten rett [eller] galt, og historien slutter der," sa Everett på spørsmål om den klassiske skilpadde-mot-riflen problem. «Vårt arbeid bygger på noen av disse ideene, men er fokusert på forsterkende læring, der agenten må ta handlinger og få litt belønning hvis den gjør det bra. Så vi ser på et langsiktig spørsmål om 'Hvis jeg sier at dette er en skilpadde, hva er de fremtidige implikasjonene av den avgjørelsen?' og det er der algoritmen vår virkelig kan hjelpe. Algoritmen vår vil tenke på de verste fremtidige konsekvensene av å velge enten en skilpadde eller en rifle, som kan være et viktig skritt mot å løse viktige sikkerhetsproblemer når A.I. agentenes avgjørelser har en langsiktig effekt."

Et papir som beskriver forskningen er tilgjengelig for lesing på det elektroniske preprint-lageret arXiv.

Redaktørenes anbefalinger

• Analog A.I.? Det høres sprøtt ut, men det kan være fremtiden
• Her er hva en trendanalyserende A.I. tror vil bli den neste store tingen innen teknologi
• Cailifornia har et blackout-problem. Kan gigantiske strømningsbatterier være løsningen?
• Algoritmisk arkitektur: Bør vi la A.I. designe bygg for oss?
• Følelsesfølende A.I. er her, og det kan være i ditt neste jobbintervju