Bildigenkänning A.I. Har en svaghet. Detta kan fixa det

Du är förmodligen bekant med deepfakes, de digitalt förändrade "syntetiska medierna" som kan lura människor att se eller höra saker som aldrig faktiskt har hänt. Motstridiga exempel är som deepfakes för bildigenkänning A.I. system – och även om de inte ens ser konstiga ut för oss, kan de förvirra maskiner.

Många år sedan, fann forskare vid Massachusetts Institute of Technology's Computer Science and Artificial Intelligence Laboratory (CSAIL) att de kan lura även sofistikerade bildigenkänningsalgoritmer till att förvirra objekt helt enkelt genom att ändra deras yta något textur. Dessa var inte heller små förväxlingar.

I forskarnas demonstration visade de att det var möjligt att få ett banbrytande neuralt nätverk att titta på en 3D-printad sköldpadda och se ett gevär istället. Eller att titta på en baseboll och komma undan med slutsatsen att det är en espresso. Om sådan visuell agnosi skulle manifestera sig hos en människa, skulle det vara den typen av neurologisk fallstudie som skulle hitta vägen in i en bok som Oliver Sacks klassiker

Motstridiga exempel representerar en fascinerande sårbarhet när det kommer till hur visuell A.I. system ser världen. Men de representerar också, som du kan förvänta dig av ett fel som blandar ihop en nyskapande leksakssköldpadda med ett gevär, en potentiellt alarmerande sådan. Det är en som forskare desperat har funderat på hur man lappar.

Nu har en annan grupp forskare från MIT kommit med ett nytt system som kan hjälpa till att undvika "motstridiga" ingångar. Under processen har de föreställt sig ett rent ut sagt skrämmande användningsfall för motstridiga exempel, ett som skulle kunna användas med dödlig effekt om det implementeras av hackare.

Scenariot är detta: Autonoma bilar blir bättre och bättre på att uppfatta omvärlden. Men vad händer om, plötsligt, de visuella ingångsbaserade kamerorna i en bil antingen avsiktligt eller av misstag gjordes oförmögna att identifiera vad som fanns framför dem? Att felkategorisera ett föremål på vägen - som att misslyckas med att identifiera och placera en fotgängare korrekt - kan potentiellt sluta mycket, mycket illa.

Avvärja motstridiga attacker

"Vår grupp har arbetat i gränssnittet mellan djupinlärning, robotik och kontrollteori i flera år – inklusive arbeta med att använda djup RL [förstärkningsinlärning] för att träna robotar att navigera på ett socialt medvetet sätt runt fotgängare.” Michael Everett, en postdoktor vid ‎MIT Department of Aeronautics and Astronautics, berättade för Digital Trends. "När vi funderade på hur vi skulle föra dessa idéer till större och snabbare fordon, blev frågorna om säkerhet och robusthet den största utmaningen. Vi såg en stor möjlighet att studera detta problem i djupinlärning ur perspektivet robust kontroll och robust optimering.”

Förstärkningsinlärning är ett försök-och-fel-baserat tillvägagångssätt för maskininlärning som, berömt, har använts av forskare för att få datorer att lära sig spela tv-spel utan att uttryckligen läras hur. Teamets nya förstärkningsinlärning och djupa neurala nätverksbaserade algoritm kallas CARRL, förkortning för Certified Adversarial Robustness for Deep Reinforcement Learning. I huvudsak är det en neuralt nätverk med en extra dos av skepsis när det kommer till vad den ser.

I en demonstration av deras arbete, som stöddes av Ford Motor Company, byggde forskarna en förstärkningsinlärningsalgoritm som kunde spela det klassiska Atari-spelet Pong. Men, till skillnad från tidigare RL-spelare, tillämpade de i deras version en motståndsattack som kastade av sig A.I. agentens bedömning av spelets bollposition, vilket fick den att tro att den var några pixlar lägre än den faktiskt var. Normalt skulle detta sätta A.I. spelare i ett stort underläge, vilket gör att den förlorar upprepade gånger mot datormotståndaren. I det här fallet tänker dock RL-agenten på alla ställen bollen skulle kunna vara, och placerar sedan paddeln någonstans där den inte missar oavsett positionsförändring.

Naturligtvis är spel mycket mer förenklade än den verkliga världen, vilket Everett lätt erkänner.

"Den verkliga världen har mycket mer osäkerhet än videospel, från ofullkomliga sensorer eller motstridiga attacker, vilket kan vara tillräckligt för att lura djupinlärning system för att fatta farliga beslut - [som] att spraymåla en prick på vägen [vilket kan få en självkörande bil] att svänga in i ett annat körfält", förklarade. "Vårt arbete presenterar en djup RL-algoritm som är certifierat robust för ofullkomliga mätningar. Nyckelinnovationen är att, snarare än att blint lita på dess mätningar, som man gör idag, tror vår algoritm genom alla möjliga mätningar som kunde ha gjorts, och fattar ett beslut som tar hänsyn till det värsta tänkbara resultat."

I en annan demonstration visade de att algoritmen kan, i ett simulerat körsammanhang, undvika kollisioner även när dess sensorer attackeras av en motståndare som vill att agenten ska kollidera. "Denna nya kategori av robusta djupinlärningsalgoritmer kommer att vara avgörande för att få lovande A.I. tekniker till den verkliga världen, säger Everett.

Mer arbete återstår

Det är fortfarande tidiga dagar för detta arbete, och det finns mer som behöver göras. Det finns också det potentiella problemet att detta i vissa scenarier kan orsaka A.I. agent att bete sig för konservativt, vilket gör det mindre effektivt. Icke desto mindre är det ett värdefullt stycke forskning som kan ha djupgående effekter framöver.

"[Det finns andra forskningsprojekt] som fokuserar på att skydda mot [vissa typer] av kontradiktoriska exempel, där det neurala nätverkets uppgift är att klassificera en bild och det är antingen rätt [eller] fel, och berättelsen slutar där," sa Everett när han blev tillfrågad om den klassiska sköldpadda-mot-geväret problem. "Vårt arbete bygger på några av dessa idéer, men är fokuserat på förstärkningsinlärning, där agenten måste vidta åtgärder och får lite belöning om det går bra. Så vi tittar på en långsiktig fråga om "Om jag säger att det här är en sköldpadda, vilka är de framtida konsekvenserna av det beslutet?" och det är där vår algoritm verkligen kan hjälpa. Vår algoritm skulle tänka på de värsta framtida konsekvenserna av att välja antingen en sköldpadda eller ett gevär, vilket kan vara ett viktigt steg mot att lösa viktiga säkerhetsfrågor när A.I. agenternas beslut har en långsiktighet effekt."

En artikel som beskriver forskningen är tillgänglig att läsa på det elektroniska förtrycksarkivet arXiv.

Redaktörens rekommendationer

• Analog A.I.? Det låter galet, men det kanske är framtiden
• Här är vad en trendanalyserande A.I. tror kommer att bli nästa stora grej inom teknik
• Cailifornia har ett blackout-problem. Kan jätteflödesbatterier vara lösningen?
• Algoritmisk arkitektur: Ska vi låta A.I. designa byggnader åt oss?
• Känslokännande A.I. är här, och det kan vara i din nästa anställningsintervju