Amazon kanske vill gå tillbaka till ritbordet för den här. Ett ansiktsigenkänningsverktyg som detaljhandelsjätten för närvarande erbjuder utvecklare tillverkade ganska fel i ett test utfört av American Civil Liberties Union (ACLU), rapporterar The New York Times. Istället för att identifiera 28 medlemmar av kongressen som medlemmar av landets lagstiftande gren, klassificerade verktyget istället dessa personer som polismisstänkta. För att göra saken värre var ett oproportionerligt antal afroamerikanska och latinamerikanska kongressmedlemmar felaktigt identifierade, vilket väcker frågor om hur långt rasprofilering har inbäddat sig även i vår maskininlärning programvara.
Nu vill kongressen ha svar. Fem av de felidentifierade lagstiftarna begär ett "omedelbart" möte med Amazons vd Jeff Bezos. Torsdagen den 26 juli, reps. Jimmy Gomez, John Lewis, Luis Gutierrez och Mark DeSaulnier, samt sen. Edward Markey, skickade brev till onlinebutiksjätten och frågade varför de inte matchade dem. Men utöver de personliga effekterna av dessa fall av felaktig identitet, ber kongressledamöterna om svar på "hur man åtgärdar defekterna i denna teknik för att förhindra felaktigheter resultat."
Rekommenderade videor
Amazon har ännu inte angett om dess vd kommer att acceptera dessa möten.
I ett separat uttalande säger rep. G.K. Butterfield noterade, "Jag är bekymrad över de felaktiga resultaten som är förknippade med denna teknik, eftersom det finns tydliga blinda fläckar som kommer att få oavsiktliga konsekvenser specifikt för människor av Färg. Även om denna teknik kan ha långtgående ekonomisk potential, uppmuntrar jag Amazon att bättre utbilda sina användare i bästa praxis för att använda detta teknik, var öppen och uppmärksam på dess begränsningar och anställ fler färgstarka anställda som på ett korrekt sätt kan hjälpa till med att åtgärda defekterna i detta teknologi."
Relaterad
- Amazon Prime-medlemmar kan hämta ett gratispaket med färgglada Destiny 2-exotiska produkter
- Småföretagare uppmanar kongressen att grilla Amazons Bezos
- Amazon förbjuder polisen att använda ansiktsigenkänningstekniken Rekognition i ett år
Bland de felidentifierade lagstiftarna fanns representanter. John Lewis och Bobby Rush, som båda är välkända medborgarrättsledare och medlemmar av Congressional Black Caucus. Men istället för att bli erkända som förtroendevalda, flaggades dessa två män (tillsammans med 26 andra), falskt som kriminella. Dessa misstag inträffade när ACLU tog Amazons programvara för att analysera bilder av alla kongressmedlemmar mot en databas med 25 000 offentligt tillgängliga mugshots. Detta resulterade i att de 28 kongressmedlemmarna felaktigt identifierades som lagbrytare, vilket representerar en felfrekvens på 5 procent.
"Detta test bekräftar att ansiktsigenkänning är felaktigt, partiskt och farligt," sa Jacob Snow, en teknik- och medborgerliga advokat vid ACLU i norra Kalifornien, till The New York Times.
Som svar på testet sa Nina Lindsey, en taleskvinna för Amazon Web Services, att ACLU använde ansiktsmatchningsverktyget (kallad Amazon erkännande) annorlunda än Amazons rekommendationer. "Det är värt att notera att i verkliga scenarier används Amazon Rekognition nästan uteslutande för att minska fältet och tillåta människor att snabbt granska och överväga alternativ med hjälp av deras omdöme, "sa Lindsey i en påstående.
Hon påpekade vidare att ACLU höll verktygets "förtroendetröskel" på standardvärdet på 80 procent. Det betyder att gruppen tog hänsyn till alla ansikten som matchades som 80 procent liknande polisens databas. Det är dock värt att påpeka att Amazon använder samma tröskel i ett exempel på sin webbplats, som visar hur anställdas ansikten kan matchas med deras ID-brickor. Lindsey sa att när det gäller polisavdelningar rekommenderar Amazon att ett tröskelvärde på 95 procents likhet implementeras för att undvika den här typen av misstag.
Amazon har tidigare råkat ut för att ha sålt Rekognition. I maj skrev 24 grupper för medborgerliga friheter, ledda av ACLU, ett brev till Amazons vd Jeff Bezos och bad att programvaran skulle sluta säljas till brottsbekämpande myndigheter. Grupperna uttryckte oro för att programvaran skulle kunna användas för att övervaka demonstranter, invandrare eller allmänna medlemmar av allmänheten, snarare än bara polismisstänkta. Amazon-anställda, investerare och akademiker har sedan dess ställt liknande krav på Amazon.
För närvarande verkar det dock inte ligga i korten för webbjätten. Som Amazons talesperson sa: "Vi är fortfarande exalterade över hur bild- och videoanalys kan vara en drivkraft för det goda i världen."
Uppdaterad den 27 juli: Kongressen kräver svar från Amazon angående misstagen som gjorts av dess Rekognition-programvara.
Redaktörens rekommendationer
- aj! Vissa Amazon Prime-medlemmar står inför en prishöjning på 43 %
- Hur man ser VD: arna för Facebook, Google, Amazon och Apple vittna om kongressen
- Amazon, Apple, Facebook och Google kommer att vittna inför kongressen i juli
- Sen. Josh Hawley efterlyser brottslig antitrustutredning av Amazon
- USA: s militära ansiktsigenkänning kan identifiera personer på 1 kms avstånd
Uppgradera din livsstilDigitala trender hjälper läsare att hålla koll på den snabba teknikvärlden med alla de senaste nyheterna, roliga produktrecensioner, insiktsfulla redaktioner och unika smygtittar.
