Amazon-anerkendelse identificerer falsk 28 kongresmedlemmer som kriminelle

ACLU

Amazon vil måske gå tilbage til tegnebrættet for denne. Et ansigtsgenkendelsesværktøj, som detailgiganten i øjeblikket tilbyder udviklere lavet ret fejl i en test udført af American Civil Liberties Union (ACLU), rapporterer The New York Times. I stedet for at identificere 28 medlemmer af Kongressen som medlemmer af landets lovgivende afdeling, klassificerede værktøjet i stedet disse personer som politimistænkte. For at gøre tingene værre var et uforholdsmæssigt stort antal afroamerikanske og latinamerikanske kongresmedlemmer forkert identificeret, hvilket rejser spørgsmål om, hvor langt raceprofilering har indlejret sig selv i vores maskinlæring software.

Nu vil Kongressen have svar. Fem af de forkert identificerede lovgivere anmoder om et "øjeblikkeligt" møde med Amazons CEO Jeff Bezos. Torsdag den 26. juli, reps. Jimmy Gomez, John Lewis, Luis Gutierrez og Mark DeSaulnier, samt Sen. Edward Markey, sendte breve til online-detailgiganten og spurgte, hvorfor de ikke var matchede. Men ud over de personlige effekter af disse tilfælde af fejlagtig identitet, beder kongresmedlemmerne om svar på "hvordan man løser fejlene ved denne teknologi for at forhindre unøjagtige resultater."

Anbefalede videoer

Amazon har endnu ikke angivet, om dets administrerende direktør vil acceptere disse møder.

I en separat erklæring skriver rep. G.K. Butterfield bemærkede, "Jeg er bekymret over de unøjagtige resultater forbundet med denne teknologi, da der er klare blinde vinkler, der vil have utilsigtede konsekvenser specifikt for folk af farve. Selvom denne teknologi kan have et vidtrækkende økonomisk potentiale, opfordrer jeg Amazon til bedre at træne sine brugere i bedste praksis for at bruge dette teknologi, vær åben og på forkant med dens begrænsninger, og ansæt flere farverige medarbejdere, som kan hjælpe ordentligt med at afhjælpe fejlene i denne teknologi."

Relaterede

  • Amazon Prime-medlemmer kan få en gratis pakke med farverige Destiny 2-eksotiske ting
  • Små virksomhedsejere opfordrer Kongressen til at grille Amazons Bezos
  • Amazon forbyder politiet fra at bruge ansigtsgenkendelsesteknologien Rekognition i 1 år

Blandt de forkert identificerede lovgivere var reps. John Lewis og Bobby Rush, som begge er kendte borgerrettighedsledere og medlemmer af Congressional Black Caucus. Men i stedet for at blive anerkendt som folkevalgte, blev disse to mænd (sammen med 26 andre) fejlagtigt markeret som kriminelle. Disse fejl opstod, da ACLU tog Amazons software til at analysere billeder af alle medlemmer af Kongressen mod en database med 25.000 offentligt tilgængelige mugshots. Dette resulterede i, at de 28 kongresmedlemmer fejlagtigt blev identificeret som lovovertrædere, hvilket repræsenterer en fejlprocent på 5 procent.

ACLU

"Denne test bekræfter, at ansigtsgenkendelse er mangelfuld, forudindtaget og farlig," sagde Jacob Snow, en teknologi- og borgerrettighedsadvokat ved ACLU i det nordlige Californien, til The New York Times.

Som svar på testen sagde Nina Lindsey, en talskvinde for Amazon Web Services, at ACLU brugte ansigtsmatchningsværktøjet (kaldet Amazon-anerkendelse) anderledes end Amazons anbefalinger. "Det er værd at bemærke, at i scenarier i den virkelige verden bruges Amazon Rekognition næsten udelukkende til at indsnævre felt og give mennesker mulighed for hurtigt at gennemgå og overveje muligheder ved hjælp af deres dømmekraft," sagde Lindsey i en udmelding.

Hun påpegede endvidere, at ACLU holdt værktøjets "tillidsgrænse" på standarden på 80 procent. Det betyder, at gruppen tog højde for ethvert ansigt, der matchede som 80 procent svarende til politiets database. Det er dog værd at påpege, at Amazon bruger den samme tærskel i et eksempel på sin hjemmeside, der viser, hvordan medarbejderes ansigter kan matches med deres ID-badges. Lindsey sagde, at i tilfælde af politiafdelinger anbefaler Amazon, at der implementeres en tærskel på 95 procent lighed for at undgå denne slags fejl.

Rep. Sanford Bishop (D-Ga.) blev fejlagtigt identificeret af Amazon Rekognition som en, der var blevet arresteret for en forbrydelse.ACLU

Amazon har tidligere været under beskydning for at sælge Rekognition. I maj skrev 24 borgerlige frihedsgrupper, ledet af ACLU, et brev til Amazons administrerende direktør Jeff Bezos, der anmodede om, at softwaren ophører med at blive solgt til retshåndhævende myndigheder. Grupperne udtrykte bekymring for, at softwaren kunne bruges til at overvåge demonstranter, immigranter eller almindelige medlemmer af offentligheden, snarere end blot politimistænkte. Amazon-ansatte, investorer og akademikere har siden stillet lignende krav til Amazon.

Foreløbig ser det dog ikke ud til at ligge i kortene for webgiganten. Som Amazons talsmand sagde: "Vi er fortsat spændte på, hvordan billed- og videoanalyse kan være en drivkraft for det gode i verden."

Opdateret den 27. juli: Kongressen kræver svar fra Amazon vedrørende fejlene begået af deres Rekognition-software.

Redaktørens anbefalinger

  • Av! Nogle Amazon Prime-medlemmer står over for en prisstigning på 43 %
  • Sådan ser du CEO'erne for Facebook, Google, Amazon og Apple vidne til Kongressen
  • Amazon, Apple, Facebook og Google vil vidne for kongressen i juli
  • Sen. Josh Hawley opfordrer til kriminel antitrust-undersøgelse af Amazon
  • Amerikansk militær ansigtsgenkendelse kunne identificere personer fra 1 km væk

Opgrader din livsstilDigital Trends hjælper læserne med at holde styr på den hurtige teknologiske verden med alle de seneste nyheder, sjove produktanmeldelser, indsigtsfulde redaktionelle artikler og enestående smugkig.