En ny nettapp lar Alexa ha en samtale med døve

amazon ekko i mørket
Greg Mombert/Digitale trender

Like praktisk som stemmeassistenter har vist seg å være, har disse AI-drevne verktøyene haltet i sin manglende evne til å tjene døvesamfunnet. Men en driftig dataforsker har utviklet en løsning som vil tillate de med hørselshemninger å oppleve høyder og nedturer av Amazon Alexa, Google Assistant og Siri sammen med alle andre. Abhishek Singh, som først ble fremtredende da han bygde Super Mario Bros i utvidet virkelighet, har laget en nettapplikasjon som bruker et kamera til å lese tegnspråk, og deretter oversetter disse ordene til talespråk for et Amazon Echo. Når ekkoet sier svaret sitt, går hele prosessen i revers, noe som resulterer i et maskinskrevet svar for hørselshemmede eller døve å lese.

Denne appen går utover pseudoløsningen levert av Amazon Echo Show, som la til en skjerm til smarthusknutepunkt for å la medlemmer av døvesamfunnet samhandle med smarthjemmet assistent. Dette tillot imidlertid fortsatt ikke Alexa og brukeren til å virkelig ha en samtale – Singhs tilbud fikser imidlertid dette.

Anbefalte videoer

"Prosjektet var et tankeeksperiment inspirert av å observere en trend blant selskaper med å presse stemmebaserte assistenter som en måte å skape umiddelbare, sømløse interaksjoner," sa han Rask selskap. «Hvis disse enhetene skal bli en sentral måte vi samhandler med hjemmene våre eller utfører oppgaver på, må vi tenke litt over de som ikke kan høre eller snakke. Sømløs design må være inkluderende i naturen.”

Ved å bygge systemet trente Singh en A.I. system innenfor maskinlæringsplattformen Tensorflow, og signerer ord gjennom webkameraet sitt annonse nauseam for å "lære" systemet i tegnspråk. Deretter la han til Googles tekst-til-tale-funksjoner for å oversette tegnspråket til talte ord.

Selv om Singhs løsning er elegant, håper koderen fortsatt at Amazon til slutt vil gjenkjenne tegnspråk på egen hånd. "Det er dit jeg håper dette leder. Og hvis dette prosjektet fører til et push i den retningen på en liten måte, så er oppdraget fullført, sa han. "I en ideell verden ville jeg ha bygget dette direkte på Showet, men enhetene er ikke så hackbare ennå, [jeg] var ikke i stand til å finne en måte å gjøre det på."

Redaktørenes anbefalinger

  • Hva er Amazon Alexa, og hva kan det gjøre?
  • Alexa vs. HomeKit: hvilken smarthusplattform er best?
  • Amazon Alexa har som mål å effektivisere ladeopplevelsen for elbiler
  • De 8 beste Alexa-feriekommandoene
  • Nye Ring-kameraer får radar, friskt design, og nå kan de sende Amazon Astros robot

Oppgrader livsstilen dinDigitale trender hjelper leserne å følge med på den fartsfylte teknologiverdenen med alle de siste nyhetene, morsomme produktanmeldelser, innsiktsfulle redaksjoner og unike sniktitter.