En ny webapp giver Alexa mulighed for at tale med døve

amazon ekko i mørket
Greg Mombert/Digital Trends

Lige så praktisk som stemmeassistenter har vist sig at være, har disse A.I.-drevne værktøjer haltet i deres manglende evne til at tjene døvesamfundet. Men en driftig datalog har udviklet en løsning, der vil give dem med hørehæmmede mulighed for at opleve op- og nedture i Amazon Alexa, Google Assistant og Siri sammen med alle andre. Abhishek Singh, som først blev fremtrædende, da han byggede Super Mario Bros i augmented reality, har skabt en webapplikation, der bruger et kamera til at læse tegnsprog, og derefter oversætter disse ord til talesprog til et Amazon Echo. Når ekkoet siger sit svar, foregår hele processen omvendt, hvilket resulterer i et maskinskrevet svar for hørehæmmede eller døve at læse.

Denne app går ud over pseudo-løsningen leveret af Amazon Echo Show, som føjede en skærm til smart home hub for at give medlemmer af døvesamfundet mulighed for at interagere med det smarte hjem assistent. Dette tillod dog stadig ikke Alexa og dets bruger til virkelig at have en samtale – Singhs tilbud løser dog dette.

Anbefalede videoer

"Projektet var et tankeeksperiment inspireret af at observere en tendens blandt virksomheder til at presse stemmebaserede assistenter som en måde at skabe øjeblikkelige, problemfri interaktioner," fortalte han Hurtigt selskab. "Hvis disse enheder skal blive en central måde, vi interagerer med vores hjem på eller udfører opgaver på, så skal der tænkes lidt over dem, der ikke kan høre eller tale. Sømløst design skal være inkluderende i naturen.”

Ved opbygningen af ​​systemet trænede Singh en A.I. system inden for maskinlæringsplatformen Tensorflow, der signerer ord gennem sit webcam ad nauseam for at "lære" systemet i tegnsprog. Han tilføjede derefter Googles tekst-til-tale-funktioner for at oversætte tegnsproget til talte ord.

Selvom Singhs løsning er elegant, håber koderen stadig, at Amazon i sidste ende vil genkende tegnsprog alene. »Det er der, jeg håber, det leder hen. Og hvis dette projekt fører til et skub i den retning på en lille måde, så er missionen fuldført,” sagde han. "I en ideel verden ville jeg have bygget dette direkte på showet, men enhederne er ikke så hackbare endnu, [jeg] var ikke i stand til at finde en måde at gøre det på."

Redaktørens anbefalinger

  • Hvad er Amazon Alexa, og hvad kan det gøre?
  • Alexa vs. HomeKit: hvilken smart home-platform er bedst?
  • Amazon Alexa sigter mod at strømline EV-opladningsoplevelsen
  • De 8 bedste Alexa-feriekommandoer
  • Nye Ring-kameraer får radar, frisk design, og nu kan de sende Amazon Astros robot

Opgrader din livsstilDigital Trends hjælper læserne med at holde styr på den hurtige teknologiske verden med alle de seneste nyheder, sjove produktanmeldelser, indsigtsfulde redaktionelle artikler og enestående smugkig.