Новий веб-додаток дозволяє Alexa вести розмову з глухими

амазонське ехо в темряві
Грег Момберт/Цифрові тенденції

Незважаючи на те, що голосові помічники зарекомендували себе як зручні, ці інструменти на основі штучного інтелекту відстали через свою неспроможність служити спільноті глухих. Але один заповзятливий комп’ютерний вчений розробив рішення, яке дозволить людям із вадами слуху відчути високі та низькі частоти Amazon Alexa, Google Assistant і Siri разом з усіма іншими. Абхішек Сінгх, який вперше став відомим, коли побудував Super Mario Bros у доповненій реальності створив веб-додаток, який використовує камеру для читання мови жестів, а потім перекладає ці слова на розмовну мову для Amazon Echo. Коли Echo озвучує свою відповідь, весь процес відбувається у зворотному порядку, що призводить до надрукованої відповіді, яку можуть прочитати люди з вадами слуху або глухі.

Ця програма виходить за рамки псевдорішення, наданого Amazon Echo Show, яке додало екран до концентратор розумного будинку, щоб дозволити членам спільноти глухих взаємодіяти з розумним будинком помічник. Однак це все одно не дозволило

Алекса і його користувач справді вести розмову – однак пропозиція Сінгха це виправляє.

Рекомендовані відео

«Проект був уявним експериментом, натхненним спостереженням за тенденцією компаній просувати голосових помічників як спосіб створити миттєву безперебійну взаємодію», — сказав він. Швидка компанія. «Якщо ці пристрої мають стати основним засобом взаємодії з нашими домівками чи виконання завдань, тоді потрібно трохи подумати про тих, хто не може чути чи говорити. Потрібен безшовний дизайн інклюзивний характер.”

Створюючи систему, Сінгх навчив ШІ. систему в платформі машинного навчання Tensorflow, підписуючи слова через свою веб-камеру до нудоти, щоб «навчити» мову жестів системи. Потім він додав можливості перетворення тексту в мовлення Google, щоб перекласти мову жестів у розмовні слова.

Хоча рішення Сінгха є елегантним, програміст все ще сподівається, що Amazon зрештою самостійно розпізнає мову жестів. «Я сподіваюся, що це веде до цього. І якщо цей проект призведе до будь-якого поштовху в цьому напрямку, то місію виконано», — сказав він. «В ідеальному світі я б створив це безпосередньо на шоу, але пристрої ще не настільки зламані, [я] не зміг знайти спосіб це зробити».

Рекомендації редакції

  • Що таке Amazon Alexa і що вона може робити?
  • Alexa проти HomeKit: яка платформа розумного будинку найкраща?
  • Amazon Alexa прагне оптимізувати процес зарядки електромобілів
  • 8 найкращих святкових команд Alexa
  • Нові камери Ring отримали радар, оновлений дизайн і тепер вони можуть відправляти робота Amazon Astro

Оновіть свій спосіб життяDigital Trends допомагає читачам стежити за динамічним світом технологій завдяки всім останнім новинам, цікавим оглядам продуктів, проникливим редакційним статтям і унікальним у своєму роді коротким оглядам.