Facebook создает AR-очки, улучшающие слух

Обычно новость о том, что исследовательскую лабораторию превращают в бар, предполагает, что она потерпела неудачу и ее исследователи сдаются. Но в случае с Facebook Reality Labs Research — лабораторией, занимающейся (частично) разработкой новых творческих идей. способы улучшения слуха для членов сообщества глухих и слабослышащих, он показал, что его работа приносит пользу выключенный.

Заявленная миссия Facebook — помогать людям соединяться и общаться друг с другом. Вот почему, хотя решение этого проекта может показаться нецелесообразным, на самом деле он идеально вписывается в основные компетенции компании.

Проблема Фейсбук пытается решить вопрос о том, как улучшить восприятие звука людьми, находящимися в шумной обстановке. Хотя многие люди с потерей слуха, в зависимости от ее тяжести, находят возможным слышать и взаимодействовать в ситуации один на один в тихих местах, шумных местах, таких как бары или оживленные общественные места, могут быть очень сложными. жестче. Имея это в виду, Facebook изучает, как можно объединить технологию формирования луча, глубоко обучение, шумоподавление и, что самое удивительное, дополненная реальность (AR) для улучшения этой ситуации. ситуация.

В недавнем проекте ученые Facebook изучали, как очки дополненной реальности могут помочь определить, какие звуки люди хотят усилить, глядя на то, куда они смотрят. Сопоставляя фокус человека с точки зрения того, на что он смотрит, с аудиовходами, очки AR могут определить, какие звуки человек хочет слышать, а какие нет — а затем переключать звуковые каналы вверх или вниз соответственно. В рамках своих экспериментов в этой области, Фейсбук превратил рабочее пространство, где проводится большая часть этого расследования, в фальшивый бар, чтобы изучить, как оно будет работать в месте с множеством шумных звуковых входов.

«Многие люди с потерей слуха не используют слуховые аппараты — отчасти — потому, что они плохо работают в повседневной жизни. таких ситуациях, как шумный ресторан, разговор нескольких человек на громкой вечеринке или в движущемся движении. машина," Томас Луннер, руководитель исследования лаборатории слуха Facebook, рассказал Digital Trends. «Проводя исследование улучшения слуха для очков AR, мы поняли, что некоторые из сделанных нами открытий могут иметь отношение к решению этой проблемы. В [нашем новом исследовании] мы показываем, как дополненная реальность может дополнить слуховой аппарат с помощью системы, которая понимает, что вы хотите слушать, изолирует и усиливает звуки, которые вы хотите услышать, и уменьшает отвлекающие факторы фоновый шум. Отправив затем улучшенный сигнал, обработанный AR, на слуховой аппарат, вы также получите систему, которая адаптируется к вашим уникальным слуховым способностям».

Использование сильных сторон Facebook Research

Ланнер не новичок в этой области исследований. Он известный ученый-слуховик, чья работа заложила основу для создания первого в мире цифрового слухового аппарата в 1995 году. Это исследование, хотя и находится на ранней стадии, затрагивает ряд областей исследований Facebook, таких как распознавание изображений, обработка естественного языка и многое другое.

«Слуховые науки — это область, которую мы только начинаем исследовать, поэтому эта технология недоступна на любой из наших продуктов, но мы очень воодушевлены возможностями очков дополненной реальности», — Ланнер продолжение. «Мы думаем, что однажды они смогут помочь во всех видах улучшений, в том числе помочь всем, у кого потеря слуха или просто проблемы с пониманием людей на вечеринке».

Майкл Абраш, главный научный сотрудник Facebook Reality Labs, рассказал Digital Trends, что, по его мнению, как дополненная, так и виртуальная реальность могут иметь глубокие последствия (и приложения) в сфере доступности.

«Дополненная и виртуальная реальность обладают огромным потенциалом, который принесет пользу всем, но особенно велик потенциал для людей с различными физическими способностями», — сказал Абраш. «Например, очки AR однажды смогут повысить контрастность, чтобы помочь людям с плохим зрением. лучше видеть и может обеспечить зрительную обратную связь об окружающих звуках и речи нарушены. В качестве еще одного примера: мы считаем, что VR — и, в конечном итоге, AR — однажды смогут создавать ультрареалистичные виртуальные пространства. и аватары, которые позволят людям с ограниченными возможностями телепортироваться в офис или в дом своей бабушки. комната."

Facebook, конечно, наиболее известен своей социальной сетью. Но, как и материнская компания Google Alphabet, которая исследует беспилотные автомобили, картографические системы и доставка дронами наряду с поиском, Фейсбук интересуется гораздо большим, чем просто новостные ленты и графики. В прошлом компания проявляла значительный интерес как к VR, так и к AR — начиная с приобретения Окулус к созданию Спарк AR Студия. Фейсбук до сих пор еще не проявил себя, когда дело доходит до многих из этих технологий. Тем не менее, если судить по этой работе, кажется, что Фейсбук могла бы использовать свою значительную силу во благо, когда дело касается будущего объединения людей.

Был опубликован документ с описанием работы под названием «Потенциал платформ дополненной реальности для улучшения индивидуальных слуховых аппаратов и поддержки более экологически обоснованных исследований». недавно опубликовано в журнале Ear & Hearing.

Рекомендации редакции

• Гарнитура Apple VR в разработке, очки AR появятся позже
• Facebook подтверждает, что работает над очками AR, всего через несколько недель после утечки информации о том, что это так