Спортивные трансляции Action Audio похожи на шрифт Брайля для ваших ушей

ПОЖАЛУЙСТА. Понк. Твок. Понк. ПОЖАЛУЙСТА. ПОНК. Твок. Аплодисменты усиливаются. Понк. ПОЖАЛУЙСТА. Скрип кроссовок по асфальту. ПОНК. Пауза. Восторженные аплодисменты.

Признать это? Конечно нет. Это, по сути, Роджер Федерер».невозможный выстрелпротив Андре Агасси в четвертьфинале чемпионата Дубая по теннису 2005 года. Это настолько совершенный момент тенниса, насколько можно надеяться увидеть, сделанный неразборчивым из-за того факта, что он воспроизводится здесь как абстрактный звуковой ландшафт.

Насколько легко следить за теннисом визуально, на уровне аудиопространства следить за ним так же сложно, как за эпизодом Твин Пикс вы включили на полпути. Это задача инженеров из Tennis Australia, агентства цифрового дизайна и коммуникаций AKQA, и Университет Монаша в Мельбурне, Австралия, работают над решением проблемы под названием «Действие». Аудио. Это онлайн-аудиопоток, который был разработан для трансляций Открытого чемпионата Австралии по теннису в прошлом месяце, чтобы помочь 285 миллионов человек во всем мире, многие из которых являются фанатами тенниса, живут со слепотой или зрением. нарушение.

«Легкий способ понять это… вы знакомы с аудиоописаниями?» Тим Девайн, исполнительный креативный директор AKQA, сказал Digital Trends. «Многие слепые и слабовидящие используют их. Это своего рода абстрактная версия аудиоописаний, чтобы дать людям больше информации о том, что происходит [на корте]».

То есть комментарий, по сути?

Есть, конечно, своего рода звуковое описание, которое существует в спорте годами — и оно одно и то же. тот, который позволяет любителям спорта слушать спорт по радио, где изображения не совсем в изобилии поставлять. Но аудиокомментарии экспертов — это не то же самое, что смотреть игру и делать собственные выводы. Идея Звук действия заключается в том, чтобы делать снимки действий на корте, а затем превращать их в ненавязчивую реплику действий язык — с разными звуками, чтобы проиллюстрировать удары справа, слева, удары с близкого расстояния и более.

«[Мы хотели, чтобы люди могли] дать собственную оценку тому, что происходит на корте», — сказал Дивайн. «Таким образом, они могут иметь свои собственные идеи, а не просто идеи, созданные комментатором. У них больше информации. Они могут сказать: «Вау, сегодня Федерер действительно бьет слева». Без Action Audio у них не было бы этого понимания. потому что никто не говорит им «это удар слева» или «это удар справа». Но вы можете сделать это очень легко с помощью абстрактного звука. сигналы».

Технология работает с использованием пространственных 3D-данных от высокоскоростной камеры/системы компьютерного зрения, называемой Соколиный глаз, который отслеживает положение мяча в режиме реального времени для электронного вызова линии для целей подсчета очков. Затем эта информация преобразуется в 3D-аудио, превращая действия в отдельные звуковые сигналы, а также перемещая кажется, что звук исходит, чтобы болельщики могли понять, где находится мяч на площадке в любой конкретный момент. момент. «Мы деконструируем спорт, чтобы восстановить его как звук», — сказал Дивайн.

Он отметил, что проект был вдохновлен технологией сенсорной замены нейробиолога Дэвида Иглмана. Иглман, который Интервью Digital Trends в прошлом году, давно исследует сенсорную замену, которая способна, например, улавливать звук и превращать его в вибрационные паттерны на жилете или браслете. Это можно использовать, чтобы глухой человек мог понять, что он говорит, когда говорит.

«Если подумать, каждый сигнал, поступающий в тело, независимо от его смысла, абстрактен, верно?» — сказал Девайн. «Мы просто учимся расшифровывать этот сигнал. Так что нет никаких причин, по которым мы не можем создать — [и научиться понимать] — абстрактный сигнал, который проходит через звуковой канал».

После Открытого чемпионата Австралии

Для Открытого чемпионата Австралии по теннису Action Audio был доступен как телевизионный аудиоканал в рамках трансляции. Звуковые сигналы, которые можно было слушать отдельно или со звуковыми комментариями, предлагали звуки для удара справа и слева, а также другие, чтобы указать, насколько близко мяч находится к линии. Дивайн сказал, что в будущем есть возможности расширить это — так же, как любой разговорный язык можно использовать для передачи простых намерений, а также для гораздо более подробных наблюдений. В будущем пользователи могут даже настроить систему под себя, либо изменив определенные звуковые сигналы или, возможно, добавление или удаление деталей в зависимости от того, что они хотят видеть выделено. Возможности безграничны.

Дивайн признал, что это сложная работа не только с технологической точки зрения, но и с точки зрения обеспечения того, чтобы они улучшали впечатления от просмотра, а не отвлекали от него. «Слух для слепого или слабовидящего человека — очень значимое и ценное чувство», — отметил он. В другом месте интервью он утверждал, что команда «пытается снизить когнитивную нагрузку» на пользователей.

Продемонстрировав технологию, они теперь надеются распространить ее на другие теннисные турниры, такие как Уимблдон (который уже использует впечатляющий ИИ. технология), Открытый чемпионат Франции и Открытый чемпионат США. Они также считают, что могут расшириться и на другие виды спорта, хотя это поставит перед ними новые задачи.

«Теннис на самом деле является действительно хорошим примером звукового сопровождения действий, потому что он динамичный», — сказал Дивайн. «В нем есть моменты остановки и моменты полного действия, когда все молчат. Но все виды спорта разные. Как мы можем озвучить серфинг? Как мы даем людям представление о том, что делает серфер? Что мы идентифицируем? Как насчет многопользовательских событий, таких как баскетбол? Откуда мы знаем, какую информацию хотел бы услышать слепой или слабовидящий человек? Вот где процесс кодирования будет работать».

Предстоит еще много работы, но это, безусловно, многообещающие начинания.