Спортивні трансляції Action Audio — як шрифт Брайля для ваших вух

THWOK. Понк. Thwok. Понк. THWOK. PONK. Thwok. Аплодисменти посилюються. Понк. THWOK. Скрип кросівок по асфальту. PONK. Пауза. Захоплені оплески.

Впізнаєте це? Звичайно, ні. Насправді це «Роджер Федерер»неможливий постріл» проти Андре Агассі в чвертьфіналі Дубайського тенісного чемпіонату 2005 року. Це настільки ж ідеальний момент тенісу, який можна було спостерігати, незрозумілий через те, що він відтворений тут як абстрактний звуковий пейзаж.

Наскільки легко стежити за тенісом візуально, на рівні аудіокейпу, за ним так само важко стежити, як за епізодом Твін Пікс ви ввімкнули на півдорозі. Це виклик інженерам Tennis Australia, агентству цифрового дизайну та комунікацій AKQA, та Університет Монаша в Мельбурні, Австралія, працюють над вирішенням за допомогою чогось під назвою «Дія». Аудіо. Це онлайн-аудіопотік, розроблений для трансляцій Australian Open минулого місяця, щоб допомогти 285 мільйонів людей у ​​всьому світі, багато з яких є фанатами тенісу, живуть із сліпотою або порушенням зору. порушення.

«Простий спосіб зрозуміти це… чи знайомі ви з аудіоописами?» Тім Девайн, виконавчий креативний директор AKQA, розповів Digital Trends. «Багато сліпих і слабозорих людей користуються ними. Це свого роду абстрактна версія аудіоопису, щоб дати людям більше інформації про те, що відбувається [на корті]».

Отже, коментарі, в основному?

Звичайно, існує своєрідний аудіоопис, який існував у спорті роками — і він такий самий такий, який дозволяє спортивним уболівальникам слухати спорт по радіо, де зображень не так вже й багато постачання. Але аудіокоментар експертів – це не те саме, що можливість дивитися гру та робити власні висновки. Ідея Action Audio полягає в тому, щоб зробити зображення дій на майданчику, а потім перетворити їх на ненав’язливий сигнал дії мова — з різними звуками для ілюстрації форхендів, бекхендів, ударів зблизька, що кусають нігті, і більше.

«[Ми хотіли, щоб люди мали змогу] самостійно оцінювати те, що відбувається на корті», — сказав Девайн. «Таким чином, вони можуть мати власне розуміння, а не просто розуміння, створене коментатором. Вони мають більше інформації. Вони можуть сказати: «Ого, Федерер справді б'є бекхендом сьогодні ввечері». Без Action Audio вони не могли б отримати таке розуміння тому що ніхто не каже їм «це бекхенд» або «це форхенд». Але ви можете зробити це дуже легко за допомогою абстрактного аудіо сигнали».

Технологія працює на основі просторових 3D-даних із високошвидкісної камери/системи комп’ютерного бачення під назвою Соколине Око, який відстежує положення м’яча в режимі реального часу для виклику електронної лінії з метою зарахування очок. Потім ця інформація перетворюється на 3D-аудіо, перетворюючи дії на окремі звукові підказки, а також змінюючи їх звук, здається, надходить, щоб дозволити вболівальникам зрозуміти, де знаходиться м'яч на майданчику в будь-який момент момент. «Ми деконструюємо спорт, щоб реконструювати його як звук», — сказав Девайн.

Він зазначив, що на створення проекту його надихнула технологія сенсорної заміни нейробіолога Девіда Іглмана. Орляк, який Минулого року Digital Trends взяли інтерв’ю, давно досліджує сенсорну заміну, яка здатна, наприклад, вловлювати звук і перетворювати його на вібраційні візерунки на жилеті чи браслеті. Це можна використати, щоб дозволити глухій людині зрозуміти, що вона говорить, коли вона говорить.

«Якщо ви подумаєте про це, кожен сигнал, який надходить в тіло, незалежно від того, в якому він розумінні, є абстрактним, чи не так?» Девайн сказав. «Ми просто навчимося розшифровувати цей сигнал. Тому немає причин, чому ми не можемо створити — [і навчитися розуміти] — абстрактний сигнал, який надходить через аудіоканал».

За межами Відкритого чемпіонату Австралії

Для Australian Open Action Audio був доступний як телевізійний аудіоканал у рамках трансляції. Аудіосигнали, які можна було прослухати окремо або з аудіокоментарем, пропонували звуки ударів форхенд і бекхенд, а також інші, щоб вказати, наскільки близько м’яч знаходиться до лінії. Девайн сказав, що в майбутньому є можливості розширити це — так само, як будь-яку розмовну мову можна використовувати для передачі простих намірів, а також набагато більш детальних спостережень. У майбутньому користувачі можуть навіть налаштувати систему під себе, змінивши певні звукові підказки або, потенційно, додавання чи видалення деталей залежно від того, що вони хочуть бачити виділено. Можливості безмежні.

Девайн визнав, що це складна робота не лише з технологічної точки зору, але й у тому, щоб переконатися, що вони покращують враження від перегляду, а не погіршують його. «Слух для сліпої людини або людини зі слабким зором є дуже значущим і цінним почуттям», - зазначив він. В іншому місці інтерв’ю він стверджував, що команда «намагається зменшити когнітивне навантаження» на користувачів.

Продемонструвавши технологію, тепер вони сподіваються розширити її для охоплення інших тенісних турнірів, таких як Вімблдон (який вже використовує вражаючий штучний інтелект. техн), Відкритий чемпіонат Франції та Відкритий чемпіонат США. Вони також вірять, що можуть поширитися на інші види спорту, хоча це викличе нові виклики.

«Тенніс насправді є гарним прикладом аудіо-екшену, тому що він динамічний», — сказав Девайн. «У нього є моменти зупинки та моменти повної дії, коли всі мовчать. Але кожен вид спорту відрізняється. Як ми можемо озвучити серфінг? Як ми даємо людям уявлення про те, що робить серфер? Що ми ідентифікуємо? Як щодо змагань для кількох гравців, таких як баскетбол? Як ми знаємо, яку інформацію хотів би почути сліпий або слабозорий? Саме там буде працювати процес кодування».

Попереду ще багато роботи, але це, безперечно, багатообіцяючі початки.