Os Sportscasts da Action Audio são como Braille para os seus ouvidos

OK. Ponk. Thwok. Ponk. OK. PONK. Thwok. A torcida se intensifica. Ponk. OK. O rangido dos tênis no asfalto. PONK. Pausa. Aplausos entusiasmados.

Reconhece? Claro que não. É, de fato, o "tiro impossível” contra Andre Agassi nas quartas de final do Campeonato de Tênis de Dubai de 2005. É um momento de tênis tão perfeito quanto se poderia esperar testemunhar, tornado ininteligível pelo fato de ser reproduzido aqui como uma paisagem sonora abstrata.

Tão fácil de acompanhar quanto o tênis é visualmente, em nível de audioscape, é tão difícil de acompanhar quanto um episódio de Twin Peaks você ligou no meio do caminho. Isso é um desafio, engenheiros da Tennis Australia, agência de comunicação e design digital AKQA, e a Monash University em Melbourne, Austrália, estão trabalhando para resolver com algo chamado Action Áudio. É um fluxo de áudio online que foi desenvolvido para as transmissões do Aberto da Austrália no mês passado para ajudar o 285 milhões de pessoas em todo o mundo - muitas das quais são fãs de tênis - vivendo com cegueira ou deficiência visual imparidade.

“Uma maneira fácil de entender é … você está familiarizado com as audiodescrições?” Tim Devine, diretor executivo de criação da AKQA, disse ao Digital Trends. “Muitas pessoas cegas e com baixa visão usam. Esta é uma espécie de versão abstrata das audiodescrições para dar às pessoas mais informações sobre o que está acontecendo [na quadra]”.

Então comentário, basicamente?

Existe, é claro, um tipo de audiodescrição que existe no esporte há anos – e é a mesma coisa. aquele que permite aos fãs de esportes ouvir esportes no rádio, onde as imagens não são exatamente abundantes fornecer. Mas comentários em áudio de especialistas não são a mesma coisa que poder assistir a um jogo e tirar suas próprias conclusões. A ideia de Áudio de ação é tirar fotos das ações na quadra e, em seguida, transformá-las em uma sugestão de ação discreta linguagem — com sons diferentes para ilustrar forehands, backhands, golpes próximos de roer as unhas e mais.

“[Queríamos que as pessoas pudessem] fazer sua própria avaliação do que está acontecendo na quadra”, disse Devine. “Assim, eles podem ter seus próprios insights, em vez de apenas ter os insights criados por um comentarista. Eles têm mais informações. Eles são capazes de dizer, 'uau, Federer está realmente martelando o backhand esta noite.' Sem o Action Audio, eles não poderiam ter essa percepção porque ninguém está dizendo a eles 'isso é um backhand' ou 'isso é um forehand'. Mas você pode fazer isso facilmente com áudio abstrato sinais”.

A tecnologia funciona usando dados espaciais 3D de uma câmera de alta velocidade/sistema de visão computacional chamado Olho de Falcão, que rastreia a posição da bola em tempo real para chamada de linha eletrônica para fins de pontuação. Esta informação é então transformada em áudio 3D, transformando ações em pistas sonoras individuais, ao mesmo tempo em que muda onde o som parece estar vindo para permitir que os torcedores tenham uma noção de onde a bola está na quadra em um determinado momento momento. “Desconstruímos o esporte para reconstruí-lo como som”, disse Devine.

Ele observou que o projeto foi inspirado na tecnologia de substituição sensorial do neurocientista David Eagleman. Águia, que Tendências digitais entrevistadas no ano passado, há muito explora a substituição sensorial capaz de, por exemplo, capturar o som e transformá-lo em padrões vibratórios em um colete ou pulseira. Isso pode ser usado para permitir que uma pessoa surda entenda o que uma pessoa está dizendo quando ela fala.

“Se você pensar sobre isso, todo sinal que chega ao corpo, não importa o sentido que seja, é abstrato, certo?” disse Devine. “Nós apenas aprendemos a decodificar esse sinal. Portanto, não há razão para que não possamos criar – [e aprender a entender] – um sinal abstrato que vem por meio de um canal de áudio.”

Além do Aberto da Austrália

Para o Aberto da Austrália, o Action Audio estava disponível como um canal de áudio de televisão como parte da transmissão. Dicas de áudio, que podem ser ouvidas isoladamente ou com comentários de áudio, oferecem sons para forehand e backhand, junto com outros para indicar o quão perto a bola está da linha. Devine disse que, no futuro, há oportunidades para expandir isso – da mesma forma que qualquer língua falada pode ser usada para comunicar intenções simples, bem como observações muito mais detalhadas. No futuro, pode até ser possível que os usuários personalizem o sistema para eles mesmos, seja alterando o pistas de áudio específicas ou, potencialmente, adicionando ou removendo detalhes, dependendo do que eles desejam ver destacado. As possibilidades são infinitas.

Devine reconheceu que este é um trabalho desafiador, não apenas tecnologicamente, mas também para garantir que eles estão melhorando a experiência de visualização, sem prejudicá-la. “Ouvir para uma pessoa cega ou com baixa visão é um sentido muito significativo e precioso”, observou ele. Em outra parte da entrevista, ele afirmou que a equipe está “tentando reduzir a carga cognitiva” dos usuários.

Tendo demonstrado a tecnologia, eles agora esperam expandi-la para a cobertura de outros torneios de tênis, como Wimbledon (que já usa alguns recursos impressionantes de I.A. tecnologia), o Aberto da França e o Aberto dos Estados Unidos. Eles também acreditam que podem se expandir para outros esportes também - embora isso crie novos desafios.

“O tênis é realmente um bom exemplo de áudio de ação, porque é dinâmico”, disse Devine. “Tem momentos de parada e momentos de ação total em que todos ficam quietos. Mas cada esporte é bem diferente. Como poderíamos sonificar o surf? Como damos às pessoas uma noção do que um surfista está fazendo? O que identificamos? Que tal eventos multiplayer como basquete? Como sabemos quais são as informações que uma pessoa cega ou com baixa visão gostaria de ouvir? É aí que um processo de codesign funcionará.”

Há mais trabalho a ser feito, mas esses são certamente começos promissores.