Sportscasts de Action Audio son como Braille para tus oídos

THWOK. ponk Thwok. ponk THWOK. PONK. Thwok. Los vítores se intensifican. ponk THWOK. El chirrido de las zapatillas sobre el asfalto. PONK. Pausa. Aplausos entusiastas.

¿Reconócelo? Por supuesto que no. Es, de hecho, el de Roger Federer “tiro imposible” contra Andre Agassi en los cuartos de final del Campeonato de Tenis de Dubái 2005. Se trata de un momento de tenis tan perfecto como uno podría esperar presenciar, que se vuelve ininteligible por el hecho de que se reproduce aquí como un paisaje sonoro abstracto.

Tan fácil de seguir como el tenis es visualmente, en un nivel de paisaje de audio, es tan difícil de seguir como un episodio de picos gemelos has encendido a la mitad. Ese es un desafío para los ingenieros de Tennis Australia, la agencia de comunicación y diseño digital AKQA, y la Universidad de Monash en Melbourne, Australia, están trabajando para resolver con algo llamado Acción Audio. Es una transmisión de audio en línea que se desarrolló para las transmisiones del Abierto de Australia del mes pasado para ayudar al 285 millones de personas en todo el mundo, muchas de las cuales son fanáticos del tenis, que viven con ceguera o una discapacidad visual. discapacidad.

“Una manera fácil de entenderlo es… ¿estás familiarizado con las descripciones de audio?” Tim Devine, director creativo ejecutivo de AKQA, le dijo a Digital Trends. “Muchas personas ciegas y con baja visión los usan. Esta es una especie de versión abstracta de las descripciones de audio para brindar a las personas más información sobre lo que está sucediendo [en la cancha]”.

Entonces, ¿comentario, básicamente?

Por supuesto, existe una especie de audiodescripción que existe en el deporte desde hace años, y es lo mismo uno que permite a los fanáticos de los deportes escuchar deportes en la radio, donde las imágenes no son precisamente abundantes suministrar. Pero los comentarios de audio de los expertos no son lo mismo que poder ver un juego y llegar a tus propias conclusiones. La idea de Audio de acción es tomar imágenes de las acciones en la cancha y luego convertirlas en una señal de acción discreta lenguaje: con diferentes sonidos para ilustrar golpes de derecha, de revés, tiros cerrados para morderse las uñas y más.

“[Queríamos que las personas pudieran] hacer su propia evaluación de lo que sucede en la cancha”, dijo Devine. “Para que puedan tener sus propias ideas, en lugar de solo tener las ideas creadas por un comentarista. Tienen más información. Pueden decir, 'wow, Federer realmente está golpeando el revés esta noche'. Sin Action Audio, no podrían tener esa idea porque nadie les dice 'eso es un revés' o 'eso es un golpe de derecha'. Pero puedes hacerlo muy fácilmente con audio abstracto señales.”

La tecnología funciona mediante el uso de datos espaciales en 3D de una cámara de alta velocidad/sistema de visión por computadora llamado Ojo de halcón, que rastrea la posición de la pelota en tiempo real para la llamada de línea electrónica con fines de puntuación. Esta información luego se transforma en audio 3D, convirtiendo las acciones en señales de sonido individuales, al mismo tiempo que cambia el lugar donde está el El sonido parece provenir para permitir que los fanáticos tengan una idea de dónde está la pelota en la cancha en cualquier momento en particular. momento. “Deconstruimos el deporte para reconstruirlo como sonido”, dijo Devine.

Señaló que el proyecto se inspiró en la tecnología de sustitución sensorial del neurocientífico David Eagleman. Eagleman, quien Digital Trends entrevistado el año pasado, ha explorado durante mucho tiempo la sustitución sensorial que puede, por ejemplo, capturar el sonido y convertirlo en patrones vibratorios en un chaleco o pulsera portátil. Esto podría usarse para permitir que una persona sorda entienda lo que una persona dice cuando habla.

“Si lo piensas bien, cada señal que entra en el cuerpo, sin importar en qué sentido sea, es abstracta, ¿verdad?” Dijo Devine. “Simplemente aprendemos a decodificar esa señal. Así que no hay razón por la que no podamos crear, [y aprender a entender], una señal abstracta que llega a través de un canal de audio”.

Más allá del Abierto de Australia

Para el Abierto de Australia, Action Audio estuvo disponible como canal de audio de televisión como parte de la transmisión. Las señales de audio, que se podían escuchar de forma aislada o con comentarios de audio, ofrecían sonidos de derecha y de revés, junto con otros para indicar qué tan cerca está la pelota de la línea. Devine dijo que, en el futuro, hay oportunidades para expandir esto, de la misma manera que cualquier idioma hablado puede usarse para comunicar intenciones simples, así como observaciones mucho más detalladas. En el futuro, es posible que los usuarios puedan personalizar el sistema por sí mismos, ya sea cambiando el señales de audio específicas o, potencialmente, agregar o eliminar detalles según lo que quieran ver resaltado. Las posibilidades son infinitas.

Devine reconoció que este es un trabajo desafiante, no solo tecnológicamente, sino también para garantizar que mejoren la experiencia de visualización, sin restarle valor. “La audición para una persona ciega o con baja visión es un sentido muy valioso y significativo”, señaló. En otra parte de la entrevista, afirmó que el equipo está “tratando de reducir la carga cognitiva” de los usuarios.

Habiendo demostrado la tecnología, ahora esperan expandirla a la cobertura de otros torneos de tenis como Wimbledon (que ya usa algunos impresionantes A.I. tecnología), el Abierto de Francia y el Abierto de Estados Unidos. También creen que pueden expandirse a otros deportes, aunque esto planteará nuevos desafíos.

“El tenis es en realidad un muy buen ejemplo de audio de acción, porque es dinámico”, dijo Devine. “Tiene momentos de parada y momentos de plena acción donde todo el mundo está en silencio. Pero cada deporte es bastante diferente. ¿Cómo podríamos sonificar el surf? ¿Cómo le damos a la gente una idea de lo que está haciendo un surfista? ¿Qué identificamos? ¿Qué hay de los eventos multijugador como el baloncesto? ¿Cómo sabemos cuál es la información que le gustaría escuchar a alguien ciego o con baja visión? Ahí es donde funcionará un proceso de codiseño”.

Hay más trabajo por hacer, pero estos son ciertamente comienzos prometedores.