Les diffusions sportives d'Action Audio sont comme du braille pour vos oreilles

OK. Ponk. Thwok. Ponk. OK. PONK. Thwok. Les acclamations s'intensifient. Ponk. OK. Le grincement des baskets sur l'asphalte. PONK. Pause. Applaudissements enthousiastes.

Reconnais le? Bien sûr que non. C'est, en fait, le "tir impossible» contre Andre Agassi en quart de finale des Championnats de tennis de Dubaï 2005. C'est à peu près un moment de tennis aussi parfait qu'on pourrait espérer en être témoin, rendu inintelligible par le fait qu'il est reproduit ici comme un paysage sonore abstrait.

Aussi facile à suivre que le tennis est visuellement, au niveau du paysage audio, il est aussi difficile à suivre qu'un épisode de Pics jumeaux vous avez allumé à mi-chemin. C'est un défi pour les ingénieurs de Tennis Australia, l'agence de design numérique et de communication AKQA, et l'Université Monash de Melbourne, en Australie, travaillent à résoudre avec quelque chose appelé Action L'audio. Il s'agit d'un flux audio en ligne qui a été développé pour les émissions de l'Open d'Australie du mois dernier pour aider le 285 millions de personnes dans le monde – dont beaucoup sont des fans de tennis – vivant avec la cécité ou une déficience visuelle déficience.

"Un moyen simple de le comprendre est... êtes-vous familier avec les descriptions audio?" Tim Devine, directeur exécutif de la création d'AKQA, a déclaré à Digital Trends. « Beaucoup de personnes aveugles et malvoyantes les utilisent. C'est une sorte de version abstraite des descriptions audio pour donner aux gens plus d'informations sur ce qui se passe [sur le terrain].

Alors commentaire, en gros ?

Il existe, bien sûr, une sorte d'audiodescription qui existe dans le sport depuis des années - et c'est la même chose celui qui permet aux fans de sport d'écouter le sport à la radio, où les images ne sont pas exactement en abondance fournir. Mais les commentaires audio des experts ne sont pas la même chose que de pouvoir regarder un match et de tirer vos propres conclusions. L'idée de Audio d'action est de prendre des images des actions sur le terrain, puis de les transformer en un signal d'action discret langage - avec différents sons pour illustrer les coups droits, les revers, les plans rapprochés qui se mordent les ongles et plus.

"[Nous voulions que les gens puissent] faire leur propre évaluation de ce qui se passe sur le terrain", a déclaré Devine. "Ainsi, ils peuvent avoir leurs propres idées, plutôt que de simplement avoir les idées créées par un commentateur. Ils ont plus d'informations. Ils sont capables de dire, "wow, Federer martèle vraiment le revers ce soir." Sans Action Audio, ils ne pourraient pas avoir cette idée parce que personne ne leur dit "c'est un revers" ou "c'est un coup droit". Mais vous pouvez le faire très facilement avec un son abstrait signaux.

La technologie fonctionne en utilisant des données spatiales 3D provenant d'un système de caméra/vision par ordinateur à grande vitesse appelé Oeil de faucon, qui suit la position de la balle en temps réel pour les appels de lignes électroniques à des fins de notation. Ces informations sont ensuite transformées en audio 3D, transformant les actions en signaux sonores individuels, tout en déplaçant également où le le son semble provenir afin de permettre aux fans d'avoir une idée de l'endroit où se trouve le ballon sur le terrain à un moment donné moment. "Nous déconstruisons le sport pour le reconstruire en tant que son", a déclaré Devine.

Il a noté que le projet était inspiré de la technologie de substitution sensorielle du neuroscientifique David Eagleman. Eagleman, qui Digital Trends interviewé l'année dernière, a longtemps exploré la substitution sensorielle capable, par exemple, de capturer le son et de le transformer en motifs vibratoires sur un gilet ou un bracelet portable. Cela pourrait être utilisé pour permettre à une personne sourde de comprendre ce qu'une personne dit quand elle parle.

"Si vous y réfléchissez, chaque signal qui entre dans le corps, quel que soit son sens, est abstrait, n'est-ce pas?" dit Devine. « Nous apprenons juste à décoder ce signal. Il n'y a donc aucune raison pour que nous ne puissions pas créer - [et apprendre à comprendre] - un signal abstrait qui passe par un canal audio.

Au-delà de l'Open d'Australie

Pour l'Open d'Australie, Action Audio était disponible en tant que chaîne audio de télévision dans le cadre de l'émission. Les signaux audio, qui pouvaient être écoutés isolément ou avec des commentaires audio, offraient des sons pour le coup droit et le revers, ainsi que d'autres pour indiquer à quel point la balle est proche de la ligne. Devine a déclaré qu'à l'avenir, il y aurait des opportunités d'étendre cela - de la même manière que n'importe quelle langue parlée peut être utilisée pour communiquer des intentions simples, ainsi que des observations beaucoup plus détaillées. À l'avenir, il sera peut-être même possible pour les utilisateurs de personnaliser le système pour eux-mêmes, soit en modifiant le des signaux audio spécifiques ou, éventuellement, ajouter ou supprimer des détails en fonction de ce qu'ils veulent voir Souligné. Les possibilités sont infinies.

Devine a reconnu qu'il s'agit d'un travail difficile, non seulement sur le plan technologique, mais également pour s'assurer qu'ils améliorent l'expérience de visionnage, sans la nuire. "L'audition pour une personne aveugle ou malvoyante est un sens très significatif et précieux", a-t-il noté. Ailleurs dans l'interview, il a affirmé que l'équipe "essaye de réduire la charge cognitive" des utilisateurs.

Après avoir démontré la technologie, ils espèrent maintenant l'étendre à la couverture d'autres tournois de tennis tels que Wimbledon (qui utilise déjà une A.I. impressionnante. technologie), l'Open de France et l'US Open. Ils croient également qu'ils peuvent également s'étendre à d'autres sports, même si cela soulèvera de nouveaux défis.

"Le tennis est en fait un très bon exemple d'audio d'action, car il est dynamique", a déclaré Devine. "Il y a des moments d'arrêt et des moments de pleine action où tout le monde est silencieux. Mais chaque sport est assez différent. Comment sonifier le surf? Comment donner aux gens une idée de ce que fait un surfeur? Qu'identifions-nous? Que diriez-vous d'événements multijoueurs comme le basket-ball? Comment savons-nous quelles informations une personne aveugle ou malvoyante aimerait entendre? C'est là qu'un processus de codesign fonctionnera.

Il reste encore du travail à faire, mais ce sont certainement des débuts prometteurs.