De sportuitzendingen van Action Audio zijn als braille voor je oren

THWOK. Ponk. Klop. Ponk. THWOK. PONK. Klop. Het juichen wordt intenser. Ponk. THWOK. Het gepiep van sneakers op asfalt. PONK. Pauze. Enthousiast applaus.

Herken het? Natuurlijk niet. Het is in feite Roger Federers “onmogelijk schot”tegen Andre Agassi in de kwartfinales van de Dubai Tennis Championships 2005. Het is ongeveer zo'n perfect tennismoment als je zou kunnen hopen, onbegrijpelijk gemaakt door het feit dat het hier wordt gereproduceerd als een abstracte soundscape.

Zo gemakkelijk te volgen als tennis visueel is, op audioscape-niveau is het net zo moeilijk te volgen als een aflevering van Twin Peaks je bent halverwege ingeschakeld. Dat is een uitdaging ingenieurs van Tennis Australia, digitaal ontwerp- en communicatiebureau AKQA, en Monash University in Melbourne, Australië werken aan een oplossing met iets genaamd Action Audio. Het is een online audiostream die is ontwikkeld voor de Australian Open-uitzendingen van vorige maand om de Wereldwijd leven 285 miljoen mensen - van wie velen tennisfans zijn - met blindheid of een visuele beperking beperking.

"Een gemakkelijke manier om het te begrijpen is... ben je bekend met audiodescripties?" Tim Devine, uitvoerend creatief directeur van AKQA, vertelde Digital Trends. “Veel blinden en slechtzienden gebruiken ze. Dit is een soort abstracte versie van audiodescripties om mensen meer informatie te geven over wat er gebeurt [op de baan].”

Dus commentaar eigenlijk?

Er is natuurlijk een soort audiodescriptie die al jaren in de sport bestaat - en die is hetzelfde een waarmee sportfans naar sport op de radio kunnen luisteren, waar beelden niet bepaald in overvloed zijn levering. Maar audiocommentaar van experts is niet hetzelfde als naar een wedstrijd kijken en tot je eigen conclusies komen. Het idee van Actie-audio is om foto's te maken van de acties op de baan en deze vervolgens om te zetten in een onopvallende actie-aanwijzing taal - met verschillende geluiden om forehands, backhands, nagelbijtend close shots en meer.

"[We wilden dat mensen in staat waren om] hun eigen inschatting te maken van wat er op het veld gebeurt", zei Devine. “Dus ze kunnen hun eigen inzichten hebben, in plaats van alleen de inzichten te laten creëren door een commentator. Zij hebben meer informatie. Ze kunnen zeggen: 'wauw, Federer hamert vanavond echt op de backhand.' Zonder Action Audio zouden ze dat inzicht niet kunnen hebben omdat niemand ze vertelt 'dat is een backhand' of 'dat is een forehand'. Maar dat kun je heel gemakkelijk doen met abstracte audio signalen.”

De technologie werkt door gebruik te maken van 3D-ruimtelijke gegevens van een high-speed camera/computer vision-systeem genaamd Hawk-Eye, die de balpositie in realtime volgt voor elektronische lijnaanroepen voor scoredoeleinden. Deze informatie wordt vervolgens omgezet in 3D-audio, waardoor acties worden omgezet in individuele geluidssignalen, terwijl ook wordt verschoven waar de het geluid lijkt vandaan te komen, zodat fans op elk moment een idee kunnen krijgen van waar de bal zich op het veld bevindt moment. "We deconstrueren sport om het als geluid te reconstrueren", zei Devine.

Hij merkte op dat het project was geïnspireerd door de sensorische substitutietechnologie van neurowetenschapper David Eagleman. Adelaarsman, wie Vorig jaar geïnterviewd door Digital Trends, heeft lang sensorische vervanging onderzocht die bijvoorbeeld geluid kan opvangen en omzetten in trillingspatronen op een draagbaar vest of polsbandje. Dit kan worden gebruikt om een ​​dove persoon in staat te stellen te begrijpen wat iemand zegt wanneer hij of zij spreekt.

"Als je erover nadenkt, is elk signaal dat het lichaam binnenkomt, ongeacht de zin, abstract, toch?" zei Devine. “We leren gewoon dat signaal te decoderen. Er is dus geen reden waarom we geen abstract signaal kunnen creëren - [en leren begrijpen] - dat via een audiokanaal binnenkomt."

Voorbij de Australian Open

Voor de Australian Open was Action Audio beschikbaar als televisieaudiokanaal als onderdeel van de uitzending. Audiosignalen, die afzonderlijk of met audiocommentaar konden worden beluisterd, boden geluiden voor forehand en backhand, samen met andere om aan te geven hoe dicht de bal bij de lijn is. Devine zei dat er in de toekomst mogelijkheden zijn om dit uit te breiden - op dezelfde manier waarop elke gesproken taal kan worden gebruikt om eenvoudige bedoelingen over te brengen, evenals veel gedetailleerdere observaties. In de toekomst is het misschien zelfs mogelijk voor gebruikers om het systeem voor zichzelf aan te passen door de specifieke audiosignalen of mogelijk details toevoegen of verwijderen, afhankelijk van wat ze willen zien gemarkeerd. De mogelijkheden zijn eindeloos.

Devine erkende dat dit een uitdagende baan is, niet alleen technologisch, maar ook om ervoor te zorgen dat ze de kijkervaring verbeteren en er niet aan afdoen. "Horen voor een blinde of slechtziende persoon is een zeer zinvol en kostbaar zintuig", merkte hij op. Elders in het interview beweerde hij dat het team "probeert de cognitieve belasting van gebruikers te verminderen".

Nadat ze de technologie hebben gedemonstreerd, hopen ze deze nu uit te breiden naar andere tennistoernooien zoals Wimbledon (dat gebruikt al een aantal indrukwekkende A.I. technologie), de French Open en de US Open. Ze geloven ook dat ze ook kunnen uitbreiden naar andere sporten, hoewel dit nieuwe uitdagingen met zich meebrengt.

"Tennis is eigenlijk een heel goed voorbeeld van actiegeluid, omdat het dynamisch is", zei Devine. “Het heeft momenten van stoppen en momenten van volledige actie waarin iedereen stil is. Maar elke sport is heel anders. Hoe kunnen we surfen sonificeren? Hoe geven we mensen een idee van wat een surfer aan het doen is? Wat identificeren we? Hoe zit het met multiplayer-evenementen zoals basketbal? Hoe weten we welke informatie iemand die blind of slechtziend is, zou willen horen? Dat is waar een codesign-proces zal werken.

Er is nog veel werk aan de winkel, maar dit is zeker een veelbelovend begin.