Action Audios sportssendinger er som blindeskrift for ørene dine

THWOK. Ponk. Thwok. Ponk. THWOK. PONK. Thwok. Jubelen intensiveres. Ponk. THWOK. Knirkingen fra joggesko på asfalt. PONK. Pause. Entusiastisk applaus.

Kjenner du det igjen? Selvfølgelig gjør du ikke det. Det er faktisk Roger Federers "umulig skudd” mot Andre Agassi i kvartfinalen i Dubai Tennis Championships 2005. Det er omtrent så perfekt et tennisøyeblikk som man kunne håpe å være vitne til, gjort uforståelig av det faktum at det er gjengitt her som et abstrakt lydbilde.

Like enkelt å følge som tennis er visuelt, på et lydbildenivå, er det like vanskelig å følge som en episode av Twin Peaks du har slått på halvveis. Det er en utfordring ingeniører fra Tennis Australia, digitalt design- og kommunikasjonsbyrå AKQA, og Monash University i Melbourne, Australia jobber med å løse med noe som heter Action Lyd. Det er en online lydstrøm som ble utviklet for forrige måneds Australian Open-sendinger for å hjelpe 285 millioner mennesker globalt - hvorav mange er tennisfans - som lever med blindhet eller et syn svekkelse.

"En enkel måte å forstå det på er... er du kjent med lydbeskrivelser?" Tim Devine, AKQAs administrerende kreative direktør, fortalte Digital Trends. "Mange blinde og svaksynte bruker dem. Dette er en slags abstrakt versjon av lydbeskrivelser for å gi folk mer informasjon om hva som skjer [på banen].»

Så kommentarer, egentlig?

Det er selvfølgelig en slags lydbeskrivelse som har eksistert i sport i årevis - og det er det samme en som lar sportsfans lytte til sport på radio, der det ikke akkurat er mange bilder forsyning. Men lydkommentarer fra forståsegpåere er ikke det samme som å kunne se en kamp og komme til dine egne konklusjoner. Ideen om Action Audio er å ta bilder av handlingene på banen, for så å gjøre disse om til et lite påtrengende handlingssignal språk — med forskjellige lyder for å illustrere forehands, backhands, neglebitende nære skudd og mer.

"[Vi ønsket at folk skulle kunne] gjøre sin egen vurdering av hva som skjer på banen," sa Devine. "Så de kan ha sin egen innsikt, i stedet for bare å ha innsikten skapt av en kommentator. De har mer informasjon. De er i stand til å si «wow, Federer hamrer virkelig bakhånden i kveld.» Uten Action Audio kunne de ikke ha den innsikten fordi ingen forteller dem "det er en backhand" eller "det er en forehand." Men du kan gjøre det veldig enkelt med abstrakt lyd signaler."

Teknologien fungerer ved å bruke 3D romlige data fra et høyhastighets kamera/datasynssystem kalt Hawk-Eye, som sporer ballposisjon i sanntid for elektronisk linjeoppringing for scoringsformål. Denne informasjonen blir deretter transformert til 3D-lyd, og gjør handlinger til individuelle lydsignaler, mens den også skifter der Lyden ser ut til å komme fra for å tillate fansen å få en følelse av hvor ballen er på banen, øyeblikk. "Vi dekonstruerer sport for å rekonstruere den som lyd," sa Devine.

Han bemerket at prosjektet var inspirert av nevrovitenskapsmannen David Eaglemans sensoriske substitusjonsteknologi. Eagleman, som Digital Trends intervjuet i fjor, har lenge utforsket sensorisk substitusjon som for eksempel er i stand til å fange opp lyd og gjøre den om til vibrasjonsmønstre på en bærbar vest eller armbånd. Dette kan brukes til å la en døv person forstå hva en person sier når de snakker.

"Hvis du tenker på det, er hvert signal som kommer inn i kroppen, uansett hvilken mening det er, abstrakt, ikke sant?" sa Devine. "Vi lærer bare å dekode det signalet. Så det er ingen grunn til at vi ikke kan skape - [og lære å forstå] - et abstrakt signal som kommer gjennom en lydkanal."

Utover Australian Open

For Australian Open var Action Audio tilgjengelig som en TV-lydkanal som en del av sendingen. Lydsignaler, som kunne lyttes til isolert eller med lydkommentarer, ga lyder for forehand og backhand, sammen med andre for å indikere hvor nær ballen er linjen. Devine sa at det i fremtiden er muligheter for å utvide dette - på samme måte som et hvilket som helst talespråk kan brukes til å kommunisere enkle intensjoner, så vel som langt mer detaljerte observasjoner. I fremtiden kan det til og med være mulig for brukere å tilpasse systemet for seg selv, enten ved å endre spesifikke lydsignaler eller, potensielt, legge til eller fjerne detaljer avhengig av hva de vil se fremhevet. Mulighetene er endeløse.

Devine erkjente at dette er en utfordrende jobb, ikke bare teknologisk, men også for å sikre at de forbedrer seeropplevelsen, ikke forringer den. "Å høre for en blind eller svaksynt person er en veldig meningsfull og verdifull følelse," bemerket han. Et annet sted i intervjuet hevdet han at teamet "prøver å redusere kognitiv belastning" på brukere.

Etter å ha demonstrert teknologien håper de nå å utvide den til å dekke andre tennisturneringer som Wimbledon (som bruker allerede noen imponerende A.I. tech), French Open og U.S. Open. De tror også at de kan utvide til andre idretter også - selv om dette vil gi nye utfordringer.

"Tennis er faktisk et veldig godt eksempel på actionlyd, fordi det er dynamisk," sa Devine. «Den har øyeblikk av stopp, og øyeblikk med full action der alle er stille. Men hver sport er ganske forskjellig. Hvordan kunne vi sonifisere surfing? Hvordan gir vi folk en følelse av hva en surfer gjør? Hva identifiserer vi? Hva med flerspillerarrangementer som basketball? Hvordan vet vi hvilken informasjon en blind eller svaksynt person ønsker å høre? Det er der en codesign-prosess vil fungere."

Det er mer arbeid å gjøre, men dette er absolutt lovende begynnelser.