Action Audios sportsändningar är som punktskrift för dina öron

THWOK. Ponk. Thwok. Ponk. THWOK. PONK. Thwok. Jubelet intensifieras. Ponk. THWOK. Pirret från sneakers på asfalt. PONK. Paus. Entusiastiska applåder.

Känner du igen det? Självklart gör du inte det. Det är faktiskt Roger Federers "omöjligt skott” mot Andre Agassi i kvartsfinalen i Dubai Tennis Championships 2005. Det är ungefär ett så perfekt tennisögonblick som man kunde hoppas att bevittna, gjort oförståeligt av det faktum att det återges här som en abstrakt ljudbild.

Lika lätt att följa som tennis är visuellt, på ljudnivå, är det lika svårt att följa som ett avsnitt av Tvillingtoppar du har slagit på halvvägs. Det är en utmaning ingenjörer från Tennis Australia, digital design- och kommunikationsbyrå AKQA, och Monash University i Melbourne, Australien arbetar för att lösa med något som kallas Action Audio. Det är en onlineljudström som utvecklades för förra månadens Australian Open-sändningar för att hjälpa till 285 miljoner människor globalt – av vilka många är tennisfans – som lever med blindhet eller syn nedsättning.

"Ett enkelt sätt att förstå det är... är du bekant med ljudbeskrivningar?" Tim Devine, AKQAs verkställande kreativa chef, berättade för Digital Trends. "Många blinda och synskadade använder dem. Det här är en sorts abstrakt version av ljudbeskrivningar för att ge folk mer information om vad som händer [på banan]."

Så kommentarer, i princip?

Det finns naturligtvis en slags ljudbeskrivning som har funnits inom sporten i flera år - och det är samma sak en som gör det möjligt för sportfans att lyssna på sport på radio, där bilderna inte precis finns i överflöd tillförsel. Men ljudkommentarer från förståsigpåare är inte samma sak som att kunna se en match och komma till sina egna slutsatser. Idéen av Action Audio är att ta bilder av handlingarna på domstolen och sedan förvandla dessa till en diskret handlingssignal språk — med olika ljud för att illustrera forehands, backhands, nagelbitande nära skott och Mer.

"[Vi ville att folk skulle kunna] göra sin egen bedömning av vad som händer på banan," sa Devine. "Så de kan ha sina egna insikter, snarare än att bara ha de insikter som skapats av en kommentator. De har mer information. De kan säga, "wow, Federer hamnar verkligen på backhanden ikväll." Utan Action Audio skulle de inte ha den insikten eftersom ingen säger till dem "det är en backhand" eller "det är en forehand." Men du kan göra det väldigt enkelt med abstrakt ljud signaler.”

Tekniken fungerar genom att använda 3D rumslig data från en höghastighetskamera/datorvisionssystem som kallas Hawk-Eye, som spårar bollposition i realtid för elektroniska linjeanrop i poängsyfte. Denna information omvandlas sedan till 3D-ljud, förvandlar handlingar till individuella ljudsignaler, samtidigt som den flyttas där ljudet verkar komma ifrån för att tillåta fansen att få en känsla av var bollen är på banan vid någon speciell ögonblick. "Vi dekonstruerar sport för att rekonstruera den som ljud," sa Devine.

Han noterade att projektet var inspirerat av neuroforskaren David Eaglemans sensoriska substitutionsteknik. Eagleman, som Digitala trender intervjuades förra året, har länge utforskat sensorisk substitution som till exempel kan fånga ljud och förvandla det till vibrationsmönster på en bärbar väst eller armband. Detta kan användas för att låta en döv person förstå vad en person säger när de talar.

"Om du tänker på det är varje signal som kommer in i kroppen, oavsett vilken mening det är, abstrakt, eller hur?" sa Devine. "Vi lär oss bara att avkoda den signalen. Så det finns ingen anledning till varför vi inte kan skapa - [och lära oss att förstå] - en abstrakt signal som kommer genom en ljudkanal."

Bortom Australian Open

För Australian Open var Action Audio tillgänglig som en tv-ljudkanal som en del av sändningen. Ljudsignaler, som kunde lyssnas på isolerat eller med ljudkommentarer, bjöd på ljud för forehand och backhand, tillsammans med andra för att indikera hur nära bollen är linjen. Devine sa att det i framtiden finns möjligheter att utöka detta - på samma sätt som vilket talat språk som helst kan användas för att kommunicera enkla avsikter, såväl som mycket mer detaljerade observationer. I framtiden kan det till och med vara möjligt för användare att anpassa systemet för sig själva, antingen genom att ändra specifika ljudsignaler eller eventuellt lägga till eller ta bort detaljer beroende på vad de vill se markerad. Möjligheterna är oändliga.

Devine erkände att detta är ett utmanande jobb, inte bara tekniskt, utan också för att se till att de förbättrar tittarupplevelsen, inte förringar den. "Att höra för en blind eller synskadad person är en mycket meningsfull och värdefull känsla," noterade han. På andra ställen i intervjun hävdade han att teamet "försöker minska kognitiv belastning" på användare.

Efter att ha demonstrerat tekniken hoppas de nu kunna utöka den till att täcka andra tennisturneringar som Wimbledon (som använder redan en del imponerande A.I. tech), French Open och U.S. Open. De tror också att de kan expandera till andra sporter också - även om detta kommer att skapa nya utmaningar.

"Tennis är faktiskt ett riktigt bra exempel på actionljud, eftersom det är dynamiskt," sa Devine. "Den har stunder av stopp och stunder av full action där alla är tysta. Men varje sport är helt annorlunda. Hur kunde vi sonifiera surfning? Hur ger vi människor en känsla av vad en surfare gör? Vad identifierar vi? Vad sägs om flerspelarevenemang som basket? Hur vet vi vilken information någon som är blind eller synskadad skulle vilja höra? Det är där en codesignprocess kommer att fungera."

Det finns mer arbete att göra, men det här är verkligen lovande början.