Action Audio
THWOK. Ponk. Thwok. Ponk. THWOK. PONK. Thwok. Jublen intensiveres. Ponk. THWOK. Snaken fra sneakers på asfalt. PONK. Pause. Entusiastisk klapsalver.
Indhold
- Så kommentarer, dybest set?
- Ud over Australian Open
Genkende det? Selvfølgelig gør du ikke. Det er i virkeligheden Roger Federers "umuligt skud” mod Andre Agassi i kvartfinalen i 2005 Dubai Tennis Championships. Det er omtrent lige så perfekt et tennisøjeblik, som man kunne håbe på at være vidne til, gjort uforståeligt af det faktum, at det her er gengivet som et abstrakt lydbillede.
Anbefalede videoer
Lige så let at følge som tennis er visuelt, på et audioscape-niveau, er det lige så svært at følge som en episode af Twin Peaks du har tændt halvvejs. Det er en udfordring for ingeniører fra Tennis Australia, digitalt design- og kommunikationsbureau AKQA, og Monash University i Melbourne, Australien arbejder på at løse med noget, der hedder Action Lyd. Det er en online lydstream, der blev udviklet til sidste måneds Australian Open-udsendelser for at hjælpe 285 millioner mennesker globalt - hvoraf mange er tennisfans - lever med blindhed eller et syn værdiforringelse.
"En nem måde at forstå det på er... kender du lydbeskrivelser?" Tim Devine, AKQA's administrerende kreative direktør, fortalte Digital Trends. "Mange blinde og svagsynede bruger dem. Dette er en slags abstrakt version af lydbeskrivelser for at give folk mere information om, hvad der sker [på banen]."
Så kommentarer, dybest set?
Der er selvfølgelig en slags lydbeskrivelse, der har eksisteret i sporten i årevis - og det er det samme en, der giver sportsfans mulighed for at lytte til sport i radioen, hvor billederne ikke ligefrem er rigeligt levere. Men lydkommentarer fra eksperter er ikke det samme som at kunne se et spil og komme til dine egne konklusioner. Ideen om Action Audio er at tage billeder af handlingerne på banen, og derefter gøre disse til et diskret handlingstegn sprog — med forskellige lyde til at illustrere forehands, backhands, neglebidende tætte skud og mere.
"[Vi ønskede, at folk skulle være i stand til] at foretage deres egen vurdering af, hvad der sker på banen," sagde Devine. “Så de kan have deres egen indsigt, frem for blot at have den indsigt skabt af en kommentator. De har flere oplysninger. De er i stand til at sige, 'wow, Federer hamrer virkelig baghånden i aften.' Uden Action Audio kunne de ikke have den indsigt fordi der ikke er nogen, der fortæller dem 'det er en baghånd' eller 'det er en forhånd'. Men du kan gøre det meget nemt med abstrakt lyd signaler."
Action Audio - Sample
Teknologien fungerer ved at bruge 3D rumlige data fra et højhastighedskamera/computersynssystem kaldet Hawk-Eye, som sporer boldposition i realtid til elektronisk linjekald til scoringsformål. Denne information omdannes derefter til 3D-lyd, der omdanner handlinger til individuelle lydsignaler, mens den også skifter, hvor lyden ser ud til at komme fra for at give fans mulighed for at få en fornemmelse af, hvor bolden er på banen øjeblik. "Vi dekonstruerer sport for at rekonstruere det som lyd," sagde Devine.
Han bemærkede, at projektet var inspireret af neurovidenskabsmanden David Eaglemans sensoriske substitutionsteknologi. Eagleman, der Digital Trends interviewet sidste år, har længe udforsket sansesubstitution, der for eksempel er i stand til at fange lyd og omdanne den til vibrationsmønstre på en bærbar vest eller armbånd. Dette kunne bruges til at give en døv mulighed for at forstå, hvad en person siger, når de taler.
"Hvis du tænker over det, er hvert signal, der kommer ind i kroppen, uanset hvilken forstand det er, abstrakt, ikke?" sagde Devine. »Vi lærer bare at afkode det signal. Så der er ingen grund til, at vi ikke kan skabe - [og lære at forstå] - et abstrakt signal, der kommer gennem en lydkanal."
Ud over Australian Open
Til Australian Open var Action Audio tilgængelig som en tv-lydkanal som en del af udsendelsen. Lydsignaler, som kunne lyttes til isoleret eller med lydkommentarer, tilbød lyde til forehand og backhand sammen med andre for at indikere, hvor tæt bolden er på linjen. Devine sagde, at der i fremtiden er muligheder for at udvide dette - på samme måde som ethvert talt sprog kan bruges til at kommunikere simple hensigter, såvel som langt mere detaljerede observationer. I fremtiden kan det endda være muligt for brugere at tilpasse systemet til sig selv, enten ved at ændre specifikke lydsignaler eller potentielt tilføjelse eller fjernelse af detaljer afhængigt af, hvad de ønsker at se fremhævet. Mulighederne er uendelige.
Devine erkendte, at dette er et udfordrende job, ikke kun teknologisk, men også ved at sikre, at de forbedrer seeroplevelsen, ikke forringer den. "At høre for en blind eller svagsynet person er en meget meningsfuld og dyrebar følelse," bemærkede han. Et andet sted i interviewet hævdede han, at holdet "forsøger at reducere kognitiv belastning" på brugerne.
Efter at have demonstreret teknologien håber de nu at udvide den til dækning af andre tennisturneringer såsom Wimbledon (som bruger allerede nogle imponerende A.I. tech), French Open og U.S. Open. De tror også, at de også kan udvide til andre sportsgrene - selvom det vil rejse nye udfordringer.
"Tennis er faktisk et rigtig godt eksempel på actionlyd, fordi det er dynamisk," sagde Devine. "Den har øjeblikke med stop og øjeblikke af fuld action, hvor alle er stille. Men hver sport er ret anderledes. Hvordan kunne vi sonificere surfing? Hvordan giver vi folk en fornemmelse af, hvad en surfer laver? Hvad identificerer vi? Hvad med multiplayer-begivenheder som basketball? Hvordan ved vi, hvilken information en person, der er blind eller svagsynet, gerne vil høre? Det er her, en codesign-proces vil fungere."
Der er mere arbejde at gøre, men disse er bestemt lovende begyndelser.
