Transmisiunile sportive ale Action Audio sunt ca Braille pentru urechile tale

Gândește. Ponk. Thwok. Ponk. Gândește. PONK. Thwok. Aclamațiile se intensifică. Ponk. Gândește. Scârțâitul adidașilor pe asfalt. PONK. Pauză. Aplauze entuziaste.

Recunoaște-l? Desigur că nu. Este, de fapt, a lui Roger Federer „lovitura imposibila” împotriva lui Andre Agassi în sferturile de finală ale Campionatului de tenis de la Dubai 2005. Este un moment de tenis la fel de perfect pe care s-ar putea spera să asistăm, devenit de neinteligibil prin faptul că este reprodus aici ca un peisaj sonor abstract.

Pe cât de ușor de urmărit este tenisul vizual, la nivel de peisaj audio, este la fel de greu de urmărit ca și un episod de Vârfuri gemene ai pornit la jumătatea drumului. Aceasta este o provocare inginerii de la Tennis Australia, agenția de design digital și comunicații AKQA, și Universitatea Monash din Melbourne, Australia lucrează la rezolvarea cu ceva numit Acțiune Audio. Este un flux audio online care a fost dezvoltat pentru emisiunile Australian Open de luna trecută pentru a ajuta 285 de milioane de oameni la nivel global - dintre care mulți sunt fani ai tenisului - trăiesc cu orbire sau vizual deficienta.

„O modalitate ușoară de a înțelege este... ești familiarizat cu descrierile audio?” Tim Devine, directorul executiv de creație al AKQA, a declarat pentru Digital Trends. „Mulți oameni orbi și cu vedere slabă le folosesc. Aceasta este un fel de versiune abstractă a descrierilor audio pentru a oferi oamenilor mai multe informații despre ceea ce se întâmplă [pe tribunal]”.

Deci comentariu, practic?

Există, desigur, un fel de descriere audio care există în sport de ani de zile - și este la fel unul care le permite fanilor sportului să asculte sport la radio, unde imaginile nu sunt tocmai abundente livra. Dar comentariul audio de la experți nu este același lucru cu a putea viziona un meci și a trage propriile concluzii. Ideea de Audio de acțiune este de a face imagini ale acțiunilor din instanță și apoi de a le transforma într-un indiciu de acțiune discret limbaj - cu sunete diferite pentru a ilustra forehands, backhands, fotografii de aproape unghiile și Mai mult.

„[Ne-am dorit ca oamenii să poată] face propria evaluare a ceea ce se întâmplă pe teren”, a spus Devine. „Deci ei pot avea propriile lor perspective, mai degrabă decât să aibă doar perspective create de un comentator. Au mai multe informații. Ei sunt capabili să spună „wow, Federer chiar bate reversul în seara asta”. Fără Action Audio, nu ar putea avea această perspectivă. pentru că nimeni nu le spune „asta este un backhand” sau „asta este un forehand”. Dar poți face asta foarte ușor cu ajutorul audio abstract semnale.”

Tehnologia funcționează prin utilizarea datelor spațiale 3D de la o cameră de mare viteză/sistem de viziune pe computer numit Ochi de șoim, care urmărește poziția mingii în timp real pentru apelarea liniei electronice în scopul punctării. Aceste informații sunt apoi transformate în sunet 3D, transformând acțiunile în indicii sonore individuale, în același timp deplasând locul unde sunetul pare să provină pentru a le permite fanilor să-și dea seama unde se află mingea pe teren la orice moment. „Deconstruim sportul pentru a-l reconstrui ca sunet”, a spus Devine.

El a menționat că proiectul a fost inspirat de tehnologia de substituție senzorială a neuroștiinței David Eagleman. Eagleman, care Digital Trends intervievat anul trecut, a explorat de mult timp substituția senzorială care este capabilă, de exemplu, să capteze sunetul și să-l transforme în modele vibratoare pe o vestă sau o brățară purtabilă. Acest lucru ar putea fi folosit pentru a permite unei persoane surde să înțeleagă ce spune o persoană când vorbește.

„Dacă te gândești bine, fiecare semnal care vine în corp, indiferent de sensul acestuia, este abstract, nu?” spuse Devine. „Învățăm doar să decodificăm acel semnal. Deci nu există niciun motiv pentru care să nu putem crea – [și să învățăm să înțelegem] – un semnal abstract care vine printr-un canal audio.”

Dincolo de Australian Open

Pentru Australian Open, Action Audio a fost disponibil ca canal audio de televiziune ca parte a transmisiei. Indiciile audio, care puteau fi ascultate izolat sau cu comentarii audio, ofereau sunete pentru forehand și backhand, împreună cu altele pentru a indica cât de aproape este mingea de linie. Devine a spus că, în viitor, există oportunități de a extinde acest lucru - în același mod în care orice limbă vorbită poate fi folosită pentru a comunica intenții simple, precum și observații mult mai detaliate. În viitor, ar putea fi chiar posibil ca utilizatorii să personalizeze sistemul pentru ei înșiși, fie schimbând indicii audio specifice sau, eventual, adăugarea sau eliminarea detaliilor în funcție de ceea ce doresc să vadă evidențiat. Posibilitățile sunt nesfârșite.

Devine a recunoscut că aceasta este o muncă provocatoare, nu doar din punct de vedere tehnologic, ci și pentru a se asigura că îmbunătățesc experiența de vizionare, nu o diminuează. „Auzirea pentru o persoană nevăzătoare sau cu vedere scăzută este un simț foarte semnificativ și prețios”, a menționat el. În altă parte a interviului, el a afirmat că echipa „încearcă să reducă încărcătura cognitivă” asupra utilizatorilor.

După ce au demonstrat tehnologia, acum speră să o extindă la acoperirea altor turnee de tenis, cum ar fi Wimbledon (care folosește deja niște A.I impresionante. tehnologie), French Open și U.S. Open. Ei cred, de asemenea, că se pot extinde și la alte sporturi - deși acest lucru va ridica noi provocări.

„Tenisul este de fapt un exemplu foarte bun de sunet de acțiune, pentru că este dinamic”, a spus Devine. „Are momente de oprire și momente de acțiune completă în care toată lumea tace. Dar fiecare sport este destul de diferit. Cum am putea sonifica navigarea? Cum le oferim oamenilor o idee despre ceea ce face un surfer? Ce identificăm? Ce zici de evenimentele multiplayer, cum ar fi baschetul? De unde știm ce informații ar dori să le audă cineva care este orb sau cu vedere slabă? Acolo va funcționa un proces de codesign.”

Mai este de făcut, dar acestea sunt cu siguranță începuturi promițătoare.