I programmi sportivi di Action Audio sono come il Braille per le tue orecchie

Audio d'azione

CIAO. Ponk. Duek. Ponk. CIAO. PONK. Duek. Il tifo si intensifica. Ponk. CIAO. Il cigolio delle scarpe da ginnastica sull'asfalto. PONK. Pausa. Applausi entusiasti.

Contenuti

  • Quindi commento, in pratica?
  • Oltre gli Australian Open

Lo riconosci? Certo che no. È, infatti, la “colpo impossibile” contro Andre Agassi nei quarti di finale del Dubai Tennis Championships 2005. È un momento di tennis perfetto quanto si potrebbe sperare di assistere, reso incomprensibile dal fatto che è riprodotto qui come un paesaggio sonoro astratto.

Video consigliati

Facile da seguire come il tennis è visivamente, a livello di audioscape, è difficile da seguire come un episodio di Cime gemelle hai acceso a metà. Questa è una sfida per gli ingegneri di Tennis Australia, agenzia di progettazione digitale e comunicazione AKQA, e la Monash University di Melbourne, in Australia, stanno lavorando per risolvere qualcosa chiamato Action Audio. È un flusso audio online sviluppato per le trasmissioni dell'Australian Open del mese scorso per assistere il 285 milioni di persone in tutto il mondo, molte delle quali sono appassionati di tennis, vivono con la cecità o con una vista menomazione.

"Un modo semplice per capirlo è... conosci le descrizioni audio?" Tim Devine, direttore creativo esecutivo di AKQA, ha dichiarato a Digital Trends. “Molti ciechi e ipovedenti li usano. Questa è una specie di versione astratta delle descrizioni audio per dare alle persone maggiori informazioni su ciò che sta accadendo [in campo]".

Quindi commento, in pratica?

Esiste, ovviamente, una sorta di descrizione audio che esiste nello sport da anni ed è la stessa uno che consente agli appassionati di sport di ascoltare lo sport alla radio, dove le immagini non sono esattamente abbondanti fornitura. Ma i commenti audio degli esperti non sono la stessa cosa che poter guardare una partita e giungere alle proprie conclusioni. L'idea di Audio d'azione è prendere immagini delle azioni in campo e poi trasformarle in uno spunto di azione discreto linguaggio - con suoni diversi per illustrare dritti, rovesci, colpi ravvicinati da mangiarsi le unghie e Di più.

"[Volevamo che le persone fossero in grado di] fare la propria valutazione di ciò che sta accadendo in campo", ha detto Devine. “Quindi possono avere le proprie intuizioni, piuttosto che avere solo le intuizioni create da un commentatore. Hanno più informazioni. Sono in grado di dire: "wow, Federer sta davvero martellando il rovescio stasera". Senza Action Audio, non potrebbero avere quell'intuizione perché nessuno sta dicendo loro "quello è un rovescio" o "quello è un diritto". Ma puoi farlo molto facilmente con l'audio astratto segnali”.

Audio d'azione - Campione

La tecnologia funziona utilizzando dati spaziali 3D da una telecamera ad alta velocità/sistema di visione artificiale chiamato Occhio di Falco, che tiene traccia della posizione della pallina in tempo reale per la chiamata elettronica ai fini del punteggio. Queste informazioni vengono quindi trasformate in audio 3D, trasformando le azioni in segnali sonori individuali, spostandosi anche dove il il suono sembra provenire per consentire ai fan di avere un'idea di dove si trova la palla sul campo in qualsiasi particolare momento. "Decostruiamo lo sport per ricostruirlo come suono", ha detto Devine.

Ha notato che il progetto è stato ispirato dalla tecnologia di sostituzione sensoriale del neuroscienziato David Eagleman. Eagleman, che Digital Trends intervistato lo scorso anno, ha esplorato a lungo la sostituzione sensoriale in grado, ad esempio, di catturare il suono e trasformarlo in schemi vibratori su un giubbotto o un braccialetto indossabile. Questo potrebbe essere usato per consentire a una persona sorda di capire cosa sta dicendo una persona quando parla.

"Se ci pensi, ogni segnale che arriva nel corpo, non importa che senso abbia, è astratto, giusto?" Disse Devine. “Impariamo solo a decodificare quel segnale. Quindi non c'è motivo per cui non possiamo creare - [e imparare a capire] - un segnale astratto che passa attraverso un canale audio".

Oltre gli Australian Open

Per l'Australian Open, Action Audio era disponibile come canale audio televisivo come parte della trasmissione. I segnali audio, che potevano essere ascoltati isolatamente o con commento audio, offrivano suoni per il diritto e il rovescio, insieme ad altri per indicare quanto la palla è vicina alla linea. Devine ha detto che, in futuro, ci sono opportunità per espandere questo, allo stesso modo in cui qualsiasi lingua parlata può essere utilizzata per comunicare semplici intenzioni, così come osservazioni molto più dettagliate. In futuro, potrebbe anche essere possibile per gli utenti personalizzare il sistema per se stessi, modificando il file segnali audio specifici o, potenzialmente, l'aggiunta o la rimozione di dettagli a seconda di ciò che vogliono vedere evidenziato. Le possibilità sono infinite.

Devine ha riconosciuto che si tratta di un lavoro impegnativo, non solo dal punto di vista tecnologico, ma anche per garantire che stiano migliorando l'esperienza visiva, senza sminuirla. "L'udito per una persona cieca o ipovedente è un senso molto significativo e prezioso", ha osservato. Altrove nell'intervista, ha affermato che il team sta "cercando di ridurre il carico cognitivo" sugli utenti.

Dopo aver dimostrato la tecnologia, ora sperano di estenderla alla copertura di altri tornei di tennis come Wimbledon (che utilizza già alcune impressionanti A.I. tech), gli Open di Francia e gli US Open. Credono anche di potersi espandere anche ad altri sport, anche se questo solleverà nuove sfide.

"Il tennis è in realtà un ottimo esempio di audio d'azione, perché è dinamico", ha affermato Devine. “Ci sono momenti di sosta e momenti di piena azione in cui tutti tacciono. Ma ogni sport è abbastanza diverso. Come potremmo sonificare il surf? Come diamo alle persone un'idea di cosa sta facendo un surfista? Cosa identifichiamo? Che ne dici di eventi multiplayer come il basket? Come facciamo a sapere quali sono le informazioni che una persona non vedente o ipovedente vorrebbe sentire? È qui che funzionerà un processo di codesign”.

C'è ancora molto lavoro da fare, ma questi sono certamente inizi promettenti.