Action Audion urheilulähetykset ovat kuin pistekirjoitus korvillesi

THWOK. Ponk. Thwok. Ponk. THWOK. PONK. Thwok. Kannustaminen voimistuu. Ponk. THWOK. Tennarien vinkumista asfaltilla. PONK. Tauko. Innostuneet aplodit.

Tunnistatko sen? Et tietenkään tee. Se on itse asiassa Roger Federerin "mahdoton laukausAndre Agassia vastaan ​​vuoden 2005 Dubain tennismestaruuskilpailujen puolivälierissä. Se on suunnilleen yhtä täydellinen tennishetki kuin voisi toivoa todistavan, ja sen tekee käsittämättömäksi se, että se on toistettu tässä abstraktina äänimaisemana.

Yhtä helppo seurata kuin tennis on visuaalisesti, äänimaiseman tasolla, sitä on yhtä vaikea seurata kuin jaksoa Twin Peaks olet kytkenyt päälle puolivälissä. Se on haaste Tennis Australian, digitaalisen suunnittelun ja viestintätoimiston AKQA: n insinööreille, ja Monash University Melbournessa, Australiassa pyrkivät ratkaisemaan jotain nimeltä Action Audio. Se on online-äänivirta, joka kehitettiin viime kuun Australian Open -lähetyksiä varten Maailmanlaajuisesti 285 miljoonaa ihmistä, joista monet ovat tennisfaneja, elävät sokeuden tai näkökyvyn kanssa heikkeneminen.

"Helppo tapa ymmärtää se on… tunnetko äänikuvaukset?" Tim Devine, AKQA: n luova johtaja, kertoi Digital Trendsille. ”Monet sokeat ja heikkonäköiset käyttävät niitä. Tämä on eräänlainen abstrakti versio äänikuvauksista, jotta ihmiset saavat enemmän tietoa siitä, mitä [kentällä] tapahtuu."

Siis periaatteessa kommentointia?

Tietysti on olemassa eräänlainen äänikuvaus, joka on ollut urheilussa vuosia – ja se on sama jonka avulla urheilufanit voivat kuunnella urheilua radiosta, jossa kuvia ei ole juurikaan runsaasti toimittaa. Mutta asiantuntijoiden äänikommentit eivät ole sama asia kuin mahdollisuus katsoa peliä ja tehdä omat johtopäätöksesi. Ajatus Toiminta ääni on ottaa kuvia oikeudessa tapahtuvista toimista ja muuttaa ne sitten huomaamattomaksi toimintavihjeeksi kieli – erilaisilla äänillä havainnollistamaan kämmenissä, takakäsissä, kynsiä purevan läheisiä laukauksia ja lisää.

"[Halusimme ihmisten pystyvän] tekemään oman arvionsa siitä, mitä kentällä tapahtuu", Devine sanoi. "Joten heillä voi olla omat näkemyksensä sen sijaan, että heillä olisi vain kommentaattorin luomia näkemyksiä. Heillä on enemmän tietoa. He pystyvät sanomaan: "Vau, Federer todella lyö peräkättä tänä iltana." Ilman Action Audiota heillä ei olisi tätä näkemystä. koska kukaan ei sano heille "se on kädensija" tai "se on kädensija". Mutta voit tehdä sen erittäin helposti abstraktilla äänellä signaaleja."

Tekniikka toimii käyttämällä 3D-tilatietoa nopeasta kamera/tietokonenäköjärjestelmästä ns. Haukan silmä, joka seuraa pallon sijaintia reaaliajassa sähköistä linjapuhelua varten pisteytystarkoituksiin. Nämä tiedot muunnetaan sitten 3D-ääneksi, jolloin toiminnot muuttuvat yksittäisiksi äänivihjeiksi ja samalla siirretään ääni näyttää tulevan, jotta fanit voisivat saada käsityksen siitä, missä pallo on kentällä tietyllä hetki. "Dekonstruoimme urheilun rekonstruoidaksemme sen ääneksi", Devine sanoi.

Hän huomautti, että projekti sai inspiraationsa neurotieteilijä David Eaglemanin aistinvaraisesta korvaustekniikasta. Eagleman, joka Digital Trends haastatteli viime vuonna, on pitkään tutkinut aistinvaraista substituutiota, joka pystyy esimerkiksi sieppaamaan ääntä ja muuttamaan sen värähteleviksi kuvioiksi puettavan liivin tai rannekkeen päällä. Tätä voitaisiin käyttää antamaan kuuroille mahdollisuus ymmärtää, mitä henkilö sanoo puhuessaan.

"Jos ajattelee sitä, jokainen signaali, joka tulee kehoon, riippumatta siitä, mikä se on, on abstraktia, eikö niin?" Devine sanoi. "Opimme vain purkamaan tämän signaalin. Ei siis ole mitään syytä, miksi emme voi luoda – [ja oppia ymmärtämään] – abstraktia signaalia, joka tulee äänikanavan kautta.”

Australian avointen lisäksi

Australian Openissa Action Audio oli saatavilla television äänikanavana osana lähetystä. Äänimerkit, joita voitiin kuunnella erikseen tai äänikommenttien kera, tarjosivat ääniä kämmen- ja takakäteen sekä muiden äänien osoittamiseksi, kuinka lähellä pallo on linjaa. Devine sanoi, että tulevaisuudessa on mahdollisuuksia laajentaa tätä - samalla tavalla kuin mitä tahansa puhuttua kieltä voidaan käyttää yksinkertaisten aikomusten ja paljon yksityiskohtaisempien havaintojen välittämiseen. Jatkossa käyttäjät voivat jopa olla mahdollista räätälöidä järjestelmää itselleen joko muuttamalla tiettyjä äänimerkkejä tai mahdollisesti yksityiskohtien lisäämistä tai poistamista sen mukaan, mitä he haluavat nähdä korostettu. Mahdollisuudet ovat rajattomat.

Devine myönsi, että tämä on haastava työ, ei vain teknisesti, vaan myös sen varmistamisessa, että he parantavat katselukokemusta, eivät heikennä sitä. "Sokealle tai heikkonäköiselle kuulo on erittäin merkityksellinen ja arvokas aisti", hän huomautti. Muualla haastattelussa hän väitti, että tiimi "yrittää vähentää kognitiivista kuormitusta" käyttäjille.

Esitettyään teknologian he toivovat nyt laajentavansa sen kattamaan muita tennisturnauksia, kuten Wimbledonin (jossa käyttää jo vaikuttavaa A.I. tekniikka), Ranskan avoimet ja US Open. He uskovat voivansa laajentua myös muihin lajeihin – vaikka tämä tuo uusia haasteita.

"Tennis on todella hyvä esimerkki toimintaäänestä, koska se on dynaamista", Devine sanoi. ”Siellä on pysähtymisen hetkiä ja täyden toiminnan hetkiä, jolloin kaikki ovat hiljaa. Mutta jokainen urheilulaji on erilainen. Miten surffausta voisi sonitella? Miten saamme ihmisille käsityksen siitä, mitä surffaaja tekee? Mitä tunnistamme? Entä moninpelitapahtumat, kuten koripallo? Mistä tiedämme, mitä tietoa sokea tai heikkonäköinen haluaisi kuulla? Siellä koodisuunnitteluprosessi toimii."

Töitä on vielä tehtävänä, mutta nämä ovat varmasti lupaavia alkuja.