Action Audio
THWOK. Ponk. Thwok. Ponk. THWOK. PONK. Thwok. Uzmundrināšana pastiprinās. Ponk. THWOK. Uz asfalta čību čīkstēšana. PONK. Pauze. Entuziasma pilni aplausi.
Saturs
- Tātad komentāri, būtībā?
- Ārpus Austrālijas atklātā čempionāta
Vai atpazīt? Protams, ka nē. Tas patiesībā ir Rodžera Federera "neiespējams šāviens” pret Andrē Agasi 2005. gada Dubaijas tenisa čempionāta ceturtdaļfinālā. Tas ir tikpat ideāls tenisa mirklis, kādu varētu cerēt redzēt, un to padara nesaprotamu fakts, ka tas šeit ir atveidots kā abstrakta skaņu ainava.
Ieteiktie videoklipi
Tikpat viegli izsekot tenisam, kāds ir vizuāli, audio ainavas līmenī, tam ir tikpat grūti izsekot kā epizodei Twin Peaks esat ieslēdzis pusceļā. Tas ir izaicinājums Tennis Australia, digitālā dizaina un komunikāciju aģentūras AKQA inženieriem, un Monaša universitāte Melburnā, Austrālijā, strādā, lai atrisinātu problēmu, ko sauc par darbību Audio. Tā ir tiešsaistes audio straume, kas tika izstrādāta pagājušā mēneša Australian Open pārraidēm, lai palīdzētu 285 miljoni cilvēku visā pasaulē, no kuriem daudzi ir tenisa fani, dzīvo ar aklumu vai redzes traucējumiem pasliktināšanās.
"Vienkāršs veids, kā to saprast, ir … vai esat pazīstams ar audio aprakstiem?" Tims Devins, AKQA izpildradošais direktors, pastāstīja Digital Trends. "Daudzi akli un vājredzīgi cilvēki tos izmanto. Šī ir sava veida abstrakta audio aprakstu versija, lai sniegtu cilvēkiem vairāk informācijas par to, kas notiek [laukumā].
Tātad komentāri, būtībā?
Protams, ir sava veida audio apraksts, kas sportā pastāv jau gadiem ilgi — un tas ir tas pats kas ļauj sporta līdzjutējiem klausīties sporta pārraides radio, kur attēlu nav īsti daudz piegāde. Taču ekspertu audio komentāri nav tas pats, kas iespēja skatīties spēli un izdarīt savus secinājumus. Ideja par Action Audio ir uzņemt attēlus no darbībām tiesā un pēc tam pārvērst tos par neuzkrītošu darbības signālu valoda — ar dažādām skaņām, lai ilustrētu forhends, backhand, nagus graujošus kadrus un vairāk.
"[Mēs vēlējāmies, lai cilvēki varētu] paši novērtēt, kas notiek laukumā," sacīja Devins. “Tāpēc viņiem var būt savs ieskats, nevis tikai komentētāja radītās atziņas. Viņiem ir vairāk informācijas. Viņi var teikt: "Oho, Federers šovakar patiešām sita "backhand". Bez Action Audio viņi nevarētu gūt šādu ieskatu. jo neviens viņiem nesaka "tas ir "backhand" vai "tas ir forehand". Bet jūs to varat izdarīt ļoti vienkārši, izmantojot abstraktu audio. signāli."
Darbības audio — paraugs
Tehnoloģija darbojas, izmantojot 3D telpiskos datus no ātrgaitas kameras/datorredzes sistēmas, ko sauc Vanags-Eye, kas reāllaikā izseko bumbas pozīciju elektroniskai līnijas izsaukšanai punktu skaitīšanas nolūkos. Pēc tam šī informācija tiek pārveidota par 3D audio, pārvēršot darbības par atsevišķiem skaņas signāliem, vienlaikus pārvietojot šķiet, ka skaņa nāk no tā, lai ļautu līdzjutējiem saprast, kur bumba atrodas laukumā jebkurā konkrētā vietā brīdis. "Mēs dekonstruējam sportu, lai rekonstruētu to kā skaņu," sacīja Devine.
Viņš atzīmēja, ka projektu iedvesmoja neirozinātnieka Deivida Īglmena sensorās aizstāšanas tehnoloģija. Eagleman, kurš Digital Trends intervēja pagājušajā gadā, jau sen ir pētījis sensoro aizstāšanu, kas spēj, piemēram, uztvert skaņu un pārvērst to vibrācijas rakstos uz valkājamas vestes vai aproces. To var izmantot, lai ļautu nedzirdīgam cilvēkam saprast, ko cilvēks runā, kad viņš runā.
"Ja jūs par to padomājat, katrs signāls, kas nonāk ķermenī, neatkarīgi no tā, kāda sajūta tā ir, ir abstrakts, vai ne?" Devina teica. "Mēs vienkārši mācāmies atšifrēt šo signālu. Tāpēc nav nekāda iemesla, kāpēc mēs nevaram izveidot — [un iemācīties saprast] — abstraktu signālu, kas nāk caur audio kanālu.
Ārpus Austrālijas atklātā čempionāta
Austrālijas atklātajā čempionātā Action Audio bija pieejams kā televīzijas audio kanāls kā daļa no pārraides. Audio signāli, kurus varēja klausīties atsevišķi vai ar audio komentāriem, piedāvāja forhend un backhand skaņas, kā arī citas, lai norādītu, cik tuvu bumbiņa atrodas līnijai. Devine teica, ka nākotnē ir iespējas to paplašināt - tāpat kā jebkuru runāto valodu var izmantot, lai paziņotu vienkāršus nodomus, kā arī daudz detalizētākus novērojumus. Nākotnē lietotājiem pat var būt iespēja pielāgot sistēmu sev, vai nu mainot specifiskus audio signālus vai, iespējams, pievienojot vai noņemot detaļas atkarībā no tā, ko viņi vēlas redzēt izcelts. Iespējas ir bezgalīgas.
Devine atzina, ka šis ir sarežģīts darbs ne tikai tehnoloģiski, bet arī, lai nodrošinātu, ka viņi uzlabo skatīšanās pieredzi, nevis samazina to. "Aklam vai vājredzīgam cilvēkam dzirde ir ļoti nozīmīga un vērtīga sajūta," viņš atzīmēja. Citur intervijā viņš apgalvoja, ka komanda "mēģina samazināt kognitīvo slodzi" lietotājiem.
Pēc šīs tehnoloģijas demonstrēšanas viņi cer paplašināt to, lai aptvertu citus tenisa turnīrus, piemēram, Vimbldonu (kas jau izmanto kādu iespaidīgu A.I. tech), Francijas atklātais čempionāts un ASV atklātais čempionāts. Viņi arī uzskata, ka viņi var paplašināties arī citos sporta veidos, lai gan tas radīs jaunus izaicinājumus.
"Teniss patiesībā ir patiešām labs darbības audio piemērs, jo tas ir dinamisks," sacīja Devine. "Tajā ir apstāšanās brīži un pilnīgas darbības brīži, kad visi ir klusi. Bet katrs sporta veids ir diezgan atšķirīgs. Kā mēs varētu sonificēt sērfošanu? Kā cilvēkiem radīt sajūtu, ko dara sērfotājs? Ko mēs identificējam? Kā ar vairāku spēlētāju pasākumiem, piemēram, basketbolu? Kā mēs zinām, kādu informāciju vēlētos dzirdēt kāds akls vai vājredzīgs? Šeit darbosies kodēšanas process.
Ir vēl daudz darāmā, taču tie noteikti ir daudzsološi sākums.
