Екшън аудио
THWOK. Понк. Thwok. Понк. THWOK. ПОНК. Thwok. Аплодисментите се засилват. Понк. THWOK. Скърцане на маратонки по асфалт. ПОНК. Пауза. Ентусиазирани аплодисменти.
Съдържание
- Така че по същество коментар?
- Отвъд Australian Open
Разпознавате ли го? Разбира се, че не го правиш. Това всъщност е " на Роджър Федерерневъзможен изстрел” срещу Андре Агаси на четвъртфиналите на 2005 Dubai Tennis Championships. Това е толкова перфектен момент на тенис, колкото човек може да се надява да стане свидетел, направен неразбираем поради факта, че е възпроизведен тук като абстрактен звуков пейзаж.
Препоръчани видеоклипове
Колкото и лесен за проследяване е тенисът визуално, на ниво аудиоскейп, е толкова труден за проследяване като епизод на Върхове близнаци сте включили по средата. Това е предизвикателство инженерите от Tennis Australia, агенцията за дигитален дизайн и комуникации AKQA, и университетът Монаш в Мелбърн, Австралия, работят за решаване с нещо, наречено Действие аудио. Това е онлайн аудио поток, който беше разработен за предаванията на Australian Open миналия месец, за да помогне на 285 милиона души по света - много от които са фенове на тениса - живеят със слепота или зрителни проблеми увреждане.
„Лесен начин да го разберете е... запознати ли сте с аудиоописанията?“ Тим Дивайн, изпълнителен творчески директор на AKQA, каза пред Digital Trends. „Много слепи и хора със слабо зрение ги използват. Това е нещо като абстрактна версия на аудио описания, за да се даде на хората повече информация за това какво се случва [на корта].“
Така че по същество коментар?
Има, разбира се, един вид аудио описание, което съществува в спорта от години - и то е същото такъв, който позволява на спортните фенове да слушат спорт по радиото, където изображенията не са в изобилие доставка. Но аудио коментарите от специалисти не са същото нещо като възможността да гледате мач и да стигнете до собствените си заключения. Идеята за Екшън аудио е да правите изображения на действията на игрището и след това да ги превръщате в ненатрапчив сигнал за действие език — с различни звуци за илюстриране на форхенд, бекхенд, близки удари с гризане на нокти и Повече ▼.
„[Искахме хората да могат] да направят своя собствена преценка на случващото се на корта,” каза Дивайн. „Така че те могат да имат свои собствени прозрения, вместо просто да имат прозрения, създадени от коментатор. Имат повече информация. Те могат да кажат: „Уау, Федерер наистина бие бекхенд тази вечер.“ Без Action Audio те не биха могли да имат тази представа защото никой не им казва „това е бекхенд“ или „това е форхенд“. Но можете да направите това много лесно с абстрактно аудио сигнали.”
Екшън аудио - проба
Технологията работи, като използва 3D пространствени данни от високоскоростна камера/система за компютърно зрение, наречена Ястребов поглед, който проследява позицията на топката в реално време за извикване на електронна линия за целите на точкуване. След това тази информация се трансформира в 3D аудио, превръщайки действията в отделни звукови знаци, като същевременно се измества къде звукът изглежда идва от, за да позволи на феновете да усетят къде е топката на игрището във всеки конкретен момент момент. „Ние деконструираме спорта, за да го реконструираме като звук“, каза Дивайн.
Той отбеляза, че проектът е вдъхновен от технологията за сензорно заместване на невролога Дейвид Игълман. Eagleman, който Digital Trends интервюира миналата година, отдавна изследва сензорното заместване, което е в състояние например да улови звука и да го превърне във вибрационни модели върху жилетка или гривна за носене. Това може да се използва, за да позволи на глух човек да разбере какво казва човек, когато говори.
„Ако се замислите, всеки сигнал, който идва в тялото, без значение какъв е смисълът, е абстрактен, нали?“ Дивайн каза. „Просто се учим да декодираме този сигнал. Така че няма причина да не можем да създадем — [и да се научим да разбираме] — абстрактен сигнал, който идва през аудио канал.“
Отвъд Australian Open
За Australian Open Action Audio беше наличен като телевизионен аудиоканал като част от излъчването. Аудиосигнали, които могат да се слушат изолирано или с аудио коментар, предлагат звуци за форхенд и бекхенд, заедно с други, за да покажат колко близо е топката до линията. Дивайн каза, че в бъдеще има възможности за разширяване на това - по същия начин, по който всеки говорим език може да се използва за съобщаване на прости намерения, както и на много по-подробни наблюдения. В бъдеще може дори да е възможно потребителите да персонализират системата за себе си, като променят специфични аудио сигнали или потенциално добавяне или премахване на детайли в зависимост от това какво искат да видят подчертано. Възможностите са безкрайни.
Дивайн призна, че това е предизвикателна работа, не само от технологична гледна точка, но и за гарантиране, че те подобряват изживяването при гледане, а не го влошават. „Слухът за сляп човек или човек със слабо зрение е много значимо и ценно усещане“, отбеляза той. На друго място в интервюто той твърди, че екипът „се опитва да намали когнитивното натоварване“ на потребителите.
След като демонстрираха технологията, сега те се надяват да я разширят до покритие на други тенис турнири като Уимбълдън (който вече използва някои впечатляващи ИИ. техн), Откритото първенство на Франция и Откритото първенство на САЩ. Те също така вярват, че могат да се разширят и в други спортове - въпреки че това ще постави нови предизвикателства.
„Тенисът всъщност е наистина добър пример за екшън аудио, защото е динамичен“, каза Дивайн. „Има моменти на спиране и моменти на пълно действие, когато всички са тихи. Но всеки спорт е доста различен. Как бихме могли да озвучим сърфирането? Как да дадем на хората представа какво прави един сърфист? Какво идентифицираме? Какво ще кажете за мултиплейър събития като баскетбол? Как да разберем каква информация би искал да чуе някой, който е сляп или със слабо зрение? Това е мястото, където процесът на кодиране ще работи.
Има още работа за вършене, но това със сигурност са обещаващи начала.
