Dźwięk akcji
THWOK. Ponk. Thwok. Ponk. THWOK. PONK. Thwok. Doping się nasila. Ponk. THWOK. Pisk tenisówek na asfalcie. PONK. Pauza. Entuzjastyczne brawa.
Zawartość
- Więc w zasadzie komentarz?
- Poza Australian Open
Rozpoznać to? Oczywiście, że nie. W rzeczywistości jest to „Roger Federer”niemożliwy strzał” przeciwko Andre Agassi w ćwierćfinale tenisowych mistrzostw Dubaju 2005. Jest to tak doskonały moment tenisa, jak można mieć nadzieję, że będzie świadkiem, co jest niezrozumiałe przez fakt, że jest tutaj odtwarzane jako abstrakcyjny pejzaż dźwiękowy.
Polecane filmy
Tak łatwy do śledzenia, jak tenis jest wizualny, na poziomie audiowizualnym, jest tak trudny do śledzenia, jak odcinek Twin Peaks włączyłeś się w połowie. To wyzwanie dla inżynierów z Tennis Australia, agencji projektowania cyfrowego i komunikacji AKQA, i Monash University w Melbourne w Australii pracują nad rozwiązaniem czegoś, co nazywa się Action Audio. Jest to strumień audio online, który został opracowany na potrzeby transmisji z Australian Open w zeszłym miesiącu, aby pomóc 285 milionów ludzi na całym świecie — z których wielu to fani tenisa — żyje ze ślepotą lub wzrokowcami osłabienie.
„Prostym sposobem na zrozumienie tego jest… czy znasz audiodeskrypcję?” Tim Devine, dyrektor kreatywny AKQA, powiedział Digital Trends. „Korzysta z nich wiele osób niewidomych i słabowidzących. To rodzaj abstrakcyjnej wersji audiodeskrypcji, która ma dać ludziom więcej informacji o tym, co dzieje się [na korcie]”.
Więc w zasadzie komentarz?
Istnieje oczywiście rodzaj audiodeskrypcji, który istnieje w sporcie od lat — i jest taki sam taki, który pozwala fanom sportu słuchać sportu w radiu, gdzie obrazów nie ma zbyt wiele dostarczać. Ale komentarze audio ekspertów to nie to samo, co oglądanie meczu i wyciąganie własnych wniosków. Pomysł Dźwięk akcji polega na zrobieniu zdjęć akcji na korcie, a następnie przekształceniu ich w dyskretny sygnał akcji język — z różnymi dźwiękami ilustrującymi forhendy, bekhendy, bliskie strzały wgryzające się w paznokcie i więcej.
„[Chcieliśmy, aby ludzie mogli] dokonać własnej oceny tego, co dzieje się na korcie” – powiedział Devine. „Więc mogą mieć własne spostrzeżenia, a nie tylko spostrzeżenia stworzone przez komentatora. Mają więcej informacji. Są w stanie powiedzieć: „wow, Federer naprawdę uderza dzisiaj bekhendem”. Bez Action Audio nie mogliby mieć tego wglądu ponieważ nikt nie mówi im „to jest bekhend” lub „to jest forhend”. Ale możesz to zrobić bardzo łatwo z abstrakcyjnym dźwiękiem sygnały”.
Dźwięk akcji — próbka
Technologia działa na podstawie danych przestrzennych 3D z szybkiej kamery/komputerowego systemu wizyjnego o nazwie Sokole Oko, który śledzi pozycję piłki w czasie rzeczywistym w celu elektronicznego wywołania linii w celu punktacji. Informacje te są następnie przekształcane w dźwięk 3D, zamieniając działania w indywidualne sygnały dźwiękowe, jednocześnie przesuwając się tam, gdzie dźwięk wydaje się pochodzić, aby umożliwić fanom zorientowanie się, gdzie w danym momencie znajduje się piłka za chwilę. „Dekonstruujemy sport, aby zrekonstruować go jako dźwięk” – powiedział Devine.
Zauważył, że projekt został zainspirowany technologią substytucji sensorycznej neuronaukowca Davida Eaglemana. Orzeł, który Digital Trends, z którym przeprowadzono wywiad w zeszłym roku, od dawna bada substytucję sensoryczną, która jest w stanie na przykład wychwycić dźwięk i przekształcić go w wibracje na kamizelce lub opasce na nadgarstek. Można to wykorzystać, aby umożliwić osobie niesłyszącej zrozumienie, co mówi osoba, gdy mówi.
„Jeśli się nad tym zastanowić, każdy sygnał, który dociera do ciała, bez względu na to, jaki jest zmysł, jest abstrakcyjny, prawda?” Devine powiedział. „Po prostu uczymy się dekodować ten sygnał. Nie ma więc powodu, dla którego nie moglibyśmy stworzyć — [i nauczyć się rozumieć] — abstrakcyjnego sygnału, który przechodzi przez kanał audio”.
Poza Australian Open
Podczas Australian Open Action Audio było dostępne jako telewizyjny kanał audio w ramach transmisji. Wskazówki dźwiękowe, których można było słuchać osobno lub z komentarzem dźwiękowym, oferowały dźwięki forhendu i bekhendu, a także inne, wskazujące, jak blisko jest piłka od linii. Devine powiedział, że w przyszłości istnieją możliwości rozszerzenia tego – w ten sam sposób, w jaki każdy język mówiony może być używany do komunikowania prostych intencji, a także o wiele bardziej szczegółowych obserwacji. W przyszłości użytkownicy mogą nawet dostosować system do własnych potrzeb, zmieniając plik określone sygnały dźwiękowe lub, potencjalnie, dodawanie lub usuwanie szczegółów w zależności od tego, co chcą zobaczyć podświetlony. Możliwości są nieskończone.
Devine przyznał, że jest to trudne zadanie, nie tylko pod względem technologicznym, ale także pod względem poprawy wrażeń z oglądania, a nie umniejszania ich. „Słuch dla osoby niewidomej lub słabowidzącej jest bardzo znaczącym i cennym zmysłem” – zauważył. W innym miejscu wywiadu zapewnił, że zespół „próbuje zmniejszyć obciążenie poznawcze” użytkowników.
Po zademonstrowaniu technologii mają teraz nadzieję rozszerzyć ją na inne turnieje tenisowe, takie jak Wimbledon (który już wykorzystuje imponującą sztuczną inteligencję technika), French Open i US Open. Wierzą również, że mogą rozszerzyć swoją działalność również na inne sporty – choć wiąże się to z nowymi wyzwaniami.
„Tenis jest naprawdę dobrym przykładem dźwięku akcji, ponieważ jest dynamiczny” — powiedział Devine. „Ma momenty zatrzymania i momenty pełnej akcji, w których wszyscy są cicho. Ale każdy sport jest zupełnie inny. Jak moglibyśmy udźwiękowić surfowanie? Jak dać ludziom poczucie tego, co robi surfer? Co identyfikujemy? Co powiesz na wydarzenia dla wielu graczy, takie jak koszykówka? Skąd wiemy, jakie informacje chciałby usłyszeć ktoś niewidomy lub słabowidzący? W tym miejscu sprawdzi się proces współprojektowania”.
Pracy jest więcej, ale z pewnością są to obiecujące początki.
