Action Audio의 Sportscast는 귀에 들리는 점자와 같습니다.

쿵. 퐁크. 뚝. 퐁크. 쿵. 퐁. 뚝. 응원이 격렬해집니다. 퐁크. 쿵. 아스팔트 위의 운동화 소리. 퐁. 정지시키다. 열렬한 박수.

알아? 물론 그렇지 않습니다. 사실 로저 페더러의 "불가능한 샷2005년 두바이 테니스 선수권 대회 8강전에서 Andre Agassi와 맞붙었습니다. 여기에서 추상적인 사운드스케이프로 재생된다는 사실로 인해 이해할 수 없는 테니스의 순간을 목격할 수 있을 만큼 완벽합니다.

시각적으로 테니스를 따라가기 쉬운 만큼 오디오 스케이프 수준에서 다음 에피소드만큼 따라가기는 어렵습니다. 트윈 픽스 중간에 스위치를 켰습니다. 이는 Tennis Australia, 디지털 디자인 및 커뮤니케이션 대행사 AKQA의 엔지니어에게 어려운 과제입니다. 호주 멜버른에 있는 Monash University와 Action이라는 것을 해결하기 위해 노력하고 있습니다. 오디오. 지난 달 호주 오픈 방송을 지원하기 위해 개발된 온라인 오디오 스트림입니다. 전 세계적으로 2억 8,500만 명의 사람들(대부분 테니스 팬)은 실명 또는 시각 장애를 안고 살고 있습니다. 손상.

"이해하기 쉬운 방법은...오디오 설명에 익숙하십니까?" AKQA의 크리에이티브 디렉터인 Tim Devine은 Digital Trends에 말했습니다. “많은 맹인과 저시력 사람들이 그것을 사용합니다. 이것은 [법원에서] 무슨 일이 일어나고 있는지 사람들에게 더 많은 정보를 제공하기 위한 일종의 오디오 설명의 추상 버전입니다.”

기본적으로 해설?

물론 수년 동안 스포츠에 존재해 온 일종의 오디오 설명이 있으며 이는 동일합니다. 이미지가 정확히 많지 않은 스포츠 팬이 라디오에서 스포츠를 들을 수 있게 해주는 것 공급. 그러나 전문가의 오디오 해설은 게임을 보고 자신의 결론에 도달할 수 있는 것과는 다릅니다. 의 아이디어 액션 오디오 법원에서 행동의 이미지를 촬영한 다음 이를 눈에 잘 띄지 않는 행동 신호로 바꾸는 것입니다. 언어 — 포핸드, 백핸드, 손톱 물어뜯을 듯한 클로즈 샷, 더.

"[우리는 사람들이] 코트에서 일어나는 일에 대해 스스로 평가할 수 있기를 원했습니다."라고 Devine은 말했습니다. “따라서 해설자가 만든 통찰력이 아닌 자신의 통찰력을 가질 수 있습니다. 그들은 더 많은 정보를 가지고 있습니다. 그들은 '와우, 페더러가 오늘 밤 정말 백핸드를 두드리고 있다'고 말할 수 있습니다. Action Audio가 없었다면 그들은 그러한 통찰력을 가질 수 없었을 것입니다. 아무도 그들에게 '저건 백핸드야' 또는 '저건 포핸드야'라고 말하지 않기 때문입니다. 하지만 추상적인 오디오를 사용하면 아주 쉽게 할 수 있습니다. 신호.”

이 기술은 고속 카메라/컴퓨터 비전 시스템의 3D 공간 데이터를 사용하여 작동합니다. 매의 눈, 점수 목적을 위한 전자 라인 호출을 위해 실시간으로 볼 위치를 추적합니다. 그런 다음 이 정보는 3D 오디오로 변환되어 동작을 개별 사운드 큐로 전환하는 동시에 팬이 특정 시간에 공이 코트의 어디에 있는지 알 수 있도록 소리가 나는 것처럼 보입니다. 순간. Devine은 "우리는 스포츠를 해체하여 사운드로 재구성합니다."라고 말했습니다.

그는 이 프로젝트가 신경과학자 David Eagleman의 감각 대체 기술에서 영감을 얻었다고 언급했습니다. 이글맨, 누가 지난해 인터뷰한 디지털 트렌드, 예를 들어 소리를 포착하여 착용할 수 있는 조끼나 손목 밴드의 진동 패턴으로 바꿀 수 있는 감각 대체를 오랫동안 탐구했습니다. 이것은 청각 장애인이 말할 때 말하는 내용을 이해할 수 있도록 하는 데 사용할 수 있습니다.

“생각해보면 몸에 들어오는 모든 신호는 그것이 어떤 감각이든 추상적이잖아요?” 데바인이 말했다. “우리는 그 신호를 해독하는 법을 배웁니다. 따라서 우리가 오디오 채널을 통해 들어오는 추상 신호를 생성하고 [이해하는 법을 배우지] 못할 이유가 없습니다.”

호주오픈을 넘어

호주 오픈의 경우 액션 오디오가 방송의 일부로 텔레비전 오디오 채널로 제공되었습니다. 단독으로 또는 오디오 해설과 함께 들을 수 있는 오디오 신호는 공이 라인에 얼마나 가까운지를 나타내는 다른 소리와 함께 포핸드 및 백핸드에 대한 소리를 제공했습니다. Devine은 미래에 이것을 확장할 수 있는 기회가 있다고 말했습니다. 어떤 구어가 단순한 의도와 훨씬 더 자세한 관찰을 전달하는 데 사용될 수 있는 것과 같은 방식입니다. 미래에는 사용자가 스스로 시스템을 맞춤화할 수도 있습니다. 특정 오디오 신호 또는 잠재적으로 보고 싶은 내용에 따라 세부 정보를 추가하거나 제거합니다. 강조 표시됩니다. 가능성은 무한합니다.

Devine은 기술적으로 뿐만 아니라 시청 경험을 손상시키지 않고 개선하는 데 있어서도 어려운 작업임을 인정했습니다. “맹인이나 저시력자에게 청각은 매우 의미 있고 소중한 감각입니다.”라고 그는 말했습니다. 인터뷰의 다른 부분에서 그는 팀이 사용자의 "인지 부하를 줄이기 위해 노력하고 있다"고 주장했습니다.

기술을 시연한 후 그들은 이제 Wimbledon( 이미 인상적인 A.I를 사용하고 있습니다. 기술), 프랑스 오픈, US 오픈. 그들은 또한 그들이 다른 스포츠로도 확장할 수 있다고 믿습니다. 하지만 이것은 새로운 도전을 제기할 것입니다.

"테니스는 다이내믹하기 때문에 실제로 액션 오디오의 정말 좋은 예입니다."라고 Devine은 말했습니다. “멈추는 순간도 있고, 모든 사람이 조용해지는 완전한 행동의 순간도 있습니다. 그러나 모든 스포츠는 상당히 다릅니다. 서핑을 어떻게 소니파이할 수 있을까요? 서퍼가 무엇을 하고 있는지 사람들에게 어떻게 알릴 수 있을까요? 우리는 무엇을 식별합니까? 농구와 같은 멀티플레이어 이벤트는 어떻습니까? 맹인 또는 저시력자가 듣고 싶어하는 정보가 무엇인지 어떻게 알 수 있습니까? 공동 설계 프로세스가 작동하는 곳입니다.”

해야 할 일이 더 많이 있지만 이것은 확실히 유망한 시작입니다.