アクションオーディオ
ソワック。 ポンク。 トゥク。 ポンク。 ソワック。 ポンク。 トゥク。 歓声が激しくなる。 ポンク。 ソワック。 アスファルトに響くスニーカーのきしむ音。 ポンク。 一時停止。 熱狂的な拍手。
コンテンツ
- つまり、基本的には解説ですか？
- 全豪オープンを超えて
認識していますか？ もちろんそうではありません。 実際、それはロジャー・フェデラーの「不可能なショット」 2005年ドバイテニス選手権の準々決勝でアンドレ・アガシと対戦した。 それは、人が目撃したいと望む限り完璧なテニスの瞬間だが、ここでは抽象的なサウンドスケープとして再現されているという事実によって理解不能になっている。
おすすめ動画
テニスは視覚的には理解しやすいですが、オーディオスケープのレベルでは、テニスのエピソードを追うのと同じくらい難しいです。 ツイン・ピークス 途中でスイッチが入ってしまった。 これは、テニス オーストラリア、デジタル デザインおよびコミュニケーションのエージェンシー AKQA のエンジニアにとっての課題です。 とオーストラリアのメルボルンにあるモナッシュ大学は、「アクション」と呼ばれるもので解決に取り組んでいます。 オーディオ。 これは、先月の全豪オープン放送用に開発されたオンライン オーディオ ストリームです。 世界中で 2 億 8,500 万人が、その多くはテニスファンであり、視覚障害や視覚障害を抱えて暮らしています。 障害。
「それを理解する簡単な方法は…音声説明をご存知ですか?」 AKQAのエグゼクティブクリエイティブディレクターであるティム・ディバイン氏はデジタルトレンドに語った。 「多くの視覚障害者や弱視の人が使用しています。 これは、人々に（コートで）何が起こっているのかについてより多くの情報を提供するための、音声説明の抽象バージョンのようなものです。」
つまり、基本的には解説ですか？
もちろん、スポーツ界には何年も前から存在する一種の音声解説がありますが、それは同じです スポーツファンがラジオでスポーツを聴くことができるもので、画像が豊富ではありません。 供給。 しかし、専門家による音声解説は、試合を見て自分の結論に達することと同じではありません。 という考え アクションオーディオ コート上のアクションの画像を撮り、それを目立たないアクションの合図に変えることです 言語 - フォアハンド、バックハンド、釘を刺すようなクローズショット、 もっと。
「コートで何が起こっているかを人々が自分で評価できるようにしたいと考えました」とディヴァイン氏は語った。 「そのため、コメンテーターが作成した洞察だけを得るのではなく、彼ら自身の洞察を得ることができます。 彼らはさらに多くの情報を持っています。 彼らは、「すごい、今夜のフェデラーは本当にバックハンドを打ち込んでいる」と言うことができます。Action Audio がなければ、そのような洞察を得ることができませんでした。 なぜなら、誰も「それはバックハンドだ」とか「それはフォアハンドだ」とは教えてくれないからです。しかし、抽象的な音声を使えば、それが非常に簡単にできます。 信号。」
アクションオーディオ - サンプル
このテクノロジーは、と呼ばれる高速カメラ/コンピューター ビジョン システムからの 3D 空間データを使用して機能します。 ホークアイ、得点目的の電子ラインコールのためにボールの位置をリアルタイムで追跡します。 次に、この情報は 3D オーディオに変換され、アクションが個々の音の合図に変換され、同時に位置が移動します。 ファンが特定の時点でボールがコート上のどこにあるかを把握できるようにするために音が出ているようです 一瞬。 「私たちはスポーツを解体し、サウンドとして再構築します」とディヴァイン氏は語った。
同氏は、このプロジェクトは神経科学者デビッド・イーグルマンの感覚代替技術に触発されたものであると述べた。 イーグルマンって誰よ 昨年デジタルトレンドのインタビューを受けましたは、たとえば音を捕らえてウェアラブルベストやリストバンドの振動パターンに変えることができる感覚の代替を長年研究してきました。 これは、聴覚障害者が話しているときにその人の言っている内容を理解できるようにするために使用できます。
「よく考えてみると、体に入ってくる信号は、どんな感覚であっても抽象的なものですよね？」 ディヴァインは言った。 「私たちはその信号を解読することを学ぶだけです。 したがって、オーディオ チャネルを通じて届く抽象的な信号を作成できない理由はありません。」
全豪オープンを超えて
全豪オープンでは、Action Audio が放送の一部としてテレビの音声チャンネルとして利用可能でした。 音声キューは、単独で、または音声解説とともに聞くことができ、フォアハンドとバックハンドの音のほか、ボールがラインにどれだけ近づいているかを示す音を提供しました。 ディヴァイン氏は、将来的には、これを拡張する機会がある、と述べた。これは、話し言葉と同じように、単純な意図だけでなく、より詳細な観察も伝えることができるというものだ。 将来的には、ユーザーがシステムを自分用にカスタマイズして、 特定の音声キュー、または見たいものに応じて詳細を追加または削除する可能性があります 強調表示されました。 可能性は無限大。
ディバイン氏は、これは技術的な面だけでなく、視聴体験を損なうことなく改善するという点でも難しい仕事であることを認めました。 「視覚障害者にとって聴覚は非常に有意義で貴重な感覚です」と彼は述べました。 インタビューの別の箇所で、同氏はチームがユーザーの「認知的負荷を軽減しようとしている」と主張した。
この技術を実証した後、彼らは現在、この技術をウィンブルドンなどの他のテニス トーナメントの報道範囲に拡大したいと考えています。 すでにいくつかの優れた AI を使用しています。 技術）、全仏オープン、全米オープン。 彼らはまた、他のスポーツにも同様に拡張できると信じていますが、これには新たな課題が生じます。
「実際、テニスはダイナミックなので、アクション オーディオの非常に良い例です」と Devine 氏は言います。 「立ち止まる瞬間もあれば、全員が静かに活動する瞬間もある。 しかし、どのスポーツもまったく異なります。 どうすればサーフィンを音響化できるでしょうか? サーファーが何をしているのかを人々にどのように感じてもらうことができるでしょうか? 私たちは何を識別するのでしょうか? バスケットボールのようなマルチプレイヤーイベントはどうでしょうか？ 視覚障害のある人が聞きたい情報をどのようにして知ることができるでしょうか? そこで共同設計プロセスが機能します。」
やるべきことはまだありますが、これらは確かに有望な始まりです。
