このアルゴリズムはワールドカップの試合を 3D 拡張現実に変える

今週から男子ワールドカップが開幕します。 期待通りのエキサイティングなものですが、私たちのほとんどは、それを生で直接見るという 3 次元の体験ではなく、平面テレビでしか見ることができません。 ワシントン大学の研究者らは、 ただし、拡張現実の代替案を考え出す. おそらく今年のトーナメントには間に合わず、一般の人々が利用できるようにはならないが、将来的にはファンが自宅でスポーツの試合を楽しめる可能性がある方法の 1 つを示唆している。

研究者らが開発したのは、2D サッカー クリップを 3D 再構成に変換できる機械学習アルゴリズムで、これは次のような AR ヘッドセットを使用して表示できます。 マイクロソフトのHoloLens. その結果、視聴者は机やキッチン テーブルなどの平面を仮想ピッチに変えることができ、周囲を回ってさまざまな角度から見ることができる 3 次元アクションが完成します。

実際に見るのとまったく同じではありませんが、通常のテレビよりもはるかに近いです。 しかも大幅に安くなりました！

「私たちの目標は、スポーツの視聴体験を向上させることです。」 コンスタンティノス・レマタスとプロジェクトの研究者の一人がデジタルトレンドに語った。 「サッカーの試合やハイライトを平面の 2D 画面で見るのではなく、オリジナルのビデオを 3D に変換し、拡張現実で視覚化します。 基本的にゲームはホログラムとなり、動き回ってさまざまな視点から見ることができ、より没入感のある体験を生み出すことができます。」

AR エクスペリエンスを生成するアルゴリズムには、入力として YouTube のサッカー動画が 1 つだけ必要です。 これはレンダリング システム全体をトレーニングして 2D プレーヤーを 3D に「アップコンバート」するには十分な情報ではないため、ニューラル ネットワークは EA ビデオ ゲームをプレイすることで深度を推定することを学習しました。 FIFA 2018. この情報の全体を使用して、選手がピッチ上のどこにいるかを正確に測定するというまずまずの仕事をすることができます。

現時点では、このシステムはまだ開発中の段階です。 たとえば、ボールはまだ適切にレンダリングされておらず (これはサッカーにおいて非常に重要であることが判明しています)、選手は 2 次元の切り抜きのままです。 研究者らはこれら 2 つの改善を望んでいます。

「次のステップは、ゲームの再構築の質を高めることです」とレマタス氏は続けた。 「特に、ボールの位置を正確に推定し、選手のオクルージョンや完全な 3D 形状をより適切に再構築したいと考えています。 推定、[その他]。」 さらに、研究者らは、バスケットボール、ホッケー、スポーツなどの他のスポーツもカバーするようにフレームワークを拡張することを計画しています。 フットボール。

紙 作品の説明はオンラインで読むことができます.

編集者のおすすめ

• Apple の Vision Pro は、この驚くべきゲームのアップグレードを実現する可能性があります
• AppleのReality Proヘッドセットは誰の予想よりも早く発売されるかもしれない
• Apple の Reality Pro ヘッドセットは VR 業界の「最後の希望」
• Apple社長、ARは「単なる現実世界よりも優れている可能性がある」と語る
• 結局のところ、Apple は今メタバースを受け入れるかもしれない

ライフスタイルをアップグレードするDigital Trends は、読者が最新ニュース、楽しい製品レビュー、洞察力に富んだ社説、ユニークなスニーク ピークをすべて提供して、ペースの速いテクノロジーの世界を監視するのに役立ちます。