Этот алгоритм превращает игры чемпионата мира в 3D-дополненную реальность

На этой неделе стартует мужской чемпионат мира. Однако каким бы захватывающим он ни был, большинство из нас смогут посмотреть его только на плоских телевизорах, а не получить трехмерный опыт просмотра вживую и лично. Исследователи из Вашингтонского университета выяснили придумай альтернативу дополненной реальности, хотя. Хотя он, вероятно, не будет доступен массам к турниру этого года, он намекает на один из способов, с помощью которого болельщики дома смогут наслаждаться спортивными играми в будущем.

Исследователи разработали алгоритм машинного обучения, способный преобразовывать 2D-футбольные клипы в 3D-реконструкции, которые можно просматривать с помощью AR-гарнитур, таких как HoloLens от Microsoft. Результаты позволяют зрителям превращать плоские поверхности, такие как письменный или кухонный стол, в виртуальную площадку, дополненную трехмерным действием, вокруг которого можно кружить, чтобы рассмотреть под разными углами.

Рекомендуемые видео

Это не совсем то же самое, что смотреть его лично, но гораздо ближе, чем обычное телевидение. И существенно дешевле!

Связанный

  • Все причины, по которым я воодушевлен (и обеспокоен) гарнитурой Apple Reality Pro
  • Новые игровые ноутбуки Acer оснащены мини-светодиодами, 3D-дисплеями и доступны по цене.
  • Что такое AMD 3D V-Cache? Разблокирована дополнительная игровая производительность

«Наша цель — улучшить качество просмотра спортивных состязаний». Константинос Рематас, один из исследователей проекта, рассказал Digital Trends. «Вместо того, чтобы смотреть футбольный матч или основные моменты на плоском 2D-экране, мы конвертируем исходное видео в 3D и визуализируем его в дополненной реальности. По сути, игра становится голограммой, по которой вы можете перемещаться и смотреть с разных точек зрения, создавая более захватывающий опыт».

Константинос Рематас

В качестве входных данных алгоритму, генерирующему AR-опыт, требуется всего одно футбольное видео на YouTube. Поскольку этой информации недостаточно для обучения всей системы рендеринга «преобразованию» 2D-игроков в 3D, нейронная сеть научилась оценивать глубину, играя в видеоигру EA. ФИФА 2018. Используя всю эту информацию, он может сносно определить, где игроки находятся на поле.

В настоящее время система все еще находится в стадии разработки. Например, мяч еще не прорисован должным образом (что в футболе чертовски важно), а игроки остаются двухмерными вырезами. Это два улучшения, которые надеются сделать исследователи.

«Следующие шаги направлены на повышение качества реконструкции игры», — продолжил Рематас. «В частности, мы хотим точно оценить местоположение мяча и лучше реконструировать игроков — окклюзии, полную трехмерную форму. оценка и [и многое другое]». Кроме того, исследователи планируют расширить рамки, чтобы охватить и другие виды спорта, такие как баскетбол, хоккей и баскетбол. футбол.

Бумага описание работы доступно для чтения онлайн.

Рекомендации редакции

  • Apple Vision Pro может получить это невероятное игровое обновление
  • Гарнитура Apple Reality Pro может появиться раньше, чем кто-либо ожидал
  • Гарнитура Apple Reality Pro — «последняя надежда» индустрии виртуальной реальности
  • Глава Apple говорит, что AR «может быть даже лучше, чем просто реальный мир»
  • В конце концов, Apple теперь может использовать метавселенную

Обновите свой образ жизниDigital Trends помогает читателям быть в курсе быстро меняющегося мира технологий благодаря всем последним новостям, забавным обзорам продуктов, содержательным редакционным статьям и уникальным кратким обзорам.