MIT разрабатывает платформу для обучения дронов на основе виртуальной реальности

Автономные гонки дронов в FlightGoggles

Чтобы лучше обучать дроны и снижать риск нанесения ущерба себе и окружающей среде, Инженеры MIT разработали обучающая платформа под названием «Flight Goggles», основанная на виртуальной реальности. Это позволяет быстро летающему дрону тренироваться в виртуальной среде, мчась в пустом физическом пространстве. Учитывая природу виртуальной реальности, эти дроны теперь могут безопасно тренироваться в любой среде и условиях.

Без полетных очков тренировка дронов обычно включает в себя большую закрытую зону с сетями для ловли «несущихся» транспортных средств и физические реквизиты, включая двери и окна. Если они выйдут из строя, это приведет к дополнительным расходам для проекта из-за потерянного времени, ремонта или полной замены дрона. Этот тип обучения идеально подходит для медленно движущихся дронов, предназначенных для сканирования окружающей среды, а не для быстро движущихся моделей.

Рекомендуемые видео

«В тот момент, когда вы захотите выполнять высокопроизводительные вычисления и работать быстро, даже малейшие изменения, которые вы вносите в их окружающая среда приведет к падению дрона», — говорит Сертак Караман, доцент кафедры аэронавтики и астронавтики. в Массачусетском технологическом институте. «В такой среде невозможно учиться. Если вы хотите расширить границы скорости вычислений, вам нужна какая-то среда виртуальной реальности».

Разработку очков для полета команда начала с «спортивный зал, похожий на ангар» окружено камерами захвата движения, установленными на стенах, чтобы отслеживать движение дрона в физическом пространстве. Эти данные вставляются в программу рендеринга изображений, которая создает фотореалистичную виртуальную среду на основе положения и перспективы дрона. Затем программа отправляет объединенные данные обратно на дрон.

По словам Карамана, камера дрона не включена, а вместо этого «галлюцинирует», поскольку он «видит» одну среду, одновременно проносясь через другую, обрабатывая этот визуальный поток со скоростью 90 кадров в секунду. Дрон, использованный для испытаний Flight Goggles, был основан на 3D-печатном каркасе из нейлона и углеродного волокна, изготовленной по индивидуальному заказу печатной плате, встроенном «суперкомпьютере», блоке инерциальных измерений и камере.

Для первоначального теста команда создала виртуальную гостиную с окном, в два раза превышающим размер дрона. Летя со скоростью пять миль в час, автомобиль пролетел через виртуальное окно 361 раз и «разбился» только три раза. На протяжении всего этого теста команда настраивала свой алгоритм навигации, чтобы дрон мог «обучаться на лету» и избегать виртуальных стен.

Конечно, если бы в этом эксперименте команда использовала реквизит вместо виртуальной реальности, было бы достаточно провести три ремонта или полную замену дронов. Но с Flight Goggles дрон мог «развалиться» тысячи раз, и обучение продолжалось бы без дорогостоящего ремонта и простоев.

Но вы не сможете провести тренировку в виртуальной реальности без тестирования дрона в реальных условиях. Команда построила такое же окно внутри объекта, а затем включила бортовую камеру дрона. Результат: он пролетел через физическое окно 119 раз и шесть раз вылетел из строя/потребовал вмешательства человека.

Хотя это звучит не совсем успешно, помните, что быстро летающий дрон научился летать в виртуальном пространстве, не говоря уже о том, чтобы пролетать через отверстие со скоростью 5 миль в час. Караман считает, что Flight Goggles можно даже безопасно тренировать дроны для полета вокруг людей.

Рекомендации редакции

  • Новый дизайн гарнитуры Qualcomm демонстрирует платформу XR2 VR

Обновите свой образ жизниDigital Trends помогает читателям быть в курсе быстро меняющегося мира технологий благодаря всем последним новостям, забавным обзорам продуктов, содержательным редакционным статьям и уникальным кратким обзорам.