Я превратил свое лицо в игровой контроллер с помощью GameFace

Сундар Пичаи стоит перед логотипом Google на Google IO 2021.
Эта история является частью нашего полного обзора Google I/O.

На Google I/O ИИ был темой на протяжении всего мероприятия, но была объявлена ​​еще одна революционная вспомогательная технология, которая позволяет вашему лицу управлять компьютером вместо использования мыши. Google Проект GameFace буквально превращает ваше лицо в игровой контроллер. Если даже лучшая мышь или трекбол оказывается сложным или невозможным, это бесплатное приложение может значительно улучшить ваш опыт работы с компьютером.

Алан Трули пробует Project Gameface, наблюдая за Лэнсом Карром.
Алан Трули пробует Project GameFace, наблюдая за Лэнсом Карром.

Сообщение в блоге Google описывает, как проект GameFace был вдохновлен тяжелым положением стримеров видеоигр. Лэнс Карр, у которого мышечная дистрофия. Пожар привел к потере дорогой мыши Карра с отслеживанием головы, которая позволяла ему продолжать играть.

Рекомендуемые видео

Google работал с Карром над разработкой Project GameFace — решения, использующего стандартную веб-камеру и работающего на любом ПК с Windows. Вы можете скачать приложение с

GitHub-проект или fork, и настройте его для своих конкретных нужд, если вы знаете Python.

Я установил и попробовал. Моя встроенная веб-камера работала для управления указателем, но ее слишком сильно затмевало соседнее окно, чтобы хорошо определять мои брови и рот. я подключил Ссылка Insta360, которая включает в себя отслеживание лица технология панорамирования и наклона при перемещении. Две технологии идеально сочетались друг с другом, и после тонкой настройки все заработало отлично.

Скорость курсора была слишком высокой, поэтому я снизил значение по умолчанию с 40 до 15 по вертикали и 20 по горизонтали. Благодаря этим настройкам я мог перемещать указатель мыши в любую точку экрана, просто поворачивая и наклоняя голову. Это не отслеживание взгляда. Кажется, он следует за моим носом.

Google Project Gameface имеет настройки скорости курсора.
В Project GameFace от Google есть настройки скорости курсора.

Приложение распознает шесть жестов лица: открыть рот, рот влево и вправо, поднять левую и правую бровь и опустить правую бровь. Непонятно, почему нижняя левая бровь не вариант. Эти настройки жестов в сочетании с движением головы для управления направлением делают его относительно простым. для привязки клавиш и щелчков мыши, что позволяет вам играть в игру или управлять компьютером, используя только свое лицо.

Здесь есть много возможностей для улучшения. В идеале группы привязок жестов и скорости курсора должны быть сохранены для каждого приложения, чтобы вам не приходилось искать единую конфигурацию, которая работает для всех. Также было бы удобнее требовать подтверждающий щелчок с обратным отсчетом для возврата после настройки скорости курсора. Мне потребовалось несколько минут, чтобы приручить мой дикий указатель мыши, когда я впервые включил отслеживание лица.

В целом, Project GameFace — замечательная адаптация, которая должна значительно облегчить жизнь многим людям, которые в противном случае с трудом могли бы ориентироваться на компьютере или играть в игры. Больше технологических компаний должны использовать преимущества управление жестами с помощью веб-камеры.

Рекомендации редакции

  • Я могу отдохнуть — мои поиски идеального игрового контроллера для ПК окончены
  • Я построил диванный игровой ПК, который посрамит PS5 — и вы тоже сможете

Обновите свой образ жизниDigital Trends помогает читателям быть в курсе быстро меняющегося мира технологий благодаря всем последним новостям, забавным обзорам продуктов, проницательным редакционным статьям и единственным в своем роде кратким обзорам.