Transformei meu rosto em um controlador de jogo usando o GameFace

click fraud protection
Sundar Pichai em frente a um logotipo do Google no Google IO 2021.
Esta história faz parte de nossa cobertura completa do Google I/O

No Google I/O, a IA foi um tema durante o evento, mas foi anunciada outra tecnologia assistiva revolucionária que permite que seu rosto controle um computador em vez de usar um mouse. do Google Projeto GameFace literalmente transforma seu rosto em um controlador de jogo. Se mesmo o melhor mouse ou trackball Se for difícil ou impossível, este aplicativo gratuito pode melhorar significativamente sua experiência de computação.

Alan Truly experimenta o Project Gameface enquanto assiste Lance Carr.
Alan Truly experimenta o Project GameFace enquanto assiste Lance Carr.

A postagem no blog do Google descreve como o Projeto GameFace foi inspirado pela situação do streamer de videogame lance carr, que tem distrofia muscular. Um incêndio levou à perda do caro mouse de rastreamento de cabeça de Carr, que permitia que ele continuasse jogando.

Vídeos recomendados

O Google trabalhou com Carr para desenvolver o Project GameFace, uma solução que usa uma webcam padrão e funciona em qualquer PC com Windows. Você pode baixar o aplicativo no

Projeto GitHub ou bifurcação e personalize-o para suas próprias necessidades específicas se você souber Python.

Eu instalei e experimentei. Minha webcam embutida funcionou para controle de ponteiro, mas foi muito estourada por uma janela próxima para detectar bem minhas sobrancelhas e boca. eu liguei um Insta360 Link, que inclui rastreamento facial tecnologia para panorâmica e inclinação enquanto me movo. As duas tecnologias se misturaram perfeitamente e tudo funcionou muito bem depois de alguns ajustes.

A velocidade do cursor era muito rápida, então saí da configuração padrão de 40 para 15 verticalmente e 20 horizontalmente. Com esses ajustes, eu poderia mover o ponteiro do mouse para qualquer ponto da tela simplesmente girando e inclinando a cabeça. Isso não é rastreamento ocular. Parece seguir meu nariz.

O Project Gameface do Google tem ajustes para a velocidade do cursor.
O projeto GameFace do Google tem ajustes para a velocidade do cursor.

O aplicativo reconhece seis gestos faciais: boca aberta, boca esquerda e direita, levantar a sobrancelha esquerda e direita e abaixar a sobrancelha direita. Não está claro por que a sobrancelha inferior esquerda não é uma opção. Essas configurações de gesto, combinadas com o movimento da cabeça para controle direcional, tornam relativamente fácil para vincular teclas e cliques do mouse, permitindo que você jogue ou controle um computador apenas com o rosto.

Há muito espaço para melhorias aqui. Idealmente, grupos de associações de gestos e velocidades do cursor devem ser salvos para cada aplicativo, para que você não precise encontrar uma única configuração que funcione para tudo. Também seria mais conveniente exigir um clique de confirmação, com uma contagem regressiva para reverter, após ajustar a velocidade do cursor. Levei alguns minutos para domar meu ponteiro selvagem do mouse quando liguei o rastreamento de rosto pela primeira vez.

No geral, o Project GameFace é uma adaptação maravilhosa que deve tornar a vida muito mais fácil para muitas pessoas que, de outra forma, teriam dificuldades para navegar em um computador ou jogar. Mais empresas de tecnologia deveriam aproveitar controle de gestos ativado por uma webcam.

Recomendações dos editores

  • Posso descansar - minha busca pelo melhor controlador de jogos para PC acabou
  • Eu construí um PC para jogos no sofá que envergonha o PS5 - e você também pode

Atualize seu estilo de vidaO Digital Trends ajuda os leitores a acompanhar o mundo acelerado da tecnologia com as últimas notícias, análises divertidas de produtos, editoriais perspicazes e prévias exclusivas.