J'ai transformé mon visage en contrôleur de jeu en utilisant GameFace

Sundar Pichai se tient devant un logo Google à Google IO 2021.
Cette histoire fait partie de notre couverture complète de Google I/O

Chez Google I/O, l'IA était un thème tout au long de l'événement, mais une autre technologie d'assistance révolutionnaire a été annoncée qui permet à votre visage de contrôler un ordinateur au lieu d'utiliser une souris. de Google Projet GameFace transforme littéralement votre visage en contrôleur de jeu. Si même la meilleure souris ou trackball s'avère difficile ou impossible, cette application gratuite peut considérablement améliorer votre expérience informatique.

Alan Truly essaie Project Gameface en regardant Lance Carr.
Alan Truly essaie Project GameFace en regardant Lance Carr.

Le billet de blog de Google décrit comment Project GameFace a été inspiré par le sort des streamers de jeux vidéo Lance Carr, atteint de dystrophie musculaire. Un incendie a entraîné la perte de la chère souris de suivi de la tête de Carr, qui lui avait permis de continuer à jouer.

Vidéos recommandées

Google a travaillé avec Carr pour développer Project GameFace, une solution qui utilise une webcam standard et fonctionne sur n'importe quel PC Windows. Vous pouvez télécharger l'application depuis le

Projet GitHub ou fork, et personnalisez-le selon vos besoins particuliers si vous connaissez Python.

Je l'ai installé et essayé. Ma webcam intégrée fonctionnait pour le contrôle du pointeur, mais était trop soufflée par une fenêtre voisine pour bien détecter mes sourcils et ma bouche. j'ai branché un Lien Insta360, qui inclut le suivi du visage technologie pour effectuer un panoramique et une inclinaison lorsque je me déplace. Les deux technologies se sont mélangées de manière transparente et tout a bien fonctionné après quelques ajustements.

La vitesse du curseur était beaucoup trop rapide, je suis donc passé du réglage par défaut de 40 à 15 verticalement et 20 horizontalement. Avec ces ajustements, je pouvais déplacer le pointeur de ma souris vers n'importe quel point de mon écran simplement en tournant et en inclinant la tête. Ce n'est pas un suivi oculaire. Il semble suivre mon nez.

Project Gameface de Google a des ajustements pour la vitesse du curseur.
Le projet GameFace de Google a des ajustements pour la vitesse du curseur.

L'application reconnaît six gestes du visage: bouche ouverte, bouche gauche et droite, lever le sourcil gauche et droit et abaisser le sourcil droit. On ne sait pas pourquoi le sourcil inférieur gauche n'est pas une option. Ces paramètres gestuels, combinés au mouvement de la tête pour le contrôle directionnel, facilitent relativement pour lier les touches et les clics de souris, vous permettant de jouer à un jeu ou de contrôler un ordinateur avec seulement votre visage.

Il y a beaucoup de place à l'amélioration ici. Idéalement, des groupes de liaisons gestuelles et des vitesses de curseur doivent être enregistrés pour chaque application afin que vous n'ayez pas à trouver une seule configuration qui fonctionne pour tout. Il serait également plus pratique d'exiger un clic de confirmation, avec un compte à rebours pour revenir en arrière, après avoir ajusté la vitesse du curseur. Il m'a fallu quelques minutes pour apprivoiser mon pointeur de souris sauvage lorsque j'ai activé le suivi du visage pour la première fois.

Dans l'ensemble, Project GameFace est une merveilleuse adaptation qui devrait faciliter la vie de nombreuses personnes qui pourraient autrement avoir du mal à naviguer sur un ordinateur ou à jouer à un jeu. Plus d'entreprises technologiques devraient profiter de contrôle gestuel activé par une webcam.

Recommandations des éditeurs

  • Je peux me reposer - ma recherche du contrôleur de jeu PC ultime est terminée
  • J'ai construit un PC de jeu sur canapé qui fait honte à la PS5 - et vous pouvez aussi

Améliorez votre style de vieDigital Trends aide les lecteurs à garder un œil sur le monde trépidant de la technologie avec toutes les dernières nouvelles, des critiques de produits amusantes, des éditoriaux perspicaces et des aperçus uniques.