Jag förvandlade mitt ansikte till en spelkontroll med GameFace

click fraud protection
Sundar Pichai står framför en Google-logotyp på Google IO 2021.
Den här historien är en del av vår fullständiga Google I/O-bevakning

På Google I/O var AI ett tema under hela evenemanget, men en annan spelförändrande hjälpteknik tillkännagavs som låter ditt ansikte styra en dator istället för att använda en mus. Googles Projekt GameFace förvandlar bokstavligen ditt ansikte till en spelkontroll. Om ens den bästa musen eller styrkulan är svårt eller omöjligt kan den här gratisappen förbättra din datorupplevelse avsevärt.

Alan Truly provar Project Gameface medan han tittar på Lance Carr.
Alan Truly provar Project GameFace medan han tittar på Lance Carr.

Googles blogginlägg beskriver hur Project GameFace inspirerades av videospelsstreamers svåra situation Lance Carr, som har muskeldystrofi. En brand ledde till förlusten av Carrs dyra huvudspårande mus, vilket hade gjort det möjligt för honom att fortsätta spela.

Rekommenderade videor

Google arbetade med Carr för att utveckla Project GameFace, en lösning som använder en standardwebbkamera och fungerar på vilken Windows-dator som helst. Du kan ladda ner appen från GitHub-projekt eller gaffel, och anpassa den efter dina egna behov om du känner till Python.

Jag installerade och provade det. Min inbyggda webbkamera fungerade för pekarkontroll, men blev för utblåst av ett närliggande fönster för att kunna upptäcka mina ögonbryn och mun väl. Jag kopplade upp en Insta360 Link, som inkluderar ansiktsspårning teknik för att panorera och luta när jag rör mig. De två teknologierna blandas sömlöst och allt fungerade utmärkt efter lite finjusteringar.

Markörhastigheten var alldeles för snabb, så jag tappade från standardinställningen på 40 till 15 vertikalt och 20 horisontellt. Med dessa justeringar kunde jag flytta min muspekare till valfri punkt på skärmen genom att helt enkelt vrida och luta huvudet. Detta är inte eyetracking. Det verkar följa min näsa.

Googles Project Gameface har justeringar för markörhastighet.
Googles Project GameFace har justeringar för markörhastighet.

Appen känner igen sex ansiktsgester: öppen mun, mun vänster och höger, höj vänster och höger ögonbryn och sänk det högra ögonbrynet. Det är oklart varför nedre vänstra ögonbrynet inte är ett alternativ. Dessa gestinställningar, i kombination med huvudrörelse för riktningskontroll, gör det relativt enkelt för att binda nycklar och musklick, så att du kan spela ett spel eller styra en dator med bara ditt ansikte.

Det finns gott om utrymme för förbättringar här. Helst bör grupper av gestbindningar och markörhastigheter sparas för varje app så att du inte behöver hitta en enda konfiguration som fungerar för allt. Det skulle också vara bekvämare att kräva ett bekräftelseklick, med en nedräkning för att återgå, efter att ha justerat markörhastigheten. Det tog mig några minuter att tämja min vilda muspekare när jag först slog på ansiktsspårning.

Sammantaget är Project GameFace en underbar anpassning som borde göra livet mycket lättare för många människor som annars skulle kunna kämpa för att navigera på en dator eller spela ett spel. Fler teknikföretag borde dra nytta av geststyrning aktiverad av en webbkamera.

Redaktörens rekommendationer

  • Jag kan vila — mitt sökande efter den ultimata PC-spelkontrollern är över
  • Jag byggde en soffspeldator som gör PS5 på skam – och det kan du också

Uppgradera din livsstilDigitala trender hjälper läsare att hålla koll på den snabba teknikvärlden med alla de senaste nyheterna, roliga produktrecensioner, insiktsfulla redaktioner och unika smygtittar.