Google Glass ontmoet Kinect in ARI, een app voor gebarenherkenning voor smartglasses

Google Glass ontmoet Kinect in ARI

Google Glass bracht smartglasses van het rijk van academici met paardenstaarten en dromers uit Silicon Valley naar de mainstream realiteit. Het heeft tientallen apps. Het heeft nieuwe ontwerpen van Oakley en Ray-Ban. Het heeft fans die beide bevatten landingsbaan modellen En basketbal spelers.

En als je in een luide kamer bent, is het bijna net zo waardeloos als nerd. Omdat praten met je gadgets lang niet zo soepel gaat als David Hasselhoff het naar binnen heeft laten kijken Knight Rider.

Aanbevolen video's

Natuurlijk kun je in het comfort van je woonkamer 'Glas, maak een foto' blaffen en meneer Meowsers fotograferen zonder je thee neer te zetten. Maar hetzelfde proberen in een drukke bar is een trefzekere manier om de mensen om je heen te irriteren – en misschien wel te krijgen een nederlaag. Ondertussen verwerkt het aanraakgevoelige pad van Glass slechts een paar basisfuncties.

De snel evoluerende smartglass-technologie zou ook kunnen helpen de nogal lethargische stap van ARI een impuls te geven.

Maar wat als Glass handgebaren zoals Kinect van Microsoft zou kunnen lezen? Binnenkort zal dat zo zijn. Een startup uit Portland, Oregon, genaamd On the Go Platforms, ontwikkelt een manier om je smartglasses te besturen met een vorm van gebarentaal, en woensdag bracht het bedrijf zijn eerste openbare bèta uit.

“De smartphone komt steeds meer in jouw visie terecht, en er moet een nieuwe interface komen die mee kan evolueren met de nieuwe hardware”, zegt medeoprichter Ryan Fink. “Dat is waar ARI in beeld komt.”

ARI, een afkorting voor Augmented Reality Interface, vereist geen knoppen, geen touchpads en geen spraak. “ARI is de Siri van gebarenherkenning voor smartglasses”, legt Fink uit.

Houd je vuist voor je gezicht (zoals een ouderwetse bokser die op zoek is naar een gevecht) en er verschijnt een doos overheen in Google Glass. Nadat ARI het als een commando heeft herkend, telt het drie seconden af, zodat u uw hand uit de weg kunt halen, en maakt vervolgens een foto. Nadat je er een paar hebt verzameld, kun je met je handbeweging door de fotobibliotheek van Glass bladeren alsof je onzichtbare pagina's in een fotoalbum omslaat.

Dat is slechts één gebruik. Uiteindelijk hoopt het team dat ARI een hele bibliotheek met gebaren zal kunnen herkennen, die externe ontwikkelaars als besturingselementen in hun apps kunnen inbouwen. De Pandora-app zou bijvoorbeeld op een dag een letterlijk duim omhoog kunnen interpreteren als uw goedkeuring voor die Whitesnake-jam die zojuist op uw jaren 80-zender werd afgespeeld.

Een nieuwe manier om Google Glass te bedienen

Behalve dat het simpelweg minder irritant is dan tegen je bril praten, zien Fink en medeoprichter Gary Peck het ook als een essentiële manier om Glass onder controle te houden in scenario’s waarin het anders nooit zou werken, zoals een fabriek vloer.

“Het is erg luid, ze hebben soms dingen in hun handen en willen gemakkelijk met de inhoud kunnen communiceren of dingen kunnen afvinken terwijl ze bezig zijn”, legt Fink uit. Met ARI kan een medewerker simpelweg met zijn hand zwaaien om het display in zijn bril naar de volgende instructie in een lijst te verplaatsen, of een vuist opsteken om aan te geven dat hij klaar is.

Hetzelfde geldt voor atleten. Een snowboarder met dikke handschoenen kan moeite hebben met het swipen over het touchpad, en een motorrijder wil misschien niet zijn handen van het stuur halen om een ​​timer te starten.

“Ik denk dat het in eerste instantie een beetje raar zal zijn, vooral voor mensen die niet bekend zijn met de technologie.”

ARI heeft ook het potentieel om van Glass een platform voor games te maken. Niemand wil tenslotte een spel beheersen door verwoed op zijn bril te trommelen of “Flappy Bird, up!” te roepen. Maar zoals Kinect heeft bewezen, lijken gamers het niet erg te vinden om met hun armen in het rond te zwaaien.

In theorie lost ARI al deze problemen op. Bij de uitvoering zijn er nog steeds genoeg knikken die moeten worden gladgestreken. Bij de vroege alfaversie die we hebben getest, duurde het een tijdje voordat gebaren werden herkend, en er is een doelbewuste uitvoering voor nodig om een ​​veeg of vuist te maken, precies zoals ARI het wil zien.

Maar de snel evoluerende smartglass-technologie zou ook kunnen helpen de nogal lethargische stap van ARI een impuls te geven. Omdat het voortdurend beelden van de ingebouwde Glass-camera analyseert, kan ARI niet op je telefoon draaien; het moet draaien op de bloedarme processor die in Glass is ingebouwd. Naarmate die processors sneller worden, wordt ARI dat ook.

De camera van Glass blijft ook een uitdaging – omdat er maar één is. Speciaal gebouwde gebarencontrolesystemen zoals Microsoft's Kinect vertrouwen op een paar camera's om stereobeelden te genereren, waardoor de computer je manische bewegingen kan lezen en de diepte kan bepalen. “Met dubbele camera’s krijg je echt een 3D-model van de wereld voor je. Met één camera is het gewoon een duidelijk beeld”, legt Peck uit. “Je hebt geen idee dat deze hand een ander object is dan de tafel. het zijn allemaal gewoon verschillende pixels.” Peck heeft die primitieve input moeten omzeilen om objecten te detecteren op basis van het uiterlijk ervan alleen.

Google Glass ontmoet Kinect in ARI
Onderweg
Google Glass ontmoet Kinect in ARI
Onderweg
Onderweg

De uitdaging wordt nog moeilijker gemaakt door de noodzaak om de beperkte levensduur van de batterij van Google Glass te behouden: hoe nauwkeuriger de bewegingsdetectie, hoe meer de batterij leegraakt. “Dat is de afweging”, zei Peck. "Hoe kun je een nauwkeurigheid krijgen die goed genoeg is voor de gebaren die je probeert te maken?" Zijn code maakt bijvoorbeeld gebruik van lage resolutie video van de ingebouwde camera, ook al kan deze technisch gezien 1080p opnemen – omdat hij niet probeert elke video te volgen vinger.

De nerdfactor hier is ook onmogelijk te negeren: hoe zorg je ervoor dat mensen een technologie gebruiken waardoor je eruit ziet als de slechtste mimespeler ter wereld? “Ik denk dat het in eerste instantie een beetje raar zal zijn, vooral voor mensen die niet bekend zijn met de technologie”, erkent Fink, maar benadrukt dat de percepties zullen veranderen naarmate de technologie verbetert. “Het zal veel meer lijken Ijzeren man of Minderheidsverslag, waar het een meeslepende ervaring is. Dus ik denk dat het stigmatisme dat het raar en ongemakkelijk is, daarmee zal wegsmelten.

De toekomst van smartglasses en augmented reality blijft slordig.

Een van de grootste stappen voorwaarts zal komen van ‘golfgeleiderlenzen’. Terwijl Glass slechts een kleine videofeed weergeeft in de hoek van uw zicht kunnen golfgeleiderlenzen letterlijk informatie over uw hele gezichtsveld overlappen, zoals echte Terminator bril. Vuzix heeft vroege prototypes van deze technologie geproduceerd en een aantal dure modellen bedoeld voor industriële omgevingen, maar ze moeten nog krimpen tot het formaat of de prijs van Google Glass. Peck gelooft dat het nog minstens een jaar kan duren voordat dit niveau van vertoning de mainstream bereikt.

De toekomst van smartglasses en augmented reality blijft vaag, maar de onbekende volgende stappen blijven onderdeel van de aantrekkingskracht voor Peck en Fink.

“Het is een nieuw interactieparadigma. Er is veel uit te zoeken: hoe presenteer je informatie op de meest intuïtieve manier? Hoe ga je ermee om? Peck legt het uit. “Maar als app-ontwikkelaar zijn er geen conventies. Er is geen kennis over de beste manier om informatie die hier op uw scherm staat te presenteren. Dat zijn best interessante uitdagingen.”

Aanbevelingen van de redactie

  • Digital Trends Live: Google's nieuwe Glass, Impossible Sausage en meer

Upgrade uw levensstijlMet Digital Trends kunnen lezers de snelle technische wereld in de gaten houden met het laatste nieuws, leuke productrecensies, inzichtelijke redactionele artikelen en unieke sneak peeks.