Dood van de muis: hoe eye-trackingtechnologie de pc kan redden

Oog volgen

In de afgelopen jaren heeft aanraakbediening een revolutie teweeggebracht in de manier waarop we omgaan met mobiele apparaten. De technologie is zo populair op smartphones dat Apple zijn beproefde touch-benadering gebruikte om de dode tabletmarkt opnieuw uit te vinden met de iPad. Dankzij de bloeiende groei van deze apparaten neemt aanraking een grote vlucht, neemt het nieuwe vormfactoren aan en vormt het een potentiële bedreiging aan onze oudste vriend: de pc.

Met al deze bewegingsgestuurde interfaces voor videogamesystemen en aanraakinterfaces voor mobiele apparaten voelt de pc met zijn toetsenbord en muis gewoon oud aan. Het toetsenbord is nog steeds de snelste en beste manier om grote hoeveelheden gegevens in te voeren en geschreven inhoud te schrijven, maar de muis en touchpad zijn een stap verwijderd van het natuurlijke, directe gevoel dat je krijgt bij het gebruik van de Wii, Xbox Kinect of een aanraking tablet. Tobii hoopt deze onevenwichtigheid recht te zetten.

Afgelopen vrijdag had ik een ontmoeting met Barbara Barclay, Noord-Amerikaanse manager van Tobii Technologies (een Zweeds bedrijf) om een ​​volledig nieuw type gebruikersinterface uit te proberen, gebouwd voor desktops en laptops voor consumenten. In een klein kantoorgebouw in Manhattan, New York, liet ze me een van de enige uitproberen

20 prototype Lenovo-laptops, die elk ingebouwde infraroodsensoren hebben die oogbewegingen zo nauwkeurig en snel volgen dat zelfs de beste muisinterfaces verouderd aanvoelen.

Dit is hoe het werkt

Lenovo-Tobii oogbedienings-pcVoordat we aan de demo begonnen, legde Barbara de technologie uit. De oogbesturing van Tobii werkt een beetje zoals de Xbox Kinect (of een omgekeerde Wii), maar op een veel kleinere schaal. Terwijl u voor de laptop zit, scant een rij van twee gesynchroniseerde infraroodsensoren onder het scherm uw ogen. Ze doen dit ongeveer 30 tot 40 keer per seconde, waarbij ze de grootte en hoek van uw pupil onderzoeken, de glinstering in elk van uw ogen en de afstand tussen u en de laptop. Samen creëren de twee sensoren een stereoscopisch 3D-beeld van uw oog dat door de computer kan worden onderzocht. Op basis van de hoek en glinstering van uw oog berekent de technologie van Tobii precies naar welk deel van het scherm u kijkt. Het kan zelfs zien wanneer u wegkijkt of uw ogen sluit. Om stroom te besparen, verduisterde de aanwezige demo-eenheid het scherm toen we wegkeken.

Nadat ze had uitgelegd hoe het werkt, kalibreerde Barbara de Lenovo-Tobii oogcontrole-pc voor haar ogen. Het kalibratieproces duurt enkele seconden. In feite kijk je naar een reeks van drie tot negen punten op het scherm, waardoor de computer weet waar je ogen naar kijken. Nintendo heeft vergelijkbare kalibratietests gebruikt op zijn Wii Motion Plus-controllers en Wii Fit-balansbordsoftware. De kalibratie is pijnloos en hoeft niet vaak te gebeuren. Na kalibratie kan de laptop uw "oogprofiel" opslaan en weet hij hoe hij moet kalibreren wanneer een bekende gebruiker zich aanmeldt.

Het werkt echt... heel goed

Vervolgens hebben we verschillende handgemaakte demo's bekeken die een aantal verschillende gebruiksscenario's voor oogbesturing laten zien. Zelfs nadat ik het zelf had uitgeprobeerd, vond ik het moeilijk te geloven dat de demonstratie geen ingewikkelde list was. Na enkele ogenblikken begon ik echter te geloven.

Vrijwel onmiddellijk begon de computer mijn oogbewegingen op te pikken en te reageren op alles waar ik naar keek. Als ik naar een item keek, zou het zichzelf benadrukken en op de voorgrond treden. Als ik naar een kaart keek, wist deze precies naar welk gebied ik staarde, tot op de pixel. Net zoals een beginner met de Wii wild met de Wii-afstandsbediening zwaait, was mijn eerste instinct om mijn hele hoofd te bewegen terwijl ik naar verschillende items op het scherm keek. Dit werkte goed genoeg, maar na enkele ogenblikken leerde ik dat de technologie van Tobii de meest subtiele oogbewegingen kon oppikken zonder dat mijn hoofd beweegt. Op de een of andere manier kon het zien wanneer ik mijn ogen een halve centimeter naar links of rechts bewoog of nonchalant omhoog of omlaag keek, zelfs een haar.

Lenovo-Tobii oogbedienings-pc

De soepelheid van de ervaring deed me denken aan de eerste keer dat ik de iPod Touch gebruikte, en hoe natuurlijk het voelde om precies te vegen en aan te raken waar ik maar wilde. Vóór de Touch en iPhone gebruikten de meeste touchscreens resistieve aanraaktechnologie, waarvoor je daadwerkelijk op het scherm moest drukken. Deze schermen vereisten een stylus (penachtig apparaat) om precisie te bereiken, maar Apple veranderde het spel met zijn meer natuurlijke interface waarmee je direct je vingers kunt gebruiken. De oogbesturingstechnologie van Tobii is net zo direct als elke aanraakinterface. Het voelt als aanraking van ver.

Gebruikt voor oogcontrole

Het eerste deel van de demo (die je hieronder kunt bekijken) laat simpelweg zien waar je ogen naar kijken op het scherm. In je eigen ogen kijken is niet bepaald leuk, maar het laat je zien hoe snel het systeem reageert als je beweegt of knippert. Na het introductiescherm en de kalibratie kwamen we echter in een aantal verschillende gebruiksscenario's terecht.

Lezing: Van alle toepassingen voor oogcontrole, bewijst lezen meer dan wat dan ook de waarde ervan. Iedereen heeft zijn eigen techniek en stijl van lezen op een laptop of touch device. Persoonlijk heb ik de neiging om mijn tekst naar de bovenkant van het scherm te houden. Soms gebruik ik de muis om dingen te markeren die ik al heb gelezen en gebruik ik de richtingsknoppen om naar beneden te scrollen. Tobii's oogbediening maakt al deze aangepaste leesstijlen onmiddellijk irrelevant. Natuurlijker dan het lezen van een boek, scrolt de tekst automatisch omhoog, omlaag, naar links of naar rechts terwijl uw ogen over het scherm bewegen. Het is geweldig. Twijfel je over een woord? Welnu, als je lang genoeg naar één woord staart, verschijnt de definitie ervan.

media afspelen: Een andere demo die Barbara me liet zien, was een eenvoudige mediaspeler. Een rij foto's en albumhoezen vult de onderkant van het scherm. Een blik op een van hen benadrukt de keuze en naar boven kijken speelt de muziek af of maximaliseert het beeld zodat je het beter kunt bekijken. Klaar met luisteren of kijken? Kijk gewoon naar een ander item in de lijst. En als je een seconde of zo naar de pijlen links of rechts kijkt, verschijnt de volgende pagina met resultaten.

Zoomen en pannen: Oogbesturing betekent niet dat het toetsenbord geen nut heeft. In een Google Maps-achtige demo kun je pannen en zoomen door te kijken en een knop ingedrukt te houden, wat goed werkt. Een enkele knop is toegewezen aan zoomen en een andere knop is toegewezen aan pannen. Om in te zoomen, kijk je gewoon naar datgene waarop je wilt scherpstellen en druk je op de zoomknop. Eenmaal ingezoomd, kunt u door een andere knop ingedrukt te houden en naar links, rechts, omhoog of omlaag te kijken rond uw ingezoomde afbeelding pannen. Er zijn waarschijnlijk nog meer intuïtieve manieren om dit soort complexe taken uit te voeren.

Multitasking: Op CES dit jaar complimenteerde ik de BlackBerry PlayBook vanwege de eenvoudige veegmethode om tussen applicaties te schakelen. Met een WebOS-achtige interface (of misschien WebOS zelf) en Tobii's oogbesturing is multitasken tussen apps net zo natuurlijk als naar links of rechts van het scherm kijken. Met behulp van Windows 7, dat helemaal niet is geoptimaliseerd voor iets anders dan een muis, wisselde Barbara tussen vensters door ernaar te kijken en op een knop te drukken. Ze verplaatste ook met gemak een muisaanwijzer over het scherm.

Gamen: De laatste demo die we speelden was een simpele Asteroïden-achtig spel. Jouw missie is om de aarde te beschermen tegen een spervuur ​​van kometen en asteroïden ter grootte van een dag des oordeels die jouw kant op komen. Als je naar een asteroïde kijkt, wordt een laser geactiveerd die hem opblaast. Er zijn heel veel van dit soort games van het aanraaktype, waarbij je reflexen tegenover de computer staan, maar oogbesturing verhoogt de snelheid en intensiteit van deze games. Ik ben ongelooflijk opgewonden om te zien wat voor soort games kunnen worden gemaakt met de snelheid van het oog.

Dit zijn slechts enkele van de vele nieuwe manieren waarop u met oogbediening kunt communiceren met een pc, desktop of laptop. Als je nadenkt over hoe deze technologie kan interageren met spraakherkenning, lijken de mogelijkheden eindeloos. In een paar jaar, Minderheidsverslag ziet er misschien gedateerd uit.

Het is net als Kinect voor pc's

Lenovo-Tobii oogbedienings-pc

Microsoft heeft gezegd dat het uiteindelijk Kinect-achtige bewegingstechnologie voor pc's zal uitbrengen. Nou, ik zeg het ze niet graag, maar Tobii heeft veel van het harde werk gedaan. Kinect naar een pc verplaatsen, zou betekenen dat de focus van het lichaam naar de ogen en het gezicht wordt verlegd, iets wat Tobii met opmerkelijke precisie heeft bereikt.

Ik heb er veel over geschreven Microsoft en de vele uitdagingen waarmee het wordt geconfronteerd met Windows 8. Momenteel heeft het bedrijf een falend telefoonplatform en geen tabletstrategie. Om vooruit te komen, moet Microsoft opwinding creëren rond zijn brood en boter, dat nog steeds traditioneel is, met toetsenborden pc's. De oogbesturing van Tobii is precies het soort innovatieve interface dat Microsoft een uitgebreide nieuwe ervaring zou kunnen bieden rondom. Het zou de complexiteit van het Windows-desktop-besturingssysteem kunnen vereenvoudigen en tegelijkertijd enkele hiaten tussen de pc en mobiele aanraakplatforms kunnen overbruggen. Indien correct geïmplementeerd, zou technologie als deze weer wat opschudding kunnen veroorzaken op de laptopmarkt, vooral in combinatie met veel van de ideeën die Microsoft heeft gedemonstreerd op Windows Phone en Xbox Kinect.

Barbara vertelde me dat Microsoft al klant is van Tobii voor enkele van zijn grotere onderzoekseenheden, die de Redmond-gigant gebruikt om te bestuderen de effectiviteit van de eigen applicatielay-outs en interfaces door de oogbewegingen van potentiële klanten te volgen terwijl ze een nieuwe ervaring ervaren ontwerp. Microsoft, ik kijk naar jou. Als jij zoiets niet probeert, doet iemand anders het wel.

Ongeacht wie het is, één ding is duidelijk: Tobii heeft een sterke partner nodig die het potentieel van zijn technologie realiseert.

Oogcontrole komt eraan, hopelijk

Zoals elke goede technologie, is de oogbesturing van Tobii slechts zo nuttig als de softwareontwikkelaars die ervoor schrijven. Het bedrijf is in gesprek met een aantal hardware-, software- en platformmakers om te werken aan de implementatie van zijn technologie in pc's binnen twee jaar, maar het zal een moeilijke weg worden. De technologie moet nog steeds kleiner zijn, minder batterij verbruiken en minder kosten. Zonder de visie van Apple bleven touch-tablets tien jaar lang in het ongewisse. Laten we hopen dat een van deze platformmakers het potentieel van oogcontrole inziet. De enige verliezer hier is de muis, en het spijt me mijn vriend, ik hou van je, maar je dagen zijn geteld.