Death of the mouse: Hvordan eye-tracking-teknologi kan redde PC-en

Øyesporing

I løpet av de siste årene har berøringskontroll revolusjonert måten vi samhandler med mobile enheter. Teknologien har vært så populær på smarttelefoner at Apple brukte sin velprøvde touch-tilnærming for å gjenoppfinne det døde nettbrettmarkedet med iPad. Takket være den blomstrende veksten av disse enhetene, tar berøring stor fart, får nye formfaktorer og utgjør en potensiell trussel til vår eldste venn: PC-en.

Med alle disse bevegelseskontrollerte grensesnittene for videospillsystemer og berøringsgrensesnitt for mobile enheter, føles PC-en med tastaturet og musen, vel, gammel. Tastaturet er fortsatt den raskeste og beste måten å legge inn store datamengder på og forfatte skrevet innhold, men musen og touchpad er et skritt fjernet fra den naturlige, direkte følelsen man får når man bruker Wii, Xbox Kinect eller en berøring tablett. Tobii håper å rette opp denne ubalansen.

Sist fredag ​​møtte jeg Barbara Barclay, nordamerikansk sjef for Tobii Technologies (et svensk selskap) for å prøve ut en helt ny type brukergrensesnitt bygget for stasjonære og bærbare forbrukere. I en liten kontorbygning på Manhattan, New York, lot hun meg prøve en av de eneste

20 prototyper av Lenovo bærbare datamaskiner, som hver har innebygde infrarøde sensorer som sporer øyebevegelser så presist og raskt at det får selv de beste musegrensesnittene til å føles foreldet.

Slik fungerer det

Lenovo-Tobii øyekontroll-PCFør vi begynte på demoen, forklarte Barbara teknologien. Tobiis øyekontroll fungerer litt som Xbox Kinect (eller en omvendt Wii), men i mye nærmere skala. Mens du sitter foran den bærbare datamaskinen, skanner en rad med to synkroniserte infrarøde sensorer under skjermen øynene dine. De gjør dette omtrent 30 til 40 ganger per sekund, og undersøker størrelsen og vinkelen på pupillen din, glimtet i hvert av øynene dine og avstanden mellom deg og den bærbare datamaskinen. Sammen lager de to sensorene et stereoskopisk 3D-bilde av øyet ditt som datamaskinen kan undersøke. Basert på øyets vinkel og glimt, beregner Tobiis teknologi nøyaktig hvilken del av skjermen du ser på. Det kan til og med se når du ser bort eller lukker øynene. For å spare strøm gjorde demoenheten på hånden skjermen sin mørkere når vi så bort.

Etter å ha forklart hvordan det fungerer, kalibrerte Barbara Lenovo-Tobii øyekontroll-PC for øynene hennes. Kalibreringsprosessen tar noen sekunder. I utgangspunktet ser du på en serie på tre til ni prikker på skjermen, som lar datamaskinen vite hvor øynene dine ser. Nintendo har brukt lignende kalibreringstester på sine Wii Motion Plus-kontrollere og Wii Fit balansebrettprogramvare. Kalibreringen er smertefri og bør ikke gjøres veldig ofte. Etter kalibrering vil den bærbare datamaskinen kunne lagre "øyeprofilen" din og vite hvordan den skal kalibreres når en kjent bruker logger på.

Det fungerer faktisk... veldig bra

Deretter gikk vi gjennom flere håndlagde demoer som viser frem noen forskjellige bruksscenarier for øyekontroll. Selv etter at jeg prøvde det ut selv, hadde jeg vanskelig for å tro at demonstrasjonen ikke var en forseggjort list. Men etter noen få øyeblikk begynte jeg å tro.

Nesten øyeblikkelig begynte datamaskinen å fange opp øyebevegelsene mine og reagere på det jeg så på. Når jeg så på en gjenstand, ville den fremheve seg selv og komme i forgrunnen. Når jeg så på et kart, visste den nøyaktig hvilket område jeg stirret på, helt ned til pikselen. Akkurat som hvordan en nybegynner med Wii vil vifte vilt med Wii-fjernkontrollen, var mitt første instinkt å bevege hele hodet mens jeg så på forskjellige ting på skjermen. Dette fungerte bra nok, men etter noen få øyeblikk lærte jeg at Tobiis teknologi kunne fange opp de mest subtile øyebevegelser uten at hodet mitt beveget seg. På en eller annen måte kunne det se når jeg flyttet øynene mine en halv tomme til venstre eller høyre eller tilfeldig så opp eller ned, til og med et hårstrå.

Lenovo-Tobii øyekontroll-PC

Den flytende opplevelsen minnet meg om første gang jeg brukte iPod Touch, og hvor naturlig det føltes å sveipe og berøre akkurat der jeg ville. Før Touch og iPhone brukte de fleste berøringsskjermer resistiv berøringsteknologi, som krevde at du faktisk måtte trykke ned på skjermen. Disse skjermene krevde en pekepenn (pennlignende enhet) for å oppnå presisjon, men Apple endret spillet med sitt mer naturlige grensesnitt som lar deg bruke fingrene direkte. Tobiis øyekontrollteknologi er like direkte som et hvilket som helst berøringsgrensesnitt. Det føles som berøring langveisfra.

Brukes for øyekontroll

Den første delen av demoen (som du kan se nedenfor) viser ganske enkelt hvor øynene dine ser på skjermen. Å se på dine egne øyne er ikke spesielt morsomt, men det viser deg hvor raskt systemet reagerer når du beveger deg eller blunker. Etter introduksjonsskjermen og kalibreringen kom vi imidlertid inn i noen forskjellige bruksscenarier.

Lesning: Av alle bruksområdene for øyekontroll viser lesing verdien mer enn noe annet. Alle har sin egen teknikk og stil for å lese på en bærbar datamaskin eller berøringsenhet. Personlig har jeg en tendens til å holde teksten min mot toppen av skjermen. Noen ganger bruker jeg musen til å markere ting jeg allerede har lest og bruker retningsknappene for å bla nedover. Tobiis øyekontroll gjør umiddelbart alle disse tilpassede lesestilene irrelevante. Mer naturlig enn å lese bøker, tekst ruller automatisk opp, ned, til venstre eller høyre for deg mens øynene dine panorerer rundt på skjermen. Det er fantastisk. Forvirret over et ord? Vel, hvis du stirrer lenge nok på ett ord, vil definisjonen dukke opp.

Spiller av media: En annen demo Barbara viste meg var en enkel mediespiller. En rad med bilder og albumomslag fyller bunnen av skjermen. Å se på en av dem fremhever valget og ser oppover spiller musikken eller maksimerer bildet slik at du kan få et bedre utseende. Ferdig med å lytte eller se? Bare se på et annet element i listen. Og når du så på pilene til venstre eller høyre i et sekund eller så, vises neste side med resultater.

Zooming og panorering: Øyekontroll betyr ikke at det ikke er bruk for tastaturet. I en Google Maps-lignende demo kan du panorere og zoome ved å se og trykke/holde en knapp, noe som fungerer bra. En enkelt knapp er tilordnet for å zoome og en annen knapp er tilordnet til panorering. For å zoome ser du ganske enkelt på det du ønsker å fokusere på og trykker på zoomknappen. Når du har zoomet, kan du panorere rundt det zoomede bildet ved å holde en annen knapp og se til venstre, høyre, opp eller ned. Det er sannsynligvis enda mer intuitive måter å utføre komplekse oppgaver som dette på.

Multitasking: På CES i år komplimenterte jeg BlackBerry PlayBook for sin enkle sveipemetode for å bytte mellom applikasjoner. Med et WebOS-lignende grensesnitt (eller kanskje WebOS selv) og Tobiis øyekontroll er multitasking mellom apper like naturlig som å se til venstre eller høyre på skjermen. Ved å bruke Windows 7, som slett ikke er optimalisert for noe annet enn en mus, byttet Barbara mellom vinduene ved å se på dem og trykke på en knapp. Hun flyttet også et musepekerikon rundt på skjermen med letthet.

Spill: Den siste demoen vi spilte var en enkel Asteroider-liknende spill. Oppdraget ditt er å beskytte jorden mot en byge av kometer og asteroider på størrelse med dommedag på vei. Å se på en asteroide utløser en laser som sprenger den. Det finnes massevis av berøringsspill som dette, som setter refleksene dine mot datamaskinen, men øyekontroll tar farten og intensiteten til disse spillene opp et hakk. Jeg er utrolig spent på å se hva slags spill som kan lages med øyets hastighet.

Dette er bare noen få av mange nye måter øyekontroll ville la deg samhandle med en PC-stasjonær eller bærbar PC. Når du begynner å tenke på hvordan denne teknologien kan samhandle med stemmegjenkjenning, virker mulighetene uendelige. Om et par år, Minoritetsrapport kan se utdatert ut.

Det er som Kinect for PC-er

Lenovo-Tobii øyekontroll-PC

Microsoft har sagt at de etter hvert vil gi ut Kinect-lignende bevegelsesteknologi for PC-er. Vel, jeg hater å fortelle dem det, men Tobii har gjort mye av det harde arbeidet. Å flytte Kinect til en PC ville bety å flytte fokus fra kroppen til øynene og ansiktet, noe Tobii har oppnådd med bemerkelsesverdig presisjon.

jeg har skrevet mye om Microsoft og de mange utfordringene den står overfor med Windows 8. Foreløpig har selskapet en sviktende telefonplattform og ingen nettbrettstrategi. For å komme videre må Microsoft skape spenning rundt sitt brød og smør, som fortsatt er tradisjonelt, tastatur PC-er. Tobiis øyekontroll er akkurat den typen innovative grensesnitt Microsoft kan bygge en omfattende ny opplevelse rundt. Det kan forenkle kompleksiteten til Windows-stasjonære operativsystemer og samtidig bygge bro over noen av gapene mellom PC-en og mobile berøringsplattformer. Hvis den implementeres på riktig måte, kan teknologi som dette gjenopplive litt buzz rundt bærbare datamaskiner, spesielt kombinert med mange av ideene Microsoft har demonstrert på Windows Phone og Xbox Kinect.

Barbara informerte meg om at Microsoft allerede er en klient av Tobii for noen av de større forskningsenhetene, som Redmond-giganten bruker til å studere effektiviteten til sine egne applikasjonsoppsett og grensesnitt ved å spore øyebevegelsene til potensielle kunder når de opplever en ny design. Microsoft, jeg ser på deg. Hvis du ikke prøver noe slikt, vil noen andre gjøre det.

Uansett hvem det er, er én ting klar: Tobii trenger en sterk partner som realiserer potensialet i teknologien sin.

Øyekontroll kommer, forhåpentligvis

Som all god teknologi er Tobiis øyekontroll bare så nyttig som programvareutviklerne som skriver for den. Selskapet er i samtaler med en rekke maskinvare-, programvare- og plattformprodusenter for å jobbe mot å implementere teknologien sin i PC-er så snart som om to år, men det vil bli en tøff vei fremover. Teknologien må fortsatt være mindre, bruke mindre batteri og koste mindre. Uten visjonen til Apple, stagnerte berøringsnettbrett i limbo i et tiår. La oss håpe at en av disse plattformprodusentene anerkjenner potensialet i øyekontroll. Den eneste taperen her er musen, og jeg beklager min venn, jeg elsker deg, men dagene dine er talte.