Death of the mouse: Hur eyetracking-teknik kunde rädda datorn

Ögonspårning

Under de senaste åren har pekkontroll revolutionerat sättet vi interagerar med mobila enheter. Tekniken har varit så populär på smartphones att Apple använde sin beprövade touch-metod för att återuppfinna marknaden för döda surfplattor med iPad. Tack vare den blomstrande tillväxten av dessa enheter tar beröring fart på ett stort sätt, tar nya formfaktorer och utgör en potentiellt hot till vår äldsta vän: datorn.

Med alla dessa rörelsestyrda gränssnitt för videospelsystem och pekgränssnitt för mobila enheter, känns PC: n med tangentbord och mus bara, ja, gammal. Tangentbordet är fortfarande det snabbaste och bästa sättet att mata in stora mängder data och skapa skrivet innehåll, men musen och pekplattan är ett steg bort från den naturliga, direkta känslan man får när man använder Wii, Xbox Kinect eller en touch läsplatta. Tobii hoppas kunna rätta till denna obalans.

I fredags träffade jag Barbara Barclay, nordamerikansk chef för Tobii Technologies (ett svenskt företag) för att testa en helt ny typ av användargränssnitt byggt för konsumentdatorer och bärbara datorer. I en liten kontorsbyggnad på Manhattan, New York, lät hon mig prova en av de enda

20 prototyper av Lenovo bärbara datorer, som var och en har inbyggda infraröda sensorer som spårar ögonrörelser så exakt och snabbt att det gör att även de bästa musgränssnitten känns föråldrade.

Så här fungerar det

Lenovo-Tobii ögonkontroll PCInnan vi började demon förklarade Barbara tekniken. Tobiis ögonkontroll fungerar lite som Xbox Kinect (eller en omvänd Wii), men på en mycket närmare skala. När du sitter framför den bärbara datorn skannar en rad med två synkroniserade infraröda sensorer under skärmen dina ögon. De gör detta cirka 30 till 40 gånger per sekund, undersöker storleken och vinkeln på din pupill, glimten i vart och ett av dina ögon och avståndet mellan dig och den bärbara datorn. Tillsammans skapar de två sensorerna en stereoskopisk 3D-bild av ditt öga som datorn kan undersöka. Baserat på ögats vinkel och glimt beräknar Tobiis teknologi exakt vilken del av skärmen du tittar på. Det kan till och med se när du tittar bort eller blundar. För att spara ström gjorde demoenheten till hands sin skärm mörk när vi tittade bort.

Efter att ha förklarat hur det fungerar kalibrerade Barbara Lenovo-Tobii ögonstyrningsdator för hennes ögon. Kalibreringsprocessen tar några sekunder. I grund och botten tittar du på en serie med tre till nio punkter på skärmen, som låter datorn veta var dina ögon tittar. Nintendo har använt liknande kalibreringstester på sina Wii Motion Plus-kontroller och Wii Fit balanskortsmjukvara. Kalibreringen är smärtfri och bör inte behöva göras särskilt ofta. Efter kalibrering kommer den bärbara datorn att kunna spara din "ögonprofil" och veta hur man kalibrerar när en bekant användare loggar in.

Det fungerar faktiskt... riktigt bra

Därefter gick vi igenom flera handgjorda demos som visar upp några olika användningsscenarier för ögonkontroll. Även efter att jag provat det själv, hade jag svårt att tro att demonstrationen inte var en komplicerad list. Men efter några ögonblick började jag tro.

Nästan omedelbart började datorn ta upp mina ögonrörelser och svara på vad jag än tittade på. När jag tittade på ett föremål, skulle det framhäva sig självt och hamna i förgrunden. När jag tittade på en karta visste den exakt vilket område jag stirrade på, ända ner till pixeln. Ungefär som hur en novis med Wii kommer att vifta vilt med Wii-fjärrkontrollen, min första instinkt var att röra hela mitt huvud när jag tittade på olika föremål på skärmen. Detta fungerade tillräckligt bra, men efter några ögonblick lärde jag mig att Tobiis teknologi kunde ta upp de mest subtila ögonrörelserna utan hjälp av att mitt huvud rörde sig. På något sätt kunde det se när jag flyttade mina ögon en halv tum åt vänster eller höger eller slentrianmässigt tittade upp eller ner, till och med ett hårstrå.

Lenovo-Tobii ögonkontroll PC

Den flytande upplevelsen påminde mig om första gången jag använde iPod Touch, och hur naturligt det kändes att svepa och röra precis där jag ville. Innan Touch och iPhone använde de flesta pekskärmar resistiv pekteknik, vilket krävde att du faktiskt tryckte ner skärmen. Dessa skärmar krävde en penna (pennliknande enhet) för att uppnå precision, men Apple ändrade spelet med sitt mer naturliga gränssnitt som låter dig använda fingrarna direkt. Tobiis ögonstyrningsteknik är lika direkt som vilket pekgränssnitt som helst. Det känns som beröring på långt håll.

Används för ögonkontroll

Den första delen av demon (som du kan se nedan) visar helt enkelt var dina ögon tittar på skärmen. Att titta på dina egna ögon är inte särskilt roligt, men det visar hur snabbt systemet reagerar när du rör dig eller blinkar. Men efter introduktionsskärmen och kalibreringen kom vi in ​​i några olika användningsscenarier.

Läsning: Av alla användningsområden för ögonkontroll visar läsning dess värde mer än något annat. Alla har sin egen teknik och stil för att läsa på en bärbar dator eller pekenhet. Personligen tenderar jag att hålla min text längst upp på skärmen. Ibland använder jag musen för att markera saker jag redan har läst och använder riktningsknapparna för att rulla ner. Tobiis ögonkontroll gör omedelbart alla dessa anpassade lässtilar irrelevanta. Mer naturlig än bokläsning, text rullar automatiskt uppåt, nedåt, åt vänster eller åt höger för dig när dina ögon rullar runt på skärmen. Det är fantastiskt. Förvirrad över ett ord? Tja, om du stirrar på ett ord tillräckligt länge kommer dess definition att dyka upp.

Spelar media: En annan demo som Barbara visade mig var en enkel mediaspelare. En rad bilder och albumomslag fyller längst ner på skärmen. Att titta på en av dem framhäver valet och titta uppåt spelar musiken eller maximerar bilden så att du kan få en bättre look. Är du klar med att lyssna eller titta? Titta bara på ett annat objekt i listan. Och när du tittade på pilarna till vänster eller höger i någon sekund eller så, visas nästa sida med resultat.

Zooma och panorera: Ögonkontroll betyder inte att det inte finns någon användning för tangentbordet. I en Google Maps-liknande demo kan du panorera och zooma genom att titta och trycka/hålla in en knapp, vilket fungerar bra. En enda knapp är tilldelad för att zooma och en annan knapp är tilldelad för panorering. För att zooma tittar du helt enkelt på det du vill fokusera på och trycker på zoomknappen. När du har zoomat kan du panorera runt din zoomade bild genom att hålla en annan knapp nedtryckt och titta åt vänster, höger, upp eller ned. Det finns sannolikt ännu mer intuitiva sätt att utföra komplexa uppgifter som detta.

Göra flera saker samtidigt: På CES i år berömde jag BlackBerry PlayBook för dess enkla svepningsmetod för att växla mellan applikationer. Med ett WebOS-liknande gränssnitt (eller kanske WebOS själv) och Tobiis ögonkontroll är multitasking mellan appar lika naturligt som att titta till vänster eller höger om skärmen. Med hjälp av Windows 7, som inte alls är optimerat för något annat än en mus, bytte Barbara mellan fönster genom att titta på dem och trycka på en knapp. Hon flyttade också en muspekarikon runt skärmen med lätthet.

Spel: Den senaste demon vi spelade var en enkel Asteroider-liknande spel. Ditt uppdrag är att skydda jorden från en störtflod av kometer och asteroider i undergångsstorlek som är på väg mot dig. Att titta på en asteroid utlöser en laser som spränger den. Det finns massor av touch-typ spel som detta, som ställer dina reflexer mot datorn, men ögonkontroll tar hastigheten och intensiteten i dessa spel upp ett snäpp. Jag är otroligt spänd på att se vilken typ av spel som kan göras med ögats hastighet.

Det här är bara några av många nya sätt som ögonkontroll skulle låta dig interagera med en stationär eller bärbar dator. När du börjar fundera på hur den här tekniken skulle kunna interagera med röstigenkänning verkar möjligheterna oändliga. Om några år, Minoritetsrapport kan se daterad ut.

Det är som Kinect för PC

Lenovo-Tobii ögonkontroll PC

Microsoft har sagt att de så småningom kommer att släppa Kinect-liknande rörelseteknik för PC. Tja, jag hatar att berätta för dem, men Tobii har gjort mycket av det hårda arbetet. Att flytta Kinect till en PC skulle innebära att fokus flyttas från kroppen till ögonen och ansiktet, något som Tobii har uppnått med anmärkningsvärd precision.

jag har skrivit mycket om Microsoft och de många utmaningar det står inför med Windows 8. För närvarande har företaget en sviktande telefonplattform och ingen surfplattastrategi. För att gå vidare måste Microsoft skapa spänning kring sitt bröd och smör, som fortfarande är traditionellt, tangentbordsstyrt datorer. Tobiis ögonkontroll är precis den typ av innovativt gränssnitt som Microsoft skulle kunna skapa en heltäckande ny upplevelse runt om. Det kan förenkla komplexiteten i Windows-datoroperativsystemet samtidigt som det överbryggar några av klyftorna mellan PC: n och mobila pekplattformar. Om den implementeras på rätt sätt kan teknik som denna återuppliva en del surr på marknaden för bärbara datorer, särskilt i kombination med många av de idéer som Microsoft har visat på Windows Phone och Xbox Kinect.

Barbara informerade mig om att Microsoft redan är kund till Tobii för några av dess större forskningsenheter, som Redmond-jätten använder för att studera effektiviteten av sina egna applikationslayouter och gränssnitt genom att spåra potentiella kunders ögonrörelser när de upplever en ny design. Microsoft, jag tittar på dig. Om du inte provar något sånt här kommer någon annan att göra det.

Oavsett vem det är är en sak klar: Tobii behöver en stark partner som inser potentialen i sin teknologi.

Ögonkontroll kommer, förhoppningsvis

Som all bra teknik är Tobiis ögonkontroll bara lika användbar som mjukvaruutvecklarna som skriver för den. Företaget för samtal med ett antal hårdvaru-, mjukvaru- och plattformstillverkare för att arbeta för att implementera sin teknik i PC-datorer så snart som två år från nu, men det kommer att bli en tuff väg framåt. Tekniken måste fortfarande vara mindre, använda mindre batteri och kosta mindre. Utan Apples vision stagnerade pekplattor i limbo i ett decennium. Låt oss hoppas att en av dessa plattformstillverkare inser potentialen i ögonkontroll. Den enda förloraren här är musen, och jag är ledsen min vän, jag älskar dig, men dina dagar är räknade.