Śmierć myszy: jak technologia śledzenia wzroku może uratować komputer

Śledzenie wzroku

W ciągu ostatnich kilku lat sterowanie dotykowe zrewolucjonizowało sposób interakcji z urządzeniami mobilnymi. Technologia ta była tak popularna w smartfonach, że Apple wykorzystał sprawdzone podejście dotykowe, aby na nowo odkryć martwy rynek tabletów za pomocą iPada. Dzięki kwitnącemu wzrostowi tych urządzeń, dotyk rozwija się w wielkim stylu, przybierając nowe formy i stwarzając potencjalne zagrożenie do naszego najstarszego przyjaciela: komputera.

Dzięki tym wszystkim interfejsom sterowanym ruchem do systemów gier wideo i interfejsom dotykowym do urządzeń mobilnych komputer z klawiaturą i myszą wydaje się po prostu stary. Klawiatura jest nadal najszybszym i najlepszym sposobem wprowadzania dużych ilości danych i tworzenia treści pisanych, ale mysz i touchpad są o krok od naturalnego, bezpośredniego wrażenia, jakie daje korzystanie z Wii, Xbox Kinect lub dotyku tablet. Tobii ma nadzieję naprawić tę nierównowagę.

W zeszły piątek spotkałem się z Barbarą Barclay, północnoamerykańską menadżerką Tobii Technologies (szwedzkiej firmy), aby wypróbować zupełnie nowy typ interfejsu użytkownika przeznaczony dla konsumenckich komputerów stacjonarnych i laptopów. W małym biurowcu na Manhattanie w Nowym Jorku pozwoliła mi wypróbować jeden z jedynych

20 prototypowych laptopów Lenovo, z których każdy ma wbudowane czujniki podczerwieni, które śledzą ruch oczu tak precyzyjnie i szybko, że nawet najlepsze interfejsy myszy sprawiają wrażenie przestarzałych.

Oto jak to działa

Komputer do sterowania wzrokiem Lenovo-TobiiZanim rozpoczęliśmy demonstrację, Barbara wyjaśniła technologię. Kontrola wzroku Tobii działa trochę jak Xbox Kinect (lub odwrócone Wii), ale na znacznie bliższą skalę. Gdy siedzisz przed laptopem, rząd dwóch zsynchronizowanych czujników podczerwieni umieszczonych pod ekranem skanuje Twoje oczy. Robią to około 30 do 40 razy na sekundę, badając rozmiar i kąt źrenicy, błysk w każdym z twoich oczu oraz odległość między tobą a laptopem. Razem te dwa czujniki tworzą stereoskopowy obraz 3D oka do zbadania przez komputer. Na podstawie kąta i błysku oka technologia Tobii dokładnie oblicza, na którą część ekranu patrzysz. Może nawet stwierdzić, kiedy odwracasz wzrok lub zamykasz oczy. Aby oszczędzać energię, prezentowana jednostka demonstracyjna ściemniała ekran, gdy odwracaliśmy wzrok.

Po wyjaśnieniu, jak to działa, Barbara skalibrowała komputer sterujący wzrokiem Lenovo-Tobii dla swoich oczu. Proces kalibracji trwa kilka sekund. Zasadniczo patrzysz na serię od trzech do dziewięciu kropek na ekranie, dzięki czemu komputer wie, gdzie patrzą twoje oczy. Nintendo zastosowało podobne testy kalibracji w swoich kontrolerach Wii Motion Plus i oprogramowaniu Wii Fit Balance Board. Kalibracja jest bezbolesna i nie powinna być wykonywana zbyt często. Po kalibracji laptop będzie mógł zapisać „profil oka” i wiedzieć, jak przeprowadzić kalibrację, gdy zaloguje się znajomy użytkownik.

To naprawdę działa… naprawdę dobrze

Następnie przejrzeliśmy kilka ręcznie wykonanych demonstracji, które pokazują różne scenariusze użycia do kontroli wzroku. Nawet po tym, jak sam to wypróbowałem, trudno mi było uwierzyć, że demonstracja nie była skomplikowanym podstępem. Jednak po kilku chwilach zacząłem w to wierzyć.

Niemal natychmiast komputer zaczął wykrywać ruchy moich gałek ocznych i reagować na wszystko, na co patrzyłem. Kiedy patrzyłem na przedmiot, podświetlał się i wychodził na pierwszy plan. Kiedy spojrzałem na mapę, wiedziałem dokładnie, na który obszar patrzę, aż do piksela. Podobnie jak nowicjusz z Wii dziko macha pilotem Wii, moim pierwszym odruchem było poruszanie całą głową, gdy patrzyłem na różne elementy na ekranie. To działało wystarczająco dobrze, ale po kilku chwilach dowiedziałem się, że technologia Tobii może wychwycić najsubtelniejsze ruchy oczu bez pomocy poruszania moją głową. W jakiś sposób mógł rozpoznać, kiedy przesunąłem oczy o pół cala w lewo lub w prawo albo od niechcenia spojrzałem w górę lub w dół, nawet o włos.

Komputer do sterowania wzrokiem Lenovo-Tobii

Płynność tego doświadczenia przypomniała mi, jak po raz pierwszy użyłem iPoda Touch i jak naturalne było przesuwanie i dotykanie dokładnie tam, gdzie chciałem. Przed dotykiem i iPhonem większość ekranów dotykowych wykorzystywała rezystancyjną technologię dotykową, która wymagała faktycznego naciśnięcia ekranu. Te ekrany wymagały rysika (urządzenia podobnego do pióra), aby osiągnąć precyzję, ale Apple zmienił grę dzięki bardziej naturalnemu interfejsowi, który pozwala bezpośrednio używać palców. Technologia kontroli wzroku Tobii jest tak bezpośrednia, jak każdy inny interfejs dotykowy. To jest jak dotyk z daleka.

Używa do kontroli wzroku

Pierwsza część demonstracji (którą możesz obejrzeć poniżej) po prostu pokazuje, gdzie twoje oczy patrzą na ekran. Patrzenie na własne oczy nie jest szczególnie zabawne, ale pokazuje, jak szybko system reaguje, gdy się poruszasz lub mrugasz. Jednak po ekranie wprowadzającym i kalibracji przeszliśmy do różnych scenariuszy użytkowania.

Czytanie: Spośród wszystkich zastosowań kontroli wzroku, czytanie wykazuje swoją wartość bardziej niż cokolwiek innego. Każdy ma własną technikę i styl czytania na laptopie lub urządzeniu dotykowym. Osobiście staram się umieszczać tekst w górnej części ekranu. Czasami używam myszy, aby zaznaczyć rzeczy, które już przeczytałem, i używam przycisków kierunkowych, aby przewinąć w dół. Kontrola wzroku Tobii natychmiast sprawia, że ​​wszystkie te spersonalizowane style czytania stają się nieistotne. Bardziej naturalny niż czytanie książek, tekst automatycznie przewija się w górę, w dół, w lewo lub w prawo, gdy Twoje oczy przesuwają się po ekranie. To niesamowite. Mylisz się co do słowa? Cóż, jeśli wystarczająco długo wpatrujesz się w jedno słowo, pojawi się jego definicja.

Odtwarzanie multimediów: Inne demo, które pokazała mi Barbara, było prostym odtwarzaczem multimedialnym. Dolną część ekranu wypełnia rząd zdjęć i okładek albumów. Spojrzenie na jeden z nich podkreśla wybór, a spojrzenie w górę odtwarza muzykę lub maksymalizuje obraz, dzięki czemu można lepiej się przyjrzeć. Skończyłeś słuchać lub oglądać? Po prostu spójrz na inny element na liście. A gdy spojrzysz na strzałki po lewej lub prawej stronie przez mniej więcej sekundę, pojawi się następna strona wyników.

Powiększanie i przesuwanie: Sterowanie wzrokiem nie oznacza, że ​​klawiatura jest bezużyteczna. W wersji demonstracyjnej podobnej do Map Google możesz przesuwać i powiększać, patrząc i naciskając/przytrzymując przycisk, który działa dobrze. Pojedynczy przycisk jest przypisany do powiększania, a drugi do przesuwania. Aby powiększyć, po prostu spójrz na to, na czym chcesz się skupić, i naciśnij przycisk zoomu. Po powiększeniu przytrzymanie innego przycisku i patrzenie w lewo, w prawo, w górę lub w dół pozwala przesuwać powiększony obraz. Prawdopodobnie istnieją jeszcze bardziej intuicyjne sposoby wykonywania takich złożonych zadań.

Wielozadaniowość: Na tegorocznych targach CES pochwaliłem m.in BlackBerry PlayBook ze względu na łatwą metodę przesuwania w celu przełączania między aplikacjami. Z interfejsem podobnym do WebOS (a może samego WebOS-a) i kontroli wzroku Tobii, wielozadaniowość między aplikacjami jest tak naturalna, jak patrzenie w lewo lub w prawo od ekranu. Korzystając z systemu Windows 7, który w ogóle nie jest zoptymalizowany pod kątem niczego innego niż mysz, Barbara przełączała się między oknami, patrząc na nie i naciskając przycisk. Z łatwością przesuwała także ikonę wskaźnika myszy po ekranie.

Hazard: Ostatnie demo, w które graliśmy, było proste Asteroidy-jak gra. Twoim zadaniem jest ochrona Ziemi przed gradem komet i asteroid wielkości zagłady, które zmierzają w twoją stronę. Patrzenie na asteroidę uruchamia laser, który ją wysadza. Jest mnóstwo gier dotykowych, takich jak ta, które stawiają twój refleks przeciwko komputerowi, ale kontrola wzroku podnosi szybkość i intensywność tych gier. Nie mogę się doczekać, aby zobaczyć, jakie gry można stworzyć z szybkością oka.

To tylko kilka z wielu nowych sposobów, w jakie sterowanie wzrokiem pozwala na interakcję z komputerem stacjonarnym lub laptopem. Kiedy zaczniesz myśleć o tym, jak ta technologia może współdziałać z rozpoznawaniem głosu, możliwości wydają się nieograniczone. Za kilka lat, Raport mniejszości może wyglądać na przestarzały.

To jak Kinect na PC

Komputer do sterowania wzrokiem Lenovo-Tobii

Microsoft powiedział, że ostatecznie wyda technologię ruchu podobną do Kinect dla komputerów PC. Cóż, nie chcę im tego mówić, ale Tobii wykonał dużo ciężkiej pracy. Przeniesienie Kinecta na PC oznaczałoby przeniesienie ostrości z ciała na oczy i twarz, co Tobii osiągnął z niezwykłą precyzją.

dużo pisałem o Microsoft i wiele wyzwań, przed którymi stoi z Windowsem 8. Obecnie firma ma upadającą platformę Phone i nie ma strategii na tablety. Aby iść naprzód, Microsoft musi wzbudzić zainteresowanie swoim chlebem powszednim, który wciąż jest tradycyjny, oparty na klawiaturze komputery PC. Sterowanie wzrokiem Tobii to dokładnie ten rodzaj innowacyjnego interfejsu, który Microsoft mógłby stworzyć, oferując nowe, wszechstronne doświadczenie wokół. Może to uprościć złożoność systemu operacyjnego Windows dla komputerów stacjonarnych, wypełniając jednocześnie niektóre luki między komputerami PC a mobilnymi platformami dotykowymi. Jeśli zostanie właściwie wdrożona, taka technologia może ponownie rozpalić szum na rynku laptopów, zwłaszcza w połączeniu z wieloma pomysłami, które Microsoft zademonstrował na Windows Phone i Xbox Kinect.

Barbara poinformowała mnie, że Microsoft jest już klientem Tobii w zakresie niektórych większych jednostek badawczych, które gigant z Redmond wykorzystuje do badania skuteczność własnych układów i interfejsów aplikacji, śledząc ruchy oczu potencjalnych klientów, gdy doświadczają oni nowości projekt. Microsoft, patrzę na ciebie. Jeśli ty nie spróbujesz czegoś takiego, zrobi to ktoś inny.

Bez względu na to, kto to jest, jedno jest pewne: Tobii potrzebuje silnego partnera, który zdaje sobie sprawę z potencjału jego technologii.

Kontrola wzroku nadchodzi, miejmy nadzieję

Jak każda dobra technologia, kontrola wzroku Tobiiego jest tak użyteczna, jak programiści, którzy dla niej piszą. Firma prowadzi rozmowy z wieloma producentami sprzętu, oprogramowania i platform, aby pracować nad wdrożeniem swojej technologii w komputerach PC już za dwa lata, ale będzie to trudna droga. Technologia nadal musi być mniejsza, zużywać mniej baterii i kosztować mniej. Bez wizji Apple, dotykowe tablety pozostawały w zawieszeniu przez dekadę. Miejmy nadzieję, że jeden z tych twórców platform dostrzeże potencjał kontroli wzroku. Jedynym przegranym tutaj jest mysz i przepraszam, przyjacielu, kocham cię, ale twoje dni są policzone.