Sonys Forschung zum Eye-Tracking für Videospiele ist erstaunlich

Sonys Forschungs-Eye-Tracking-Videospiele, absolut erstaunliche Sony Playstation Magic Labs

Während Sony es geschafft hat, mehr als nur ein paar beeindruckte Ausrufe von Presse, Fans und Mitgliedern der Gaming-Community zu erhalten neues Virtual-Reality-Headset Mit dem Codenamen „Project Morpheus“ befand sich eines seiner unglaublicheren Hardware-Teile unbemerkt in einem Hinterzimmer und hatte nichts mit der virtuellen Realität zu tun.

Bei der betreffenden Technologie handelt es sich um einen unbenannten Hardware-Prototyp, der vielleicht nie in den Handel kommt, aber das sollte er schaffen – er bietet im wahrsten Sinne des Wortes eine neue Sichtweise auf Spiele. Mithilfe einer speziell entwickelten Kamera hat eines der Forschungs- und Entwicklungsteams von Sony (die Gruppe Magic Labs) eine Möglichkeit entwickelt, die Kamera in einem Spiel mit den Augen zu steuern. Es verändert die Natur des Spielens nicht auf die gleiche Weise wie die virtuelle Realität, aber es ist eines der coolsten Spieletechnologien, die auf der GDC gezeigt werden.

Empfohlene Videos

Die Eye-Tracking-Technologie ist noch weit von ihrer Veröffentlichung entfernt – und es gibt keine Garantie dafür, dass sie jemals veröffentlicht wird –, aber das Potenzial ist unglaublich. Eye-Tracking wird immer häufiger zu einer Funktion von Smartphones, aber die Größe des Geräts von Sony übertrifft alles, was ein Smartphone derzeit bietet. In der gezeigten Demo wurden die Eye-Tracking-Tools von Sony (die derzeit technisch gesehen noch keinen Namen haben) in Verbindung mit dem PlayStation 4-Spiel verwendet

Berüchtigt: Zweiter Sohn.

Damit die Energiestrahlen ihr Ziel erreichen, schauen Sie sich einfach an, was Sie treffen möchten.

Alles beginnt mit einer schnellen Kalibrierung, die so einfach ist wie das Betrachten eines Punkts in der oberen linken Ecke und dann eines weiteren auf der diagonal gegenüberliegenden Seite. Die Kamera beginnt dann, Daten an einen nahegelegenen Laptop zu senden, der wiederum die Funktion der Spielkamera übernimmt.

Es dauert einige Augenblicke, bis man sich an die neue Sichtweise gewöhnt hat. In einem Third-Person-Spiel ist es ganz natürlich, dass Ihr Blick von der Figur angezogen wird, die sich unterhalb der Mitte Ihres Bildschirms befindet. Bei der Eye-Tracking-Software führt der Blick auf Ihre Figur daher dazu, dass die Kamera nach unten schwenkt. Sobald Sie jedoch einen Ausgleich schaffen, sind die Effekte erstaunlich.

Abgesehen von der Möglichkeit, sich mit den Augen auf die gleiche Weise umzusehen, wie Sie die Kamera normalerweise mit dem rechten Daumenstift schwenken würden, kann die Verfolgung auch weitaus präziser sein. In BerüchtigtDurch schnelles Antippen der R2-Taste wird ein Strom von Energiestößen auf Gegner gesendet, ähnlich wie beim Abfeuern eines Maschinengewehrs, jedoch mit langsameren Projektilen. Damit die Energiestrahlen ihr Ziel erreichen, schauen Sie sich einfach an, was Sie treffen möchten. Wenn Sie zwei Feinden gegenüberstehen, einer auf jeder Seite, werfen Sie einfach einen Blick in die eine und dann in die andere Richtung, und die Energiestrahlen werden ihr Ziel finden. Es registriert Ihre Bewegungen so schnell wie Ihre Augen und schafft so eine reaktionsfähige Kamera, die die Art und Weise, wie wir Spiele visuell eingeben, für immer verändern könnte.

Während sich die Demo auf etwas konzentrierte, was in jeder Hinsicht ein Third-Person-Shooter ist (zumindest in der Demo, die eine frühe Version zeigte). Abschnitt des Spiels, in dem Energiestöße zu Ihren effektivsten Waffen gehörten), sind die Möglichkeiten mit der Eye-Tracking-Technologie von Sony vielfältig endlos. Stellen Sie sich vor, Sie spielen ein Fußballspiel und anstatt zu versuchen, unbeholfen zu einem bestimmten Spieler zu passen, der in einem ungewöhnlichen Muster läuft, schauen Sie ihn einfach an und drücken den Passknopf. Im Fußball könnte man, während man den Quarterback kontrolliert, einfach auf die Receiver schauen und den Pass zu dem gewünschten Receiver schlagen. Bei Ego-Shootern könnte man theoretisch schneller zielen, als sich der Daumen bewegen könnte.

Es gibt auch mögliche Einsatzmöglichkeiten für die Technologie mit dem Virtual-Reality-Headset Project Morpheus. Im Moment ist es (soweit wir wissen) noch reine Theorie, aber wir gehen davon aus, dass Sie eines Tages vielleicht in der Lage sein werden, die VR einzusetzen Headset und schauen Sie sich in der virtuellen Welt um, indem Sie Ihren Kopf bewegen, aber schauen Sie sich auch so um, wie Sie es natürlich tun würden, mit Ihrem Augen.

Sony Eyetracking Magic Labs

 Die Auswirkungen könnten auch über das Gaming hinausgehen. Stellen Sie sich vor, Sie sehen eine 3D-Übertragung eines Basketballspiels mit einem Virtual-Reality-Headset. Sie konnten sich in einem begrenzten Sichtfeld umsehen, aber wenn die Aktion stattfand, gaben Ihre Augen dem Video die Richtung vor, auf die es sich konzentrieren sollte. Wenn ein Schlag geblockt wird und ein schneller Anstoß beginnt, ist es natürlicher, mit den Augen zu folgen, als den Kopf herumzureißen und zu sehen, wie der Ball über das Spielfeld rast.

Es gibt jedoch einige Nachteile. Zum einen ist eine neue Kamera erforderlich, die von der Kamera der PlayStation 4 getrennt ist. Allerdings handelte es sich bei dem ausgestellten Gerät um einen reinen Prototypen, und es besteht jederzeit die Möglichkeit, vorhandene Kameras zu integrieren, um die Technologie über Software-Updates zu nutzen. Aber wenn es morgen veröffentlicht würde, müssten Sie ein neues Peripheriegerät kaufen.

Ein weiterer, noch schwerwiegenderer Nachteil sind die Probleme der Software mit der Verfolgung der Augen hinter Brillen. Ob die Bewegung der Augen hinter den Brillengläsern erkannt wird, hängt vom Zufall ab, und Brillenträger werden auf Probleme stoßen. Das könnte irgendwann behoben werden. Aber auch wenn Sie keine Brille tragen, müssen Sie in der Nähe der Kamera sitzen. Um die Bewegung der Augen zu verfolgen, muss eine Kamera nahe genug sein, um die Bewegungen zu verfolgen, was möglicherweise zu einem unangenehmen Problem bei der Positionierung führt. Die Alternative wäre eine hochauflösende Kamera, die so weit heranzoomen kann, dass Sie Ihre Augen aus der Ferne erkennen können. Das ist sicherlich möglich, aber es würde wahrscheinlich mehr kosten, als es wert wäre. Dennoch sind das alles lösbare Probleme.

Die Eye-Tracking-Technologie von Sony war erstmals im November 2013 gezeigt als sich die Welt auf die Ankunft der PlayStation 4 vorbereitete. Es wurde im Rahmen des Blicks auf Magic Labs hervorgehoben, das Unternehmen, das auch für Geräte wie den Move, die Eye Toy Camera und zuletzt den DualShock 4 verantwortlich ist. Zu dieser Zeit war das Eye-Tracking kaum mehr als eine Spielerei – eine nette Spielerei – aber im Vergleich zur Veröffentlichung des neuen Systems stand ein theoretischer Prototyp nicht im Vordergrund. Jetzt, da die PlayStation 4 auf dem Markt ist, sind die Grenzen des Gamings jedoch bereit, durch Geräte wie … erweitert zu werden dieses, Project Morpheus und andere, die wir noch nicht in Betracht gezogen haben (an denen aber wahrscheinlich in Laboren rund um den Globus gearbeitet wird). Welt).

Da das Projekt Morpheus einen langen Schatten wirft, ist Eyetracking immer noch nur ein Nebenschauplatz, zumal es derzeit keine konkreten Pläne dafür gibt. Geben Sie ihm jedoch Zeit. Dies könnte nur ein Teil der Zukunft des Gamings sein.