Sonys forskning om eyetracking för videospel är fantastisk

sonys research eye tracking videospel helt fantastiska sony playstation magic labs

Medan Sony lyckades få mer än några imponerade utrop från press, fans och medlemmar av spelgemenskapen med sina nytt virtual reality-headset koden med namnet "Project Morpheus", en av dess mer otroliga hårdvara satt obemärkt i ett bakrum och hade ingenting att göra med virtuell verklighet.

Tekniken i fråga är ett stycke icke namngiven prototyphårdvara som kanske eller kanske inte någonsin kommer ut i detaljhandeln, men det borde det – det erbjuder bokstavligen ett nytt sätt att se på spel. Med hjälp av en specialdesignad kamera har ett av Sonys forsknings- och utvecklingsteam (den grupp som kallas Magic Labs) kommit på ett sätt för dig att styra kameran i ett spel med dina ögon. Det är inte något som förändrar spelets natur på samma sätt som virtuell verklighet gör, men det är en av de coolaste delarna av spelteknik som visas på GDC.

Rekommenderade videor

Eye tracking-tekniken är fortfarande långt ifrån att släppas – och det finns ingen garanti för att det någonsin kommer att bli det – men potentialen är otrolig. Eye tracking blir ett vanligt inslag i smartphones, men storleken på Sonys enhet överskuggar allt en smartphone erbjuder för närvarande. I demon som visas användes Sonys ögonspårningsverktyg (som återigen tekniskt sett inte har något namn för tillfället) i samband med PlayStation 4-spelet

Ökänd andra son.

För att hjälpa energisprängningarna att nå sina mål tittar du helt enkelt på vad du vill träffa.

Allt börjar med en snabb kalibrering som är så enkel som att titta på en prick i det övre vänstra hörnet och sedan en annan på den diagonalt motsatta sidan. Kameran börjar sedan skicka data till en närliggande bärbar dator, som i sin tur tar över för spelets kamera.

Det tar några ögonblick att orientera sig till den nya metoden att se. I ett tredjepersonsspel är det naturligt för dina ögon att dras till din karaktär som är under mitten av skärmen. Med ögonspårningsmjukvaran får kameran därför att panorera ned när du tittar på din karaktär. När du väl har kompenserat är effekterna fantastiska.

Utöver möjligheten att se sig omkring med ögonen på samma sätt som du normalt skulle panorera runt kameran med rätt tumsticka, kan spårningen också vara mycket mer exakt. I Ökänd, att snabbt trycka på R2-knappen skickar en ström av energisprängningar mot motståndare som liknar att avfyra en maskingevär, men med långsammare projektiler. För att hjälpa energisprängningarna att nå sina mål tittar du helt enkelt på vad du vill träffa. Om du möter två fiender, en på vardera sidan om dig, titta bara åt ena hållet, så kommer den andra att hitta sina spår. Den registrerar dina rörelser lika snabbt som dina ögon rör sig, vilket skapar en lyhörd kamera som kan förändra hur vi visuellt matar in spel för alltid.

Medan demot fokuserade på vad, för allt i världen, är ett tredjepersonsskjutspel (åtminstone i demot, som visade en tidig del av spelet där energisprängningar var bland dina mest effektiva vapen), är möjligheterna med Sonys eyetracking-teknik ändlös. Föreställ dig att spela en fotbollsmatch och istället för att på ett obekvämt sätt försöka passa till en viss spelare som springer i ett ovanligt mönster, tittar du bara på dem och trycker på passningsknappen. I fotboll, medan du kontrollerar quarterbacken, kan du helt enkelt titta på dina mottagare och slå pass till den du vill ha. I förstapersonsskjutare kan du teoretiskt sett sikta snabbare än tummen kunde röra sig.

Det finns också möjliga användningsområden för tekniken med Project Morpheus virtual reality-headset. Det är fortfarande bara teoretiskt just nu (såvitt vi vet), men vi föreställer oss att du kanske en dag kan sätta på dig VR headset och se dig omkring i den virtuella världen genom att röra på huvudet, men se dig också omkring som du naturligt skulle göra med din ögon.

Sony Eye Tracking Magic Labs

 Effekterna kan också gå utöver spel. Föreställ dig att titta på en 3D-sändning av en basketmatch med ett virtuell verklighetsheadset. Du kan se dig omkring i ett begränsat synfält, men när åtgärden inträffade skulle dina ögon beordra videon var du skulle fokusera. Om ett skott blockeras och en snabb paus börjar, är det mer naturligt att följa med ögonen än att piska huvudet runt för att se bollen rasa nerför banan.

Det finns dock vissa nackdelar. För det första kräver det en ny kamera separat från PlayStation 4:s kamera. Som sagt, enheten som visades var en ren prototyp, och det kan alltid finnas en chans att de hittar ett sätt att integrera befintliga kameror för att använda tekniken via mjukvaruuppdateringar. Men om den släpptes i morgon måste du köpa en ny kringutrustning.

En annan, mer betydande, nackdel är programvarans problem med att spåra ögon bakom glasögon. Det är tveksamt om det känner igen ögonens rörelse bakom linser eller inte, och människor som bär glasögon kommer att stöta på problem. Det kunde så småningom fixas. Men även om du är fri från glasögon måste du sitta nära kameran. För att spåra ögonens rörelser måste en kamera vara tillräckligt nära för att följa rörelserna, vilket potentiellt skapar ett besvärligt problem med positioneringen. Alternativet skulle vara en högupplöst kamera som kan zooma in tillräckligt för att se dina ögon på avstånd. Det är säkert möjligt, men det skulle förmodligen kosta mer än det skulle vara värt. Ändå är dessa lösbara problem.

Sonys eyetracking-teknik var visades för första gången i november 2013 som världen förberedde sig för ankomsten av PlayStation 4. Det lyftes fram som en del av titten på Magic Labs, företaget som också ansvarar för enheter som Move, Eye Toy Camera och senast DualShock 4. På den tiden var eyetracking lite mer än en gimmick – en snygg gimmick – men jämfört med lanseringen av det nya systemet var inte en teoretisk prototyp ett stort fokus. Nu när PlayStation 4 är på marknaden är dock spelets gränser redo att tänjas på av enheter som den här, Project Morpheus och andra som vi inte har övervägt ännu (men som vi troligen arbetar med i laboratorier runt värld).

Med Project Morpheus som kastar en lång skugga är eyetracking fortfarande bara ett sidospel, särskilt eftersom det inte finns några fasta planer för det för tillfället. Ge det dock tid. Detta kan bara vara en del av framtidens spel.