Facebook gör AR-glasögon som förstärker hörseln

Vanligtvis skulle nyheten att ett forskningslabb förvandlas till en bar tyda på att det har misslyckats och att dess forskare kastar in handduken. Men i fallet med Facebook Reality Labs Research, ett labb dedikerat (delvis) till att komma med kreativa nya sätt att förbättra hörseln för medlemmar av döva eller hörselskadade, visade det att dess arbete var lönsamt av.

Facebooks uttalade uppdrag är att hjälpa människor att ansluta och kommunicera med varandra. Det är därför, även om det kan verka off-mission att ta itu med det här projektet, passar det faktiskt perfekt in i företagets kärnkompetenser.

Problemet Facebook har försökt ta itu med är hur man kan förbättra ljudupptagningen för individer i bullriga miljöer. Även om många personer med hörselnedsättning, beroende på dess svårighetsgrad, tycker att det är möjligt att höra och interagera en-mot-en situationer i tysta platser, bullriga miljöer som barer eller hektiska sociala miljöer kan vara en hel del tuffare. Med det i åtanke har Facebook undersökt hur det kan kombinera strålformningsteknik, djupt inlärning, brusreducering och – kanske mest överraskande – augmented reality (AR) för att förbättra detta situation.

I ett nyligen genomfört projekt har Facebook-forskare undersökt hur augmented reality-glasögon kan hjälpa till att bestämma vilka ljud människor vill förstärka genom att titta på, ja, var de tittar. Genom att matcha en persons fokus, i termer av vad de tittar på, till ljudingångar, kan AR-glasögon ta reda på vilka ljud en person vill höra och vilka de inte gör — och slå sedan upp eller ner ljudkanalerna följaktligen. Som en del av sina experiment på detta område, Facebook gjorde arbetsytan där mycket av denna undersökning utförs till en falsk bar för att utforska hur den skulle fungera på en plats med flera bullriga ljudingångar.

"Många personer med hörselnedsättning använder inte hörapparater - delvis - för att de inte fungerar bra i vardagen situationer som en bullrig restaurang, en konversation som involverar flera personer på en högljudd fest eller i en flytt bil," Thomas Lunner, forskningsledare för Facebooks Hearing Science-labb, berättade för Digital Trends. "När vi genomförde vår förbättrade hörselforskning för AR-glasögon insåg vi att några av upptäckterna vi gjorde kunde vara relevanta för att lösa det här problemet. I [vår nya forskning] visar vi hur augmented reality skulle kunna komplettera hörapparaten, genom ett system som förstår vad du vill lyssna på, isolerar och förstärker de ljud du vill höra och minskar distraherande bakgrundsbrus. Genom att sedan skicka den förbättrade AR-behandlade signalen till hörapparaten får du också ett system som anpassar sig efter din unika hörselförmåga.”

Spelar efter Facebook Researchs styrkor

Lunner är ingen novis när det kommer till detta forskningsområde. Han är en känd hörselforskare vars arbete lade grunden till det som blev världens första digitala hörapparat 1995. Denna forskning, även om den fortfarande är i tidiga skeden, utnyttjar ett antal forskningsområden för Facebook, som bildigenkänning, naturlig språkbehandling och mycket mer.

"Hörselvetenskap är ett område vi precis har börjat utforska, så den här tekniken är inte tillgänglig på någon av våra produkter, men vi är väldigt glada över möjligheterna med AR-glasögon, säger Lunner fortsatt. "Vi tror att de en dag kan hjälpa till att leverera alla möjliga förbättringar, inklusive att hjälpa alla som har nedsatt hörsel eller bara har svårt att förstå människor på en fest."

Michael Abrash, chefsforskare vid Facebook Reality Labs, berättade för Digital Trends att han tror att både förstärkt och virtuell verklighet kan ha djupgående implikationer (och tillämpningar) i tillgänglighetsområdet.

"AR och VR har en enorm potential att gynna alla, men de har särskilt hög potential för människor med olika fysiska förmågor," sa Abrash. "Till exempel kan AR-glasögon en dag kunna förbättra kontrasten för att hjälpa människor med dålig syn ser bättre och kan ge visuell feedback om omgivande ljud och tal till hörseln nedsatt. Som ett annat exempel tror vi att VR – och så småningom AR – en dag kommer att kunna skapa ultrarealistiska virtuella utrymmen och avatarer som gör det möjligt för personer med rörelsehinder att teleportera till kontoret eller till sin mormors bostad rum."

Facebook är förstås mest känt för sitt sociala nätverk. Men precis som Googles moderbolag Alphabet, som utforskar självkörande bilar, kartsystem och drönarleveranser vid sidan av sökning, Facebook är intresserad av mycket mer än bara nyhetsflöden och tidslinjer. Tidigare har det visat ett stort intresse för både VR och AR — med allt från förvärvet av Oculus till skapandet av Spark AR Studio. Facebook har fortfarande inte visat sin hand när det kommer till mycket av denna teknik. Ändå, om det här arbetet är något att gå efter, verkar det som Facebook skulle kunna använda sin betydande kraft för gott när det kommer till framtiden för att koppla samman människor.

En artikel som beskriver arbetet, med titeln "Potential av Augmented Reality-plattformar för att förbättra individuella hörapparater och för att stödja mer ekologiskt giltig forskning", var nyligen publicerad i tidskriften Ear & Hearing.

Redaktörens rekommendationer

• Apple VR-headset på gång, AR-glasögon kommer senare
• Facebook bekräftar på nytt att det fungerar med AR-glasögon, bara veckor efter att läckan sa att det var det