Facebook lager AR-briller som forsterker hørselen

Vanligvis vil nyheten om at et forskningslaboratorium blir omgjort til en bar tyde på at det har mislyktes og at forskerne kaster inn håndkleet. Men når det gjelder Facebook Reality Labs Research, et laboratorium dedikert (delvis) til å komme opp med kreative nye måter å forbedre hørselen for medlemmer av døve eller hørselshemmede på, viste det at arbeidet lønnet seg av.

Facebooks uttalte oppgave er å hjelpe folk med å koble seg til og kommunisere med hverandre. Dette er grunnen til at selv om det kan virke off-mission å takle dette prosjektet, passer det faktisk perfekt inn i selskapets kjernekompetanse.

Problemet Facebook har prøvd å takle er hvordan man kan forbedre lydhenting for enkeltpersoner i støyende omgivelser. Selv om mange mennesker med hørselstap, avhengig av alvorlighetsgraden, finner det mulig å høre og samhandle en-til-en situasjoner på rolige steder, støyende omgivelser som barer eller travle sosiale omgivelser kan være mye tøffere. Med det i tankene har Facebook utforsket hvordan den kan kombinere stråleformingsteknologi, dypt læring, støydemping og - kanskje mest overraskende - augmented reality (AR) for å forbedre dette situasjon.

I et nylig prosjekt har Facebook-forskere undersøkt hvordan augmented reality-briller kan bidra til å bestemme hvilke lyder folk ønsker å forsterke ved å se på, vel, hvor de ser. Ved å matche en persons fokus, i forhold til hva de ser på, til lydinnganger, kan AR-briller finne ut hvilke lyder en person ønsker å høre og hvilke de ikke gjør - og ring deretter opp eller ned lydkanalene tilsvarende. Som en del av sine eksperimenter på dette området, Facebook gjorde arbeidsområdet der mye av denne undersøkelsen utføres til en falsk bar for å utforske hvordan den ville fungere på et sted med flere støyende lydinnganger.

"Mange mennesker med hørselstap bruker ikke høreapparater - delvis - fordi de ikke fungerer bra i hverdagen situasjoner som en bråkete restaurant, en samtale som involverer flere personer på en høylytt fest, eller i en flytting bil," Thomas Lunner, forskningsleder for Facebooks Hearing Science-laboratorium, fortalte Digital Trends. «Da vi utførte vår forbedrede hørselsundersøkelse for AR-briller, innså vi at noen av oppdagelsene vi gjorde kunne være relevante for å løse dette problemet. I [vår nye forskning] viser vi hvordan utvidet virkelighet kan supplere høreapparatet, gjennom et system som forstår hva du vil høre på, isolerer og forbedrer lydene du vil høre, og reduserer distraherende bakgrunnsstøy. Ved å sende det forbedrede AR-behandlede signalet til høreapparatet, får du også et system som justerer for din unike hørselsevne.»

Spiller til Facebook Researchs styrker

Lunner er ingen nybegynner når det kommer til dette forskningsområdet. Han er en anerkjent hørselsforsker hvis arbeid la grunnlaget for det som ble verdens første digitale høreapparat i 1995. Denne forskningen, mens den fortsatt er i tidlige stadier, benytter seg av en rekke forskningsområder for Facebook, for eksempel bildegjenkjenning, naturlig språkbehandling og mye mer.

«Hørselsvitenskap er et område vi akkurat har begynt å utforske, så denne teknologien er ikke tilgjengelig på noen av produktene våre, men vi er veldig spente på mulighetene med AR-briller,» Lunner fortsatte. "Vi tror de en dag kan hjelpe til med å levere alle slags forbedringer, inkludert å hjelpe alle som har hørselstap eller bare har problemer med å forstå folk på en fest."

Michael Abrash, sjefforsker ved Facebook Reality Labs, fortalte Digital Trends at han tror at både utvidet og virtuell virkelighet kan ha dype implikasjoner (og applikasjoner) i tilgjengelighetsområdet.

"AR og VR har et enormt potensial til å være til nytte for alle, men de har spesielt høyt potensiale for mennesker med varierende fysiske evner," sa Abrash. "For eksempel kan AR-briller en dag være i stand til å øke kontrasten for å hjelpe mennesker med dårlig syn se bedre, og kan være i stand til å gi visuell tilbakemelding om omgivelseslyder og tale til hørselen hemmet. Som et annet eksempel tror vi at VR – og til slutt AR – en dag vil være i stand til å skape ultrarealistiske virtuelle rom og avatarer som vil gjøre det mulig for de med mobilitetsutfordringer å teleportere til kontoret eller til bestemorens bolig rom."

Facebook er selvfølgelig mest kjent for sitt sosiale nettverk. Men akkurat som Googles morselskap Alphabet, som utforsker selvkjørende biler, kartsystemer og droneleveranser ved siden av søk, Facebook er interessert i langt mer enn bare nyhetsfeeds og tidslinjer. Tidligere har det vist betydelig interesse for både VR og AR — med alt fra anskaffelsen av Oculus til opprettelsen av Spark AR Studio. Facebook har ennå ikke vist sin hånd når det kommer til mye av denne teknologien. Likevel, hvis dette arbeidet er noe å gå etter, virker det som Facebook kan bruke sin betydelige kraft for godt når det kommer til fremtiden for å koble mennesker.

En artikkel som beskriver arbeidet, med tittelen "Potensial of Augmented Reality Platforms to Improve Individual Hearing Aids and to Support More Ecoological Valid Research," var nylig publisert i tidsskriftet Ear & Hearing.

Redaktørenes anbefalinger

• Apple VR-headset på gang, AR-briller kommer senere
• Facebook bekrefter på nytt at det fungerer med AR-briller, bare uker etter at lekkasjen sa at det var det