Facebook maakt AR-bril die het gehoor verbetert

Normaal gesproken zou het nieuws dat een onderzoekslaboratorium in een bar wordt veranderd, erop wijzen dat het mislukt is en dat de onderzoekers de handdoek in de ring gooien. Maar in het geval van Facebook Reality Labs Research, een laboratorium dat zich (gedeeltelijk) bezighoudt met het bedenken van creatief nieuws manieren om het gehoor van doven en slechthorenden te verbeteren, toonde aan dat zijn werk lonend was uit.

De missie van Facebook is om mensen te helpen verbinding te maken en met elkaar te communiceren. Dit is de reden waarom het misschien buiten de missie lijkt om dit project aan te pakken, maar het past eigenlijk perfect binnen de kerncompetenties van het bedrijf.

Het probleem Facebook heeft geprobeerd aan te pakken is hoe de audio-opname voor personen in luidruchtige omgevingen kan worden verbeterd. Hoewel veel mensen met gehoorverlies, afhankelijk van de ernst ervan, het mogelijk vinden om te horen en ermee te communiceren één-op-één-situaties op rustige locaties, luidruchtige omgevingen zoals bars of drukke sociale omgevingen kunnen heel wat zijn harder. Met dat in gedachten heeft Facebook onderzocht hoe het beamforming-technologie diepgaand kan combineren leren, ruisonderdrukking en – misschien wel het meest verrassend – augmented reality (AR) om dit te verbeteren situatie.

In een recent project hebben Facebook-wetenschappers onderzocht hoe augmented reality-brillen kunnen helpen bepalen welke geluiden mensen willen versterken door te kijken naar waar ze kijken. Door de focus van een persoon, in termen van waar hij of zij naar kijkt, af te stemmen op de audio-invoer, kan een AR-bril erachter komen welke geluiden iemand wil horen en welke niet – en kies vervolgens de geluidskanalen omhoog of omlaag overeenkomstig. Als onderdeel van zijn experimenten op dit gebied, Facebook veranderde de werkruimte waar een groot deel van dit onderzoek wordt uitgevoerd in een nepbar om te onderzoeken hoe deze zou werken op een plek met meerdere luidruchtige geluidsinputs.

“Veel mensen met gehoorverlies gebruiken geen hoortoestellen – gedeeltelijk – omdat ze niet goed werken in het dagelijks leven situaties zoals een luidruchtig restaurant, een gesprek waarbij meerdere mensen betrokken zijn op een luid feest of in een verhuizing auto," Thomas Lunner, onderzoeksleider voor het Hearing Science-lab van Facebook, aan Digital Trends. “Tijdens het uitvoeren van ons verbeterde gehooronderzoek naar AR-brillen realiseerden we ons dat sommige van de ontdekkingen die we deden relevant konden zijn voor het oplossen van dit probleem. In [ons nieuwe onderzoek] laten we zien hoe augmented reality het hoortoestel zou kunnen aanvullen, via een systeem dat begrijpt waar u naar wilt luisteren, isoleert en versterkt de geluiden die u wilt horen en vermindert afleiding achtergrondgeluid. Door vervolgens het verbeterde AR-verwerkte signaal naar het hoortoestel te sturen, krijg je ook een systeem dat zich aanpast aan jouw unieke gehoorvermogen.”

Inspelen op de sterke punten van Facebook Research

Lunner is geen beginneling als het gaat om dit onderzoeksgebied. Hij is een gerenommeerd gehoorwetenschapper wiens werk de basis legde voor wat in 1995 het eerste digitale hoortoestel ter wereld werd. Dit onderzoek bevindt zich nog in een vroeg stadium en maakt gebruik van een aantal onderzoeksgebieden voor Facebook, zoals beeldherkenning, natuurlijke taalverwerking en nog veel meer.

“Gehoorwetenschappen is een gebied dat we nog maar net beginnen te verkennen, dus deze technologie is nog niet beschikbaar al onze producten, maar we zijn erg enthousiast over de mogelijkheden met een AR-bril”, aldus Lunner voortgezet. “We denken dat ze op een dag kunnen helpen om allerlei verbeteringen door te voeren, waaronder het helpen van iedereen die gehoorverlies heeft of gewoon moeite heeft om mensen op een feestje te verstaan.”

Michaël Abras, hoofdwetenschapper bij Facebook Reality Labs, vertelde Digital Trends dat hij gelooft dat zowel augmented als virtual reality diepgaande implicaties (en toepassingen) kunnen hebben op het gebied van toegankelijkheid.

“AR en VR hebben een enorm potentieel waar iedereen profijt van heeft, maar ze hebben vooral een groot potentieel voor mensen met verschillende fysieke capaciteiten”, aldus Abrash. “Een AR-bril kan bijvoorbeeld op een dag het contrast kunnen verbeteren om mensen met slecht zicht te helpen ziet beter en kan mogelijk visuele feedback geven over omgevingsgeluiden en spraak aan het gehoor verzwakt. Nog een voorbeeld: wij geloven dat VR – en uiteindelijk AR – op een dag ultrarealistische virtuele ruimtes zal kunnen creëren en avatars waarmee mensen met mobiliteitsproblemen naar het kantoor of naar de woonkamer van hun grootmoeder kunnen teleporteren kamer."

Facebook is natuurlijk vooral bekend om zijn sociale netwerk. Maar net als Google-moederbedrijf Alphabet, dat zich bezighoudt met zelfrijdende auto's, kaartsystemen en drone-leveringen naast zoeken, Facebook is geïnteresseerd in veel meer dan alleen nieuwsfeeds en tijdlijnen. In het verleden heeft het aanzienlijke interesse getoond in zowel VR als AR – met alles vanaf de overname ervan Oculus tot de oprichting van de Spark AR-studio. Facebook moet nog steeds zijn hand laten zien als het gaat om veel van deze technologie. Toch lijkt het erop dat dit werk iets is waar we op kunnen vertrouwen Facebook zou zijn aanzienlijke kracht ten goede kunnen gebruiken als het gaat om de toekomst van het verbinden van mensen.

Een paper waarin het werk werd beschreven, getiteld ‘Potential of Augmented Reality Platforms to Improvement Individual Hearing Aids and to Support More Ecologically Valid Research’, werd gepubliceerd onlangs gepubliceerd in het tijdschrift Ear & Hearing.

Aanbevelingen van de redactie

• Apple VR-headset in de maak, AR-bril komt later
• Facebook bevestigt opnieuw dat het aan een AR-bril werkt, slechts enkele weken nadat het lek zei dat dit het geval was