De toekomst van AR zijn oordopjes, geen brillen

Romit Roy Choudhury heeft grote oren. Maar niet erin Dat manier. Roy Choudhury, hoogleraar elektrotechniek en computerwetenschappen aan de Universiteit van Illinois in Urbana-Champaign, gelooft sterk in het paradigma-veranderende potentieel van wat hij noemt oorbaar (nee, niet draagbaar) computergebruik.

Dat betekent dat je gebruik moet maken van de enorme mogelijkheden voor hardware en software die draaien via die twee mooie luistergaten aan de zijkanten van je hoofd. En om te helpen bij het ontwikkelen van alles, van privacy- en beveiligingstoepassingen tot medische diagnoses tools gericht op de toekomst van augmented reality, stelt hij een topteam van experts samen om hem te helpen.

“Ik kan vrijwel iedereen in de informatica en elektrotechniek gebruiken”, vertelde hij aan Digital Trends. “Het scala aan problemen op mijn radar is enorm.”

Oortelefoons zijn al een enorme markt. Appels AirPods, zijn lijn draadloze oordopjes, verkocht alleen al in 2019 60 miljoen exemplaren. Vorig jaar was dit aantal naar verwachting stijgen tot 85 miljoen. Tegenwoordig maken veel bedrijven slimme oordopjes die actieve ruisonderdrukking, A.I. slimme assistenten en meer.

Enkele decennia vóór de AirPods, in de jaren tachtig, was er de Walkman, misschien wel de eerste moderne draagbare technologie, waarmee gebruikers hun muziek overal mee naartoe konden nemen. De Walkman gaf gebruikers niet alleen controle over waar ze naar luisterden (bijvoorbeeld The Smiths), maar ook, dankzij de plastic oordopjes die in hun oren zaten, waar ze niet naar luisterden (bijvoorbeeld hun ouders). Het stelde mensen in staat de soundtrack van hun leven te creëren en er controle over uit te oefenen, waardoor we allemaal onze eigen individuele bubbels van betekenis kregen. Terwijl de boombox erop gericht was anderen naar onze muziek te laten luisteren (of in sommige gevallen te dwingen), maakte de Walkman het luisteren tot een fundamenteel persoonlijke, geïsoleerde ervaring.

Maar Roy Choudhury en zijn team willen verder gaan dan dat. Ze proberen de oordopjes van vandaag te transformeren in een geheel nieuw computerplatform dat in sommige gevallen de noodzaak voor u om naar uw hand te reiken zou kunnen vervangen smartphone of computer. Als de Walkman iedereen zijn eigen persoonlijke geluidsbubbel zou geven waar ze van konden genieten terwijl ze over straat liepen, in dit tijdperk van slimmere technologie en personalisatie, diezelfde bubbels zouden kunnen worden benut in nieuwe, opwindende en – soms – enigszins vreemde vormen manieren.

Oordopjes voor gedachtenlezen?

“Het grootste deel van de markt voor draagbare computers heeft zich [tot nu toe] geconcentreerd op apparaten die op het onderlichaam worden gedragen, meestal in je zakken of om je polsen, misschien in je schoenen”, zegt Roy Choudhury. “Dat betekent dat je het onderste deel van het lichaam gaat voelen, zoals wat je doet met je handen, met je polsen, met je benen. Maar er wordt veel informatie gegenereerd op het bovenste deel van het lichaam, vooral op uw hoofd, zoals luisteren, spreken, eten, gezichtsemoties, mogelijke aanwijzingen voor medisch-gerelateerde informatie – dat zou kunnen onschatbaar. De heilige graal, de laatste grens hiervan, zou dat zelfs kunnen zijn het waarnemen van hersensignalen van dichtbij je hoofd.”

Het idee om niet alleen passief naar een in-ear-apparaat te kunnen luisteren, maar er ook mee te kunnen praten, ligt aan de basis van slimme assistenten als Siri. Maar spraak, zoals gebruikt in de hedendaagse A.I. assistenten, is met opzet oppervlakkig. Vergeleken met een foto (die meer zegt dan duizend woorden) is Siri op zijn best met snelle hoeveelheden informatie, zoals het vinden van de weersvoorspelling of het instellen van een timer in de keuken. Maar dat is ongeveer de limiet. Het idee van earable computing is om manieren te vinden om een ​​aantal van de andere dingen waarvoor we momenteel naar schermen moeten staren, te ontlasten en ze op (en in) onze oren te plaatsen.

“Bij alles wat je op het visuele scherm doet, richt je je volledige cognitieve aandacht”, zei hij. “Om te lezen – ook al is het een flauwe grap die je op een scherm leest – kun je je nergens anders op concentreren. Lezen neemt uw volledige cognitieve aandacht in beslag. Ik ben van mening dat er veel van dit soort dingen zijn die niet uw volledige cognitieve aandacht verdienen. We kunnen deze uit het visuele domein halen en naar het onaangeboorde en ongemonopoliseerde audiodomein duwen, waar het menselijk brein van nature heel goed is geëvolueerd om multiplex tussen dergelijke audio-informatie … Waarom neem je deze simpele dingen niet, en verplaats ze weg van je cognitieve, visueel-cognitieve kanaal naar het akoestische kanaal? bandbreedte?”

Een recent experiment uitgevoerd door het team omvatte een verkenning van de manieren waarop we op een betekenisvollere manier tekst kunnen consumeren hoorbaar formulier. Als u een artikel leest, ziet u mogelijk een trefwoord dat u interesseert en begint u op dat moment met lezen. Er is echter geen gemakkelijke manier om dit te doen wanneer u bijvoorbeeld naar een podcast luistert.

“Een van de dingen die we in ons laboratorium proberen te doen is [vragen]: kan ik het luisteren naar een artikel versnellen?” zei Roy Choudhury.

Ontlading tot in de oren

In de proof-of-concept-demonstratie van de groep laat de luisteraar meerdere alinea's van een artikel tegelijkertijd voorlezen. De truc om dit te laten werken is het gebruik van signaalverwerking om elke paragraaf te laten klinken alsof deze uit een andere richting komt – het lijkt een beetje op zitten in een restaurant en vier gesprekken voeren aan omliggende tafels, maar inbellen op één omdat de bewoners een persoon noemen die je weten. Om dit beter te laten werken, tikte het team op de inertiële meeteenheid (IMU) in de oordopjes, zodat de de gebruiker kan een bepaalde stem (een deel van de tekst) verheffen door zijn hoofd daarin lichtjes te draaien richting.

“Ik noem dit project ‘lezen in het akoestische domein’, waarbij ik kijk naar de richting van de stem van de derde alinea, en die stem wordt luider en de andere stemmen worden een beetje zwakker,” zei hij.

Het gaat ook niet alleen om spraak. Het team heeft ook ontdekt dat zowel de microfoon als de IMU in oortelefoons kunnen worden gebruikt om ongelooflijk subtiele trillingen in het gezicht op te vangen, zo klein als een persoon die met zijn tanden klappert of de gezichtsspieren fronsen of glimlachen. Nee, u zult uw smartphone waarschijnlijk niet laten vallen om met uw tanden berichten via morsecode uit te spreken. Maar het idee dat deze minieme gezichtsverdraaiingen, zoals het verschuiven van je rechtertanden, gebruikt zouden kunnen worden opdrachten uitvoeren – of zelfs fungeren als identiteitsbevestiging voor tweefactorauthenticatie – is dat zeker interessant.

Dit zou bovendien nuttig kunnen zijn voor het vastleggen van longitudinale gegevens voor zaken als medische diagnose. Angststoornissen kunnen bijvoorbeeld worden gediagnosticeerd op basis van bepaalde patronen die worden gedetecteerd in de beweging van de tanden. Roy Choudhury merkte ook op dat er onderzoekers werken aan problemen zoals het meten van de bloedstroom door de oren om de hartslag, glucosewaarden, spieractiviteit en meer te meten.

Wilt u een ander mogelijk gebruik? Wat dacht je van hoorbare augmented reality? Augmented reality is momenteel vooral bekend omdat het door de computer gegenereerde objecten over de echte wereld heen legt. Maar er is geen reden waarom augmentaties puur op het visuele spectrum zouden moeten plaatsvinden. Het team van Roy Choudhury is enthousiast over het vooruitzicht om signaalverwerkingstechnologie te gebruiken om bepaalde geluiden in je landschap in kaart te brengen, zodat het navigeren door een luchthaven, een museum of een andere openbare ruimte kan inhouden dat je naar een stem loopt die zegt ‘volg mij’, en die uit de richting lijkt te komen waar je heen moet in.

Iedereen is bekend met Siri, maar stel je eens voor hoeveel potentiële toepassingen er voor Siri zouden openstaan ​​als het maar een ruimtelijke dimensie had, zoals een buikspreker die in staat is haar stem te laten horen. Deze ruimtelijke uitbreiding zou ook grote virtuele vergaderingen kunnen helpen verbeteren, waarbij de stem van elke persoon wordt toegewezen aan een specifieke locatie, waardoor het gemakkelijker wordt om meteen te zien wie er aan het woord is.

Natuurlijk zullen deze niet allemaal plaatsvinden. Ze zijn de technische versie van een copywriter die ideeën voor een advertentie schetst. Velen van hen halen het misschien niet, maar een of twee voorbeelden kunnen zeer nuttig zijn.

De wet van Dormehl

Dit is nog een reden waarom Roy Choudhury zo enthousiast is over het potentieel van voortgezette earable computing – en de kansen op succes in de echte wereld. Maatschappelijke reacties dicteren veel meer over welke technologieën aanslaan dan technologen noodzakelijkerwijs zouden willen. Nieuwe technologieën zijn per definitie nieuw. Nieuw kan gelijk staan ​​aan raar. Om een ​​eigen formulering te gebruiken (laten we het de wet van Dormehl noemen, om het nageslacht te proberen): het out-of-the-gate nut van elke nieuwe technologie moet de inherente sukkeligheid van het gebruik ervan dubbel compenseren.

De personal computer, die mensen thuis gebruikten, kon het zich veroorloven de eerste paar jaar dat hij op de markt kwam weinig te gebruiken, omdat de sociale inzet van het gebruik ervan zo laag was. Een laptop, die in het openbaar wordt gebruikt, had een iets hogere inzet. Wearables, die vooral opvallen omdat ze op het lichaam worden gedragen, zijn zichtbaar vreemder dan de meeste technologieën. Een stukje technologie dat op het hoofd wordt geplakt en eruit ziet als een cybernetisch implantaat op een Borg-drone, moet worden briljant en onmiddellijk nuttig als de gebruiker het de schadelijke sociale impact van gezien worden waard vindt het dragen.

Dit is een probleem omdat er maar heel weinig technologieën volledig ontwikkeld zijn. In de meeste gevallen zijn de eerste paar generaties van een product gebaseerd op een gebrekkige belofte, voordat ergens rond de derde iteratie een aantrekkelijker aanbod opduikt. Als een goed zichtbaar product vanaf de eerste dag geen resultaten oplevert, kan de kans op succes op de lange termijn verijdeld worden, zelfs als het uiteindelijk een goed product wordt. Voor oudere techfans: denk eens aan het draagbare Apple Newton-apparaat en zijn vroege poging tot handschriftherkenning. Voor jongere fans zou de wet van Dormehl het falen van Google Glass kunnen verklaren, dat gepaard ging met een enorm maatschappelijk stigma en oordeel en werkte … zo goed als oké.

Oordopjes zijn, zoals Roy Choudhury opmerkte, anders. Welke strijd er ooit ook over hen heeft plaatsgevonden, is min of meer al gewonnen. “De maatschappij heeft al geaccepteerd dat mensen een koptelefoon dragen”, zei hij. “…In zekere zin zijn het alleen de algoritmen, de sensoren en de hardware die nu geüpgraded moeten worden. Het is slechts een technologisch knelpunt, en niet langer een maatschappelijk, psychologisch knelpunt.”

De belofte van wearables

Het feit dat oordopjes zijn geaccepteerd, verlaagt de inzet en betekent dat er niet langer een onmiddellijke binaire uitkomst hoeft te zijn. Zelfs als de hoogste doelen die Roy Choudhury beschreef lange tijd niet worden bereikt, zal de stapsgewijze verbetering bruikbaarheid toevoegen aan een beproefde vormfactor.

“Het hooghangende fruit [zijn dingen als] ‘vanuit mijn tandengebaren kan ik aanvallen detecteren’ of ‘van mijn gezichtsgebaren kan ik de stemming van de persoon begrijpen, zodat dit een Fitbit voor stemming wordt '', zegt hij gezegd. “Maar zelfs als dat mislukt, belemmert dat de productpijplijn niet. Maar als ze succesvol zijn, verandert het product gewoon in iets fantastisch.”

Het potentieel voor ‘earable computing’ is volgens Roy Choudhury vrijwel grenzeloos. ‘Ik denk dat de weg die voor ons ligt veel verder gaat dan alleen spraak’, zei hij. “Ik zou zeggen dat de toespraak de binnenste cirkel is, die de kern vormt [van deze technologie]. Buiten die interactie valt de akoestiek in het algemeen. En buitenakoestiek bestaat uit allerlei andere sensoren en mogelijkheden. Als je bedenkt hoe we dit platform gaan bouwen, zijn de laaghangende vruchten zichtbaar spraakgebaseerde interactie: ‘Stel een timer in’, ‘Hé Siri, wat is het weer vandaag?’ Maar het kan ver, ver gaan verder dan dat.”

Andere onderzoekers die samen met Roy Choudhury aan wearable computing werken, zijn onder meer Zhijian Yang, Yu-Lin Wei, Jay Prakash, En Ziyue Li.

Aanbevelingen van de redactie

• De iPhone-app van ChatGPT heeft nu Bing ingebouwd
• Apple heeft Siri niet tot een ChatGPT-moordenaar gemaakt op WWDC – en dat maakt me bang
• Vergeet ChatGPT: Siri en Google Assistant doen deze vier dingen beter
• Apple bouwt een AI-gezondheidscoach voor Apple Watch, melden claims
• Dit bizarre AI-apparaat kan in de toekomst uw smartphone vervangen