Fremtiden til AR er ørepropper, ikke briller

Romit Roy Choudhury er stor i ørene. Men ikke inne at vei. Roy Choudhury, professor i elektroteknikk og informatikk ved University of Illinois i Urbana-Champaign, er en sterk tro på det paradigmeskiftende potensialet til det han kaller ørebar (nei, ikke bærbar) databehandling.

Det betyr å koble til de enorme mulighetene for maskinvare og programvare som kjører ved hjelp av de to fancy lyttehullene på sidene av hodet. Og for å hjelpe til med å utvikle alt fra personvern- og sikkerhetsapplikasjoner til medisinsk diagnose verktøy fokusert på fremtiden til utvidet virkelighet, setter han sammen et team med eksperter for å hjelpe ham.

"Jeg kan bruke stort sett hvem som helst innen informatikk og elektroteknikk," sa han til Digital Trends. "Omfanget av problemer på radaren min er enormt."

Øretelefoner er allerede et stort marked. Apples AirPods, dens linje med trådløse ørepropper, solgte 60 millioner enheter i 2019 alene. I fjor var dette tallet beregnet til å stige til 85 millioner. I dag lager mange selskaper smarte ørepropper som tilbyr aktiv støydemping, A.I. smarte assistenter og mer.

Flere tiår før AirPods, tilbake på 1980-tallet, var det Walkman, kanskje den første moderne bærbare teknologien, som tillot brukere å ta musikken med seg uansett hvor de gikk. Walkman ga brukerne herredømme ikke bare over hva de lyttet til (f.eks. The Smiths), men også, på grunn av at plastikkøreproppene stoppet ørene, hva de ikke hørte på (for eksempel foreldrene deres). Det tillot folk å skape og utøve kontroll over lydsporet til livene sine, og ga oss alle våre egne individuelle bobler av mening. Mens boombox handlet om å la – eller, i noen tilfeller, tvinge – andre til å lytte til musikken vår, gjorde Walkman lytting til en grunnleggende personlig, isolert opplevelse.

Men Roy Choudhury og teamet hans ønsker å gå lenger enn det. De forsøker å forvandle dagens øreplugger til en helt ny dataplattform som i noen tilfeller kan erstatte behovet for at du skal nå smarttelefon eller datamaskin. Hvis Walkman ga alle sin egen personlige boble av lyd for å nyte mens de gikk nedover gaten, i denne tidsalderen med smartere teknologi og personalisering, de samme boblene kan utnyttes i nye, spennende og - noen ganger - litt rare måter.

Tankelesende ørepropper?

"Det meste av markedet for bærbar datamaskin har [så langt] fokusert på enheter som bæres på den nedre delen av kroppen, for det meste i lommene eller på håndleddene, kanskje i skoene dine," sa Roy Choudhury. "Det betyr at du får sanse den nedre delen av kroppen, for eksempel hva du gjør med hendene, med håndleddene, med bena. Men det er mye informasjon som genereres på den øvre delen av kroppen, hovedsakelig hodet ditt - som f.eks. lytte, snakke, spise, ansiktsfølelser, potensielt ledetråder for medisinsk-relatert informasjon – som kan være uvurderlig. Den hellige gral, den endelige grensen for dette, kan til og med være registrerer hjernesignaler fra nær hodet.»

Ideen om å kunne ikke bare passivt lytte til en in-ear-enhet, men også snakke med den, er grunnlaget bak smarte assistenter som Siri. Men tale, slik det brukes i dagens A.I. assistenter, er med vilje grunt. Sammenlignet med et bilde (verdt tusen ord), er Siri på sitt beste med raske mengde informasjon, som å finne værmeldingen eller stille inn en timer på kjøkkenet. Men det er omtrent grensen. Ideen med earable computing er å finne måter å avlaste noen av de andre tingene vi for øyeblikket må stirre på skjermene for og sette dem på (og inn i) ørene våre.

"Alt du gjør på den visuelle skjermen, legger du hele din kognitive oppmerksomhet inn på," sa han. "Å lese - selv om det er en dum vits du leser på en skjerm - kan du ikke fokusere på noe annet. Lesing tar opp hele din kognitive oppmerksomhet. Min tro er at det er mange slike ting som ikke fortjener din fulle kognitive oppmerksomhet. Vi kan trekke dem ut av det visuelle domenet, og skyve dem til det uutnyttede og umonopoliserte lyddomenet, hvor den menneskelige hjernen naturlig har utviklet seg veldig bra til å multipleks mellom slik lydinformasjon … Hvorfor ikke ta disse enkle tingene, og flytte dem bort fra din kognitive, visuelle kognitive kanal og inn i den akustiske båndbredde?"

Et nylig eksperiment utført av teamet innebar en utforskning av måtene vi mer meningsfullt kunne konsumere tekst på hørbar form. Hvis du leser en artikkel, kan det hende du ser et søkeord som interesserer deg, og begynner å lese på det tidspunktet. Det er imidlertid ingen enkel måte å gjøre dette på når du for eksempel hører på en podcast.

"En av tingene vi prøver å gjøre i laboratoriet vårt er [spør], kan jeg få fart på å lytte til en artikkel?" sa Roy Choudhury.

Avlastning til ørene

I gruppens proof-of-concept-demonstrasjon får lytteren flere avsnitt i en artikkel lest opp samtidig. Trikset for å få dette til å fungere er å bruke signalbehandling for å få hvert avsnitt til å høres ut som det kommer fra en annen retning – det er litt som å sitte på en restaurant og har fire samtaler ved omkringliggende bord, men ringer til ett fordi beboerne nevner en person som du vet. For å få dette til å fungere bedre, banket teamet på treghetsmålingsenheten (IMU) i øreproppene slik at brukeren kan heve en bestemt stemme (en del av teksten) ved å snu hodet litt i den retning.

"Jeg kaller dette prosjektet 'lesing i det akustiske domenet', der jeg ser på retningen til tredje avsnitts stemme, og den stemmen blir høyere og de andre stemmene på en måte dempes," sa han.

Det handler ikke bare om tale heller. Teamet har også funnet ut at både mikrofonen og IMU i øretelefoner kan brukes til å fange opp utrolig subtile vibrasjoner i ansiktet, så små som en person som klapper med tenner eller ansiktsmusklene som rynker eller smiler. Nei, du vil sannsynligvis ikke droppe smarttelefonen din for å skravle ut meldinger via morsekode med tennene dine. Men ideen om at disse små ansiktsforvridningene, som å skyve tennene på høyre side, kan brukes til utføre kommandoer - eller til og med fungere som identitetsbekreftelse for tofaktorautentisering - er det absolutt interessant.

Dette kan i tillegg være nyttig for å fange longitudinelle data for ting som medisinsk diagnose. Angstlidelser, for eksempel, kan diagnostiseres fra visse mønstre oppdaget i tannbevegelse. Roy Choudhury bemerket også at det er forskere som jobber med problemer som å måle blodstrømmen gjennom ørene for å måle hjertefrekvens, glukosenivåer, muskelaktivitet og mer.

Ønsker du en annen mulig bruk? Hva med hørbar utvidet virkelighet? Augmented reality er for tiden mest kjent for å legge datagenererte objekter på toppen av den virkelige verden. Men det er ingen grunn til at utvidelser skal skje utelukkende på det visuelle spekteret. Roy Choudhurys team er begeistret over utsiktene til å bruke signalbehandlingsteknologi for å kartlegge visse lyder på landskapet ditt, slik at du kan navigere deg gjennom en flyplass, museum eller andre offentlige rom kan innebære å gå mot en stemme som sier «følg meg», som ser ut til å komme fra den retningen du trenger å gå i.

Alle er kjent med Siri, men forestill deg hvor mange potensielle bruksområder som kan åpnes opp for Siri hvis bare den hadde en romlig dimensjon, som en buktaler som er i stand til å kaste stemmen sin. Denne romlige utvidelsen kan også bidra til å forbedre store virtuelle møter, med hver persons stemme kartlagt til et bestemt sted, noe som gjør det enklere å umiddelbart fortelle hvem som snakker.

Ikke alle disse vil skje, selvfølgelig. De er den tekniske versjonen av en tekstforfatter som skriver ideer til en annonse. Mange av dem klarer kanskje ikke snittet, men ett eller to eksempler kan være svært nyttige.

Dormehls lov

Dette er en annen grunn til at Roy Choudhury er så begeistret for potensialet til fortsatt ørebar databehandling - og mulighetene for suksess i den virkelige verden. Samfunnsreaksjoner dikterer langt mer om hvilke teknologier som fanger opp enn teknologer nødvendigvis ønsker. Nye teknologier er per definisjon nye. Nytt kan tilsvare rart. For å bruke min egen formulering (la oss kalle det Dormehls lov, for et stikk i ettertiden), må nytteverdien til enhver ny teknologi dobbelt oppveie den iboende kjipen ved å bruke den.

Den personlige datamaskinen, som folk brukte i hjemmene sine, hadde råd til å gjøre lite bruk de første årene på markedet fordi den sosiale innsatsen ved å bruke den var så lav. En bærbar PC, som brukes offentlig, hadde litt høyere innsats. Wearables, som er spesielt fremtredende på grunn av at de bæres på kroppen, er mer synlig rare enn de fleste teknologiske. Et stykke teknologi som kommer til å sitte fast på hodet, som ser ut som et kybernetisk implantat på en Borg-drone, må være strålende og umiddelbart nyttig hvis brukeren skal vurdere det som verdt den skadelige sosiale effekten av å bli sett bærer den.

Dette er et problem fordi svært få teknologier dukker opp ferdig utformet. I de fleste tilfeller er de første generasjonene av et produkt bygget på mangelfulle løfter, før et mer overbevisende tilbud dukker opp et sted rundt den tredje iterasjonen. Hvis et svært synlig produkt ikke klarer å levere fra dag én, kan sjansene for suksess på lang sikt bli svekket, selv om det til slutt blir til et godt produkt. For eldre teknologifans, vurder den bærbare Apple Newton-enheten, og dens tidlige stikk i håndskriftgjenkjenning. For yngre fans kan Dormehls lov forklare feilen til Google Glass, som kom med enormt samfunnsstigma og dømmekraft og fungerte... omtrent OK.

Øreplugger, som Roy Choudhury bemerket, er forskjellige. Uansett hvilke kamper som en gang kan ha eksistert om dem, er mer eller mindre allerede vunnet. "Samfunnet har allerede akseptert folk som bruker øretelefoner," sa han. "... På en eller annen måte er det bare algoritmene og sensorene og maskinvaren som nå må oppgraderes. Det er bare en teknologisk flaskehals, og ikke lenger en samfunnsmessig, psykologisk flaskehals.»

Løftet om wearables

Det faktum at øreplugger har blitt akseptert reduserer innsatsen, og betyr at det ikke lenger trenger å være et umiddelbart binært utfall. Selv om de høyeste målene Roy Choudhury beskrev ikke blir oppnådd på lenge, vil den trinnvise forbedringen gi nytte til en velprøvd formfaktor.

«Den høythengende frukten [er ting som] «fra tennene mine, jeg kan oppdage anfall» eller «fra min ansiktsbevegelser, jeg kan forstå stemningen til personen slik at dette blir som en Fitbit for humør,» sa. "Men selv om det mislykkes, hindrer det ikke produktpipelinen. Men hvis de lykkes, forvandlet det bare produktet til noe fantastisk."

Potensialet for earable computing, mener Roy Choudhury, er nesten ubegrenset. "Jeg tror veien videre går langt utover tale," sa han. "Jeg vil si at talen er den innerste sirkelen, som er kjernen [av denne teknologien]. Utenfor det samspillet er akustikk generelt. Og utvendig akustikk er alle slags andre sensorer og muligheter. Hvis du tenker på hvordan vi skal begynne å bygge denne plattformen, er de lavthengende fruktene det talebasert interaksjon: «Still en tidtaker», «Hei Siri, hva er været i dag?» Men det kan gå langt, langt utover det."

Andre forskere som jobber med bærbar databehandling med Roy Choudhury inkluderer Zhijian Yang, Yu-Lin Wei, Jay Prakash, og Ziyue Li.

Redaktørenes anbefalinger

• ChatGPTs iPhone-app har nå Bing innebygd
• Apple gjorde ikke Siri til en ChatGPT-morder på WWDC – og det skremmer meg
• Glem ChatGPT – Siri og Google Assistant gjør disse 4 tingene bedre
• Apple bygger en AI-helsecoach for Apple Watch, hevder rapporten
• Denne bisarre AI-enheten kan erstatte smarttelefonen din i fremtiden