Fremtiden for AR er øretelefoner, ikke briller

Romit Roy Choudhury er stor i ørene. Men ikke i at vej. Roy Choudhury, professor i elektroteknik og datalogi ved University of Illinois i Urbana-Champaign, er en stærk tilhænger af det paradigmeskiftende potentiale i det, han betegner ørebar (nej, ikke bærbar) databehandling.

Det betyder, at du tilslutter dig de enorme muligheder for hardware og software, der kører ved hjælp af de to smarte lyttehuller på siderne af dit hoved. Og for at hjælpe med at udvikle alt fra privatlivs- og sikkerhedsapplikationer til medicinsk diagnose værktøjer, der fokuserer på fremtiden for augmented reality, samler han et crack-team af eksperter til at hjælpe ham.

"Jeg kan bruge stort set alle inden for datalogi og elektroteknik," sagde han til Digital Trends. "Omfanget af problemer på min radar er enormt."

Høretelefoner er allerede et stort marked. Apples AirPods, dets linje af trådløse øretelefoner, solgte 60 millioner enheder alene i 2019. Sidste år var dette tal estimeret til at stige til 85 mio. I dag laver mange virksomheder smarte øretelefoner, der tilbyder aktiv støjreduktion, A.I. smarte assistenter og meget mere.

Adskillige årtier før AirPods, tilbage i 1980'erne, var der Walkman, måske den første moderne bærbare teknologi, som gjorde det muligt for brugere at tage deres musik med sig, uanset hvor de gik. Walkman gav brugerne herredømme ikke kun over, hvad de lyttede til (f.eks. The Smiths), men også, fordi dets plastikørepropper tilstoppede deres ører, hvad de ikke lyttede til (f.eks. deres forældre). Det gjorde det muligt for folk at skabe og udøve kontrol over soundtracket til deres liv, hvilket gav os alle vores egne individuelle bobler af mening. Mens boomboxen handlede om at lade - eller i nogle tilfælde tvinge - andre til at lytte til vores musik, gjorde Walkman lytning til en grundlæggende personlig, isoleret oplevelse.

Men Roy Choudhury og hans team ønsker at gå længere end det. De søger at forvandle nutidens øretelefoner til en helt ny computerplatform, der i nogle tilfælde kan erstatte behovet for, at du skal nå din smartphone eller computer. Hvis Walkman udsendte alle deres egen personlige boble af lyd at nyde, mens de gik ned ad gaden, i denne tidsalder med smartere teknologi og personalisering, de samme bobler kunne udnyttes i nye, spændende og - nogle gange - lidt mærkelige måder.

Tankelæsende øretelefoner?

"Det meste af markedet for bærbar computer har [indtil videre] fokuseret på enheder, der bæres på den nederste del af kroppen, for det meste i dine lommer eller på dine håndled, måske i dine sko," sagde Roy Choudhury. "Det betyder, at du kommer til at fornemme den nederste del af kroppen, såsom hvad du laver med dine hænder, med dine håndled, med dine ben. Men der er en masse information, der bliver genereret på den øverste del af kroppen, primært dit hoved - som f.eks. lytte, tale, spise, ansigtsfølelser, potentielt ledetråde til medicinsk-relateret information - det kunne være uvurderlig. Den hellige gral, den endelige grænse for dette, kan endda være sansning af hjernesignaler fra tæt på dit hoved."

Ideen om ikke bare at kunne lytte passivt til en in-ear-enhed, men også tale med den, er grundlaget bag smarte assistenter som Siri. Men tale, som brugt i dagens A.I. assistenter, er bevidst overfladisk. Sammenlignet med et billede (værd tusind ord) er Siri bedst med hurtige sprængninger af information, som at finde vejrudsigten eller indstille en timer i køkkenet. Men det er cirka grænsen. Ideen med earable computing er at finde måder at aflaste nogle af de andre ting, vi i øjeblikket skal stirre på skærme efter, og sætte dem på (og ind i) vores ører.

"Alt, hvad du laver på den visuelle skærm, lægger du hele din kognitive opmærksomhed ind på," sagde han. "At læse - selvom det er en fjollet joke, du læser på en skærm - kan du ikke fokusere på noget andet. Læsning optager din fulde kognitive opmærksomhed. Min overbevisning er, at der er mange sådanne ting, der ikke fortjener din fulde kognitive opmærksomhed. Vi kan trække dem ud af det visuelle domæne og skubbe dem til det uudnyttede og umonopoliserede lyddomæne, hvor den menneskelige hjerne naturligt har udviklet sig meget godt til at multiplex mellem sådanne lydinformationer... Hvorfor ikke tage disse simple ting og flytte dem væk fra din kognitive, visuelle kognitive kanal og ind i den akustiske båndbredde?”

Et nyligt eksperiment udført af holdet involverede en udforskning af de måder, vi mere meningsfuldt kunne forbruge tekst på hørbar form. Hvis du læser en artikel, kan du muligvis se et søgeord, der interesserer dig, og begynde at læse på det tidspunkt. Der er dog ingen nem måde at gøre dette på, når du for eksempel lytter til en podcast.

"En af de ting, vi forsøger at gøre i vores laboratorium, er [spørg], kan jeg fremskynde at lytte til en artikel?" sagde Roy Choudhury.

Aflastning til ørerne

I gruppens proof-of-concept-demonstration får lytteren flere afsnit i en artikel læst for dem samtidigt. Tricket til at få dette til at fungere er at bruge signalbehandling til at få hvert afsnit til at lyde som om det kommer fra en anden retning - det er lidt ligesom at sidde på en restaurant og har fire samtaler ved de omkringliggende borde, men ringer til én, fordi beboerne nævner en person, som du ved godt. For at få dette til at fungere bedre, bankede teamet på inertimåleenheden (IMU) i øretelefonerne, så brugeren kan hæve en bestemt stemme (en del af teksten) ved at dreje hovedet lidt i den retning.

"Jeg kalder dette projekt for 'læsning i det akustiske domæne', hvor jeg ser på retningen af ​​tredje afsnits stemme, og den stemme bliver højere, og de andre stemmer dæmpes lidt," sagde han.

Det hele handler heller ikke om tale. Holdet har også fundet ud af, at både mikrofonen og IMU i øretelefoner kan bruges til at opfange utroligt subtile vibrationer i ansigtet, så små som en person, der klaprer med tænder eller ansigtsmusklerne, der rynker panden eller smiler. Nej, du vil sandsynligvis ikke droppe din smartphone for at chatte beskeder via morsekode med dine tænder. Men tanken om, at disse små ansigtsforvridninger, såsom at glide dine højre tænder, kunne bruges til udføre kommandoer - eller endda fungere som identitetsbekræftelse for to-faktor autentificering - er bestemt interessant.

Dette kan desuden være nyttigt til at indfange longitudinelle data for ting som medicinsk diagnose. Angstlidelser, for eksempel, kan diagnosticeres ud fra visse mønstre, der detekteres i tændernes bevægelse. Roy Choudhury bemærkede også, at der er forskere, der arbejder på problemer som at måle blodgennemstrømningen gennem ørerne for at måle hjertefrekvens, glukoseniveauer, muskelaktivitet og mere.

Ønsker du en anden mulig anvendelse? Hvad med hørbar augmented reality? Augmented reality er i øjeblikket bedst kendt for at overlejre computergenererede objekter oven på den virkelige verden. Men der er ingen grund til, at forstærkninger skal finde sted udelukkende på det visuelle spektrum. Roy Choudhurys team er begejstrede over udsigten til at bruge signalbehandlingsteknologi til at kortlægge bestemte lyde på dit landskab, så du kan navigere dig vej gennem en lufthavn, et museum eller ethvert andet offentligt rum kunne involvere at gå hen imod en stemme, der siger "følg mig", som ser ud til at komme fra den retning, du skal lede i.

Alle kender Siri, men forestil dig, hvor mange potentielle anvendelser der kunne åbnes op for Siri, hvis bare det havde en rumlig dimension, som en bugtaler, der er i stand til at kaste sin stemme. Denne rumlige forstærkning kan også hjælpe med at forbedre store virtuelle møder, hvor hver persons stemme er kortlagt til et bestemt sted, hvilket gør det nemmere med det samme at fortælle, hvem der taler.

Ikke alle disse vil selvfølgelig komme til at ske. De er den tekniske version af en tekstforfatter, der tegner ideer til en annonce. Mange af dem klarer måske ikke snittet, men et eller to eksempler kunne være yderst nyttige.

Dormehls lov

Dette er endnu en grund til, at Roy Choudhury er så begejstret for potentialet ved fortsat ørebar computing - og dets chancer for succes i den virkelige verden. Samfundsreaktioner dikterer langt mere om, hvilke teknologier der fanger, end teknologer nødvendigvis ønsker. Nye teknologier er per definition nye. Nyt kan svare til underligt. For at bruge min egen formulering (lad os kalde det Dormehls lov, for et stik i eftertiden), må enhver ny teknologis ude-af-porten nytteværdi dobbelt opveje den iboende kedsomhed ved at bruge den.

Den personlige computer, som folk brugte i deres hjem, havde råd til at bruge lidt i de første mange år på markedet, fordi den sociale indsats ved at bruge den var så lav. En bærbar computer, som bruges offentligt, havde lidt højere indsatser. Wearables, som er særligt fremtrædende på grund af at blive båret på kroppen, er mere synligt mærkelige end de fleste teknologier. Et stykke teknologi, der kommer til at sidde fast på hovedet og ligne et cybernetisk implantat på en Borg-drone, skal genialt og umiddelbart nyttigt, hvis brugeren vil anse det for værd at være den skadelige sociale virkning ved at blive set bærer det.

Dette er et problem, fordi meget få teknologier opstår fuldt udformet. I de fleste tilfælde er de første par generationer af et produkt bygget på mangelfulde løfter, før et mere overbevisende tilbud dukker op et sted omkring den tredje iteration. Hvis et meget synligt produkt ikke leverer fra dag ét, kan dets chancer for succes på lang sigt forpurres, selvom det i sidste ende bliver til et godt produkt. For ældre teknologifans kan du overveje den bærbare Apple Newton-enhed og dens tidlige håndskriftsgenkendelse. For yngre fans kan Dormehls lov måske forklare fejlen i Google Glass, som kom med enorm samfundsmæssig stigmatisering og dømmekraft og virkede... næsten OK.

Øretelefoner, som Roy Choudhury bemærkede, er forskellige. Uanset hvilke kampe der engang måtte have eksisteret om dem, er mere eller mindre allerede vundet. "Samfundet har allerede accepteret folk, der bærer høretelefoner," sagde han. "... På en eller anden måde er det kun algoritmerne og sensorerne og hardwaren, der nu skal opgraderes. Det er kun en teknologisk flaskehals og ikke længere en samfundsmæssig, psykologisk flaskehals.”

Løftet om wearables

Det faktum, at øretelefoner er blevet accepteret, sænker indsatsen, og betyder, at der ikke længere behøver at være et umiddelbart binært resultat. Selv hvis de højeste mål, Roy Choudhury beskrev, ikke nås i lang tid, vil den trinvise forbedring tilføje nytte til en dokumenteret formfaktor.

"De højthængende frugter [er ting som] 'fra mine tænders gestus kan jeg opdage anfald' eller 'fra min ansigtsbevægelser, jeg kan forstå personens humør, så det bliver som en Fitbit for humør,'" sagde. "Men selvom det mislykkes, hæmmer det ikke produktpipelinen. Men hvis de har succes, forvandlede det bare produktet til noget fantastisk."

Potentialet for earable computing, mener Roy Choudhury, er næsten ubegrænset. "Jeg tror, ​​at vejen frem går langt ud over tale," sagde han. "Jeg vil sige, at talen er den inderste cirkel, som er kernen [af denne teknologi]. Uden for den interaktion er akustik generelt. Og udvendig akustik er alle mulige andre sensorer og muligheder. Hvis du tænker på, hvordan vi skal begynde at bygge denne platform, er de lavthængende frugter talebaseret interaktion: 'Indstil en timer', 'Hej Siri, hvad er vejret i dag?' Men det kan gå langt, langt udover det."

Andre forskere, der arbejder på bærbar computer med Roy Choudhury, inkluderer Zhijian Yang, Yu-Lin Wei, Jay Prakash, og Ziyue Li.

Redaktørens anbefalinger

• ChatGPTs iPhone-app har nu Bing indbygget
• Apple gjorde ikke Siri til en ChatGPT-morder på WWDC - og det skræmmer mig
• Glem ChatGPT - Siri og Google Assistant gør disse 4 ting bedre
• Apple bygger en AI-sundhedscoach til Apple Watch, rapporter hævder
• Denne bizarre AI-enhed kan erstatte din smartphone i fremtiden