L’avenir de la RA, ce sont les écouteurs, pas les lunettes

Romit Roy Choudhury a de grandes oreilles. Mais pas dans que chemin. Roy Choudhury, professeur de génie électrique et d'informatique à l'Université de l'Illinois à Urbana-Champaign, croit fermement au potentiel de changement de paradigme de ce qu'il appelle ordinateur portable (non, pas portable).

Cela signifie se connecter aux énormes possibilités du matériel et des logiciels qui fonctionnent en utilisant ces deux trous d'écoute sophistiqués sur les côtés de votre tête. Et pour aider à tout développer, des applications de confidentialité et de sécurité au diagnostic médical. outils axés sur l’avenir de la réalité augmentée, il rassemble une équipe d’experts pour l’aider.

"Je peux utiliser à peu près n'importe qui en informatique et en génie électrique", a-t-il déclaré à Digital Trends. "La gamme de problèmes sur mon radar est énorme."

Les écouteurs représentent déjà un marché énorme. Pommes AirPod, sa gamme d'écouteurs sans fil, a vendu 60 millions d'unités rien qu'en 2019. L'année dernière, ce nombre était estimé à 85 millions. Aujourd'hui, de nombreuses entreprises fabriquent des écouteurs intelligents offrant une suppression active du bruit, l'IA. assistants intelligents, et plus encore.

Plusieurs décennies avant les AirPod, dans les années 1980, existait le Walkman, peut-être la première technologie portable moderne, qui permettait aux utilisateurs d'emporter leur musique avec eux partout où ils allaient. Le Walkman a donné aux utilisateurs la domination non seulement sur ce qu’ils écoutaient (par exemple, The Smiths), mais aussi, grâce à ses écouteurs en plastique qui leur bouchaient les oreilles, sur ce qu’ils n’écoutaient pas (par exemple, leurs parents). Cela a permis aux gens de créer et d’exercer un contrôle sur la bande sonore de leur vie, nous donnant ainsi à chacun nos propres bulles de sens. Alors que le boombox visait à permettre – ou, dans certains cas, à forcer – les autres à écouter notre musique, le Walkman a fait de l'écoute une expérience fondamentalement personnelle et isolée.

Mais Roy Choudhury et son équipe veulent aller plus loin. Ils cherchent à transformer les écouteurs d’aujourd’hui en une toute nouvelle plate-forme informatique qui pourrait, dans certains cas, vous éviter d’avoir à chercher votre téléphone intelligent ou un ordinateur. Si le Walkman offrait à chacun sa propre bulle sonore personnelle dont il pouvait profiter en marchant dans la rue, à notre époque de une technologie et une personnalisation plus intelligentes, ces mêmes bulles pourraient être exploitées dans des projets nouveaux, passionnants et – parfois – légèrement étranges façons.

Des écouteurs qui lisent dans les pensées ?

« Jusqu'à présent, la majeure partie du marché de l'informatique portable s'est concentrée sur les appareils portés sur la partie inférieure du corps, principalement dans vos poches ou sur vos poignets, peut-être dans vos chaussures », a déclaré Roy Choudhury. « Cela signifie que vous pouvez ressentir la partie inférieure du corps, par exemple ce que vous faites avec vos mains, avec vos poignets, avec vos jambes. Mais de nombreuses informations sont générées sur la partie supérieure du corps, principalement la tête, telles que écouter, parler, manger, émotions faciales, potentiellement des indices d'informations médicales - cela pourrait être inestimable. Le Saint Graal, la dernière frontière de cette histoire, pourrait même être détecter les signaux cérébraux de près de votre tête.

L’idée de pouvoir non seulement écouter passivement un appareil intra-auriculaire, mais aussi lui parler, est à la base des assistants intelligents comme Siri. Mais la parole, telle qu’elle est utilisée aujourd’hui dans l’IA. assistants, est volontairement superficiel. Comparé à une image (qui vaut mille mots), Siri est à son meilleur avec des informations rapides, comme trouver les prévisions météorologiques ou régler une minuterie dans la cuisine. Mais c’est à peu près la limite. L’idée de l’informatique earable est de trouver des moyens de décharger certaines des autres choses pour lesquelles nous devons actuellement regarder les écrans et de les mettre sur (et dans) nos oreilles.

"Tout ce que vous faites sur l'écran visuel, vous y consacrez toute votre attention cognitive", a-t-il déclaré. « Lire – même s’il s’agit d’une blague idiote que vous lisez sur un écran – vous ne pouvez pas vous concentrer sur autre chose. La lecture occupe toute votre attention cognitive. Je crois qu’il existe de nombreuses choses de ce type qui ne méritent pas toute votre attention cognitive. Nous pouvons les extraire du domaine visuel et les pousser vers le domaine audio inexploité et non monopolisé, où le cerveau humain a naturellement très bien évolué pour multiplexer entre de telles informations audio… Pourquoi ne pas prendre ces choses simples et les éloigner de votre canal cognitif et visuel cognitif vers le canal acoustique. bande passante? »

Une expérience récente menée par l'équipe impliquait une exploration des façons dont nous pourrions consommer du texte de manière plus significative dans audible formulaire. Si vous lisez un article, vous verrez peut-être un mot-clé qui vous intéresse et commencerez à lire à ce stade. Cependant, il n’existe pas de moyen simple d’y parvenir lorsque, par exemple, vous écoutez un podcast.

« L'une des choses que nous essayons de faire dans notre laboratoire est de [demander]: puis-je accélérer l'écoute d'un article? » dit Roy Choudhury.

Déchargement vers les oreilles

Dans la démonstration de validation du concept du groupe, l’auditeur se voit lire simultanément plusieurs paragraphes d’un article. L’astuce pour que cela fonctionne consiste à utiliser le traitement du signal pour donner l’impression que chaque paragraphe vient d’une direction différente – c’est un peu comme être assis. dans un restaurant et avoir quatre conversations ayant lieu aux tables environnantes, mais en composant une seule parce que les occupants mentionnent une personne que vous savoir. Pour améliorer ce fonctionnement, l'équipe a exploité l'unité de mesure inertielle (IMU) dans les écouteurs afin que le l'utilisateur peut élever une voix particulière (une partie du texte) en tournant légèrement la tête dans cette direction. direction.

"J'appelle ce projet" lecture dans le domaine acoustique ", dans lequel je regarde la direction de la voix du troisième paragraphe, et cette voix devient plus forte et les autres voix s'atténuent", a-t-il déclaré.

Ce n’est pas seulement une question de discours. L'équipe a également découvert que le microphone et l'IMU des écouteurs peuvent être utilisés pour capter des vibrations incroyablement subtiles sur le visage, aussi minuscules qu'un personne qui claque des dents ou les muscles du visage fronçant les sourcils ou souriant. Non, vous n’abandonnerez probablement pas votre smartphone pour échanger des messages via le code Morse avec vos dents. Mais l'idée que ces infimes contorsions faciales, comme le glissement de vos dents du côté droit, pourraient être utilisées pour exécuter des commandes – ou même servir de confirmation d’identité pour une authentification à deux facteurs – est certainement intéressant.

Cela pourrait également être utile pour capturer des données longitudinales pour des éléments tels que le diagnostic médical. Les troubles anxieux, par exemple, peuvent être diagnostiqués à partir de certains schémas détectés dans le mouvement des dents. Roy Choudhury a également noté que des chercheurs travaillent sur des problèmes tels que la mesure du flux sanguin dans les oreilles pour évaluer la fréquence cardiaque, les niveaux de glucose, l'activité musculaire, etc.

Envie d'une autre utilisation possible? Que diriez-vous réalité augmentée sonore? La réalité augmentée est actuellement surtout connue pour superposer des objets générés par ordinateur au monde réel. Mais il n’y a aucune raison pour que les augmentations se fassent uniquement sur le spectre visuel. L'équipe de Roy Choudhury est enthousiasmée par la perspective d'utiliser la technologie de traitement du signal pour cartographier certains sons sur votre paysage, afin de vous frayer un chemin à travers un un aéroport, un musée ou tout autre espace public pourrait impliquer de marcher vers une voix qui dit « suivez-moi », qui semble venir de la direction dans laquelle vous devez vous diriger dans.

Tout le monde connaît Siri, mais imaginez combien d’utilisations potentielles pourraient être ouvertes à Siri si seulement il avait une dimension spatiale, comme un ventriloque capable d’émettre sa voix. Cette augmentation spatiale pourrait également contribuer à améliorer les grandes réunions virtuelles, la voix de chaque personne étant mappée à un emplacement spécifique, ce qui permettrait de savoir immédiatement qui parle.

Bien entendu, tout cela ne se réalisera pas. Il s’agit de la version technique d’un rédacteur qui griffonne des idées pour une publicité. Beaucoup d’entre eux ne seront peut-être pas retenus, mais un ou deux exemples pourraient être extrêmement utiles.

Loi de Dormehl

C'est une autre raison pour laquelle Roy Choudhury est si enthousiasmé par le potentiel de l'informatique portable et ses chances de succès dans le monde réel. Les réponses sociétales dictent bien plus les technologies qui feront leur chemin que ce que les technologues voudraient nécessairement. Les nouvelles technologies, par définition, sont nouvelles. Nouveau peut être synonyme de bizarre. Pour utiliser ma propre formulation (appelons-la la loi de Dormehl, pour tenter la postérité), l’utilité immédiate de toute nouvelle technologie doit doublement compenser la stupidité inhérente à son utilisation.

L'ordinateur personnel, que les gens utilisaient à la maison, ne pouvait se permettre que peu d'utilité au cours de ses premières années de commercialisation, car les enjeux sociaux liés à son utilisation étaient très faibles. Un ordinateur portable utilisé en public présentait des enjeux légèrement plus élevés. Les wearables, particulièrement visibles car portés sur le corps, sont visiblement plus étranges que la plupart des technologies. Un élément technologique qui va être collé sur la tête, ressemblant à un implant cybernétique sur un drone Borg, doit être brillant et immédiatement utile si l'utilisateur considère que cela vaut la peine de subir l'impact social néfaste d'être vu le porter.

C’est un problème car très peu de technologies émergent pleinement. Dans la plupart des cas, les premières générations d’un produit reposent sur des promesses erronées, avant qu’une offre plus convaincante n’émerge vers la troisième itération. Si un produit très visible ne parvient pas à tenir ses promesses dès le premier jour, ses chances de succès à long terme peuvent être réduites à néant, même s’il finit par se transformer en un bon produit. Pour les fans de technologie plus âgés, pensez à l’appareil portable Apple Newton et à ses premières tentatives de reconnaissance de l’écriture manuscrite. Pour les jeunes fans, la loi de Dormehl pourrait expliquer l’échec des Google Glass, qui ont entraîné une énorme stigmatisation et un jugement sociétal et qui ont fonctionné… à peu près bien.

Les écouteurs, comme l'a noté Roy Choudhury, sont différents. Quelles que soient les batailles qui ont pu avoir lieu à leur sujet, elles ont plus ou moins déjà été gagnées. « La société a déjà accepté que les gens portent des écouteurs », a-t-il déclaré. «… Dans un certain sens, seuls les algorithmes, les capteurs et le matériel doivent désormais être mis à niveau. Ce n’est qu’un goulot d’étranglement technologique, et non plus un goulot d’étranglement sociétal et psychologique.

La promesse des wearables

Le fait que les écouteurs aient été acceptés réduit les enjeux et signifie qu’il n’y a plus besoin d’un résultat binaire immédiat. Même si les objectifs les plus élevés décrits par Roy Choudhury ne sont pas atteints avant longtemps, l’amélioration progressive ajoutera de l’utilité à un facteur de forme éprouvé.

« Les fruits à portée de main [sont des choses comme] « grâce aux gestes de mes dents, je peux détecter les convulsions » ou « grâce à mes gestes dentaires ». "Avec les gestes du visage, je peux comprendre l'humeur de la personne, ce qui fait que cela devient comme un Fitbit pour l'humeur", a-t-il déclaré. dit. « Mais même si cela échoue, cela n’entravera pas le pipeline de produits. Cependant, s’ils réussissent, cela transforme simplement le produit en quelque chose de fantastique.

Selon Roy Choudhury, le potentiel de l'informatique portable est presque illimité. « Je pense que le chemin à parcourir va bien au-delà des discours », a-t-il déclaré. «Je dirais que la parole est le cercle le plus intérieur, qui est au cœur [de cette technologie]. En dehors de cette interaction se trouve l’acoustique en général. Et l’acoustique extérieure, c’est toutes sortes d’autres capteurs et capacités. Si vous réfléchissez à la façon dont nous allons commencer à construire cette plateforme, les fruits les plus faciles à trouver sont interaction basée sur la parole: « Régler une minuterie », « Hey Siri, quel temps fait-il aujourd'hui? » Mais cela peut aller loin, très loin Au-delà de ça."

Parmi les autres chercheurs travaillant sur l'informatique portable avec Roy Choudhury figurent Zhijian Yang, Yu Lin Wei, Jay Prakash, et Ziyue Li.

Recommandations des rédacteurs

• L'application iPhone de ChatGPT intègre désormais Bing
• Apple n'a pas fait de Siri un tueur de ChatGPT à la WWDC – et cela me fait peur
• Oubliez ChatGPT — Siri et Google Assistant font mieux ces 4 choses
• Apple crée un coach de santé IA pour Apple Watch, selon un rapport
• Cet étrange appareil d'IA pourrait remplacer votre smartphone à l'avenir