Die Zukunft von AR sind Ohrhörer, nicht Brillen

Romit Roy Choudhury hat große Ohren. Aber nicht drin Das Weg. Roy Choudhury, Professor für Elektrotechnik und Informatik an der University of Illinois in Urbana-Champaign, glaubt fest an das paradigmenwechselnde Potenzial dessen, was er nennt Earable (nein, nicht Wearable) Computing.

Das bedeutet, dass Sie die enormen Möglichkeiten der Hardware und Software nutzen müssen, die über diese beiden schicken Abhörlöcher an den Seiten Ihres Kopfes laufen. Und um bei der Entwicklung von Datenschutz- und Sicherheitsanwendungen bis hin zur medizinischen Diagnose behilflich zu sein Da er Tools entwickelt, die sich auf die Zukunft der Augmented Reality konzentrieren, stellt er ein erstklassiges Expertenteam zusammen, das ihn unterstützen soll.

„Ich kann so ziemlich jeden in der Informatik und Elektrotechnik gebrauchen“, sagte er gegenüber Digital Trends. „Die Bandbreite der Probleme auf meinem Radar ist riesig.“

Kopfhörer sind bereits ein riesiger Markt. Äpfel AirPodsAllein im Jahr 2019 wurden von der Linie der kabellosen Ohrhörer 60 Millionen Einheiten verkauft. Letztes Jahr war diese Zahl schätzungsweise auf 85 Millionen ansteigen. Heutzutage stellen viele Unternehmen intelligente Ohrhörer her, die aktive Geräuschunterdrückung und KI bieten. intelligente Assistenten und mehr.

Mehrere Jahrzehnte vor den AirPods, in den 1980er Jahren, gab es den Walkman, vielleicht die erste moderne tragbare Technologie, die es Benutzern ermöglichte, ihre Musik überallhin mitzunehmen. Der Walkman gab den Benutzern nicht nur die Kontrolle darüber, was sie hörten (z. B. The Smiths), sondern durch die Plastikohrstöpsel, die ihre Ohren verstopften, auch darüber, was sie nicht hörten (z. B. ihre Eltern). Es ermöglichte den Menschen, den Soundtrack zu ihrem Leben zu kreieren und die Kontrolle darüber auszuüben, was uns allen unsere eigenen, individuellen Bedeutungsblasen bescherte. Während es bei der Boombox darum ging, andere unsere Musik hören zu lassen – oder in manchen Fällen auch zu zwingen –, machte der Walkman das Hören zu einem grundsätzlich persönlichen, isolierten Erlebnis.

Doch Roy Choudhury und sein Team wollen noch weiter gehen. Ihr Ziel ist es, die heutigen Ohrhörer in eine völlig neue Computerplattform zu verwandeln, die in manchen Fällen die Notwendigkeit ersetzen könnte, nach Ihren Kopfhörern zu greifen Smartphone oder Computer. Wenn der Walkman in diesem Zeitalter jedem seine eigene, persönliche Klangblase geben würde, die er genießen kann, während er die Straße entlang geht Durch intelligentere Technologie und Personalisierung könnten dieselben Blasen für neue, aufregende und – gelegentlich – etwas seltsame Zwecke genutzt werden Wege.

Gedankenlesende Ohrhörer?

„Der Großteil des Wearable-Computing-Marktes konzentriert sich [bisher] auf Geräte, die am Unterkörper getragen werden, meist in den Taschen oder am Handgelenk, vielleicht in den Schuhen“, sagte Roy Choudhury. „Das bedeutet, dass Sie den unteren Teil des Körpers spüren können, beispielsweise was Sie mit Ihren Händen, Ihren Handgelenken und Ihren Beinen tun. Aber es gibt viele Informationen, die im Oberkörper, hauptsächlich im Kopf, erzeugt werden – wie zum Beispiel Zuhören, Sprechen, Essen, Gesichtsausdrücke, möglicherweise Hinweise auf medizinische Informationen – das könnte sein von unschätzbarem Wert. Der heilige Gral, die letzte Grenze davon, könnte sogar sein Wahrnehmung von Gehirnsignalen aus der Nähe deines Kopfes.“

Die Idee, einem In-Ear-Gerät nicht nur passiv zuhören, sondern auch mit ihm sprechen zu können, ist die Grundlage intelligenter Assistenten wie Siri. Aber Sprache, wie sie in der heutigen KI verwendet wird, ist Assistenten, ist absichtlich oberflächlich. Im Vergleich zu einem Bild (das mehr sagt als tausend Worte) ist Siri am besten, wenn es um schnelle Informationen geht, etwa um die Wettervorhersage zu finden oder einen Timer in der Küche einzustellen. Aber das ist ungefähr die Grenze. Die Idee des Earable Computing besteht darin, Wege zu finden, einige der anderen Dinge, für die wir derzeit auf Bildschirme starren müssen, auszulagern und sie auf (und in) unsere Ohren zu legen.

„Bei allem, was Sie auf dem Bildschirm tun, richten Sie Ihre gesamte kognitive Aufmerksamkeit ein“, sagte er. „Beim Lesen – selbst wenn es ein alberner Witz ist, den man auf einem Bildschirm liest – kann man sich auf nichts anderes konzentrieren. Das Lesen beansprucht Ihre gesamte kognitive Aufmerksamkeit. Ich glaube, dass es viele solcher Dinge gibt, die nicht Ihre volle kognitive Aufmerksamkeit verdienen. Wir können diese aus dem visuellen Bereich herausholen und sie in den unerschlossenen und nicht monopolisierten Audiobereich verschieben, zu dem sich das menschliche Gehirn von Natur aus sehr gut entwickelt hat Multiplex zwischen solchen Audioinformationen … Warum nicht diese einfachen Dinge nehmen und sie von Ihrem kognitiven, visuellen kognitiven Kanal weg und in den akustischen verlagern? Bandbreite?“

Ein kürzlich vom Team durchgeführtes Experiment untersuchte, wie wir Text sinnvoller konsumieren können hörbar bilden. Wenn Sie einen Artikel lesen, entdecken Sie möglicherweise ein Schlüsselwort, das Sie interessiert, und beginnen an dieser Stelle mit dem Lesen. Allerdings gibt es keine einfache Möglichkeit, dies zu tun, wenn Sie beispielsweise einen Podcast hören.

„Eines der Dinge, die wir in unserem Labor versuchen, ist [fragen]: Kann ich das Anhören eines Artikels beschleunigen?“ sagte Roy Choudhury.

Abladen an die Ohren

Bei der Proof-of-Concept-Demonstration der Gruppe werden dem Zuhörer mehrere Absätze eines Artikels gleichzeitig vorgelesen. Der Trick, damit dies funktioniert, besteht darin, mithilfe der Signalverarbeitung jeden Absatz so klingen zu lassen, als käme er aus einer anderen Richtung – es ist ein bisschen so, als würde man sitzen B. in einem Restaurant, vier Gespräche führen, die an umliegenden Tischen stattfinden, sich aber bei einem einwählen, weil die Gäste eine Person erwähnen, die Sie sind wissen. Um dies zu verbessern, tippte das Team auf die Trägheitsmesseinheit (IMU) in den Ohrhörern, sodass die Der Benutzer kann eine bestimmte Stimme (einen Teil des Textes) anheben, indem er darin seinen Kopf leicht dreht Richtung.

„Ich nenne dieses Projekt ‚Lesen im akustischen Bereich‘, bei dem ich auf die Richtung der Stimme des dritten Absatzes schaue und diese Stimme lauter wird und die anderen Stimmen irgendwie leiser werden“, sagte er.

Es geht auch nicht nur um Sprache. Das Team hat außerdem herausgefunden, dass sowohl das Mikrofon als auch die IMU in Kopfhörern verwendet werden können, um unglaublich subtile Vibrationen im Gesicht aufzunehmen, die so klein sind wie ein Person, die mit den Zähnen klappert oder die Gesichtsmuskeln runzeln oder lächeln. Nein, Sie werden Ihr Smartphone wahrscheinlich nicht wegwerfen, um mit den Zähnen Nachrichten per Morsecode zu plappern. Aber die Idee, dass man sich an diese winzigen Gesichtsverzerrungen wie das Verschieben der rechten Zähne gewöhnen könnte Befehle auszuführen – oder sogar als Identitätsbestätigung für die Zwei-Faktor-Authentifizierung zu fungieren – ist sicherlich möglich interessant.

Dies könnte außerdem für die Erfassung von Längsschnittdaten für Dinge wie medizinische Diagnosen nützlich sein. Angststörungen können beispielsweise anhand bestimmter Muster in der Zahnbewegung diagnostiziert werden. Roy Choudhury wies auch darauf hin, dass es Forscher gibt, die an Problemen wie der Messung des Blutflusses durch die Ohren arbeiten, um Herzfrequenz, Glukosespiegel, Muskelaktivität und mehr zu messen.

Möchten Sie eine andere Verwendungsmöglichkeit? Wie wäre es mit Hörbare Augmented Reality? Augmented Reality ist derzeit vor allem dafür bekannt, computergenerierte Objekte über die reale Welt zu legen. Es gibt jedoch keinen Grund, warum Erweiterungen ausschließlich im visuellen Spektrum erfolgen sollten. Das Team von Roy Choudhury ist begeistert von der Aussicht, mithilfe von Signalverarbeitungstechnologie bestimmte Geräusche auf Ihre Landschaft abzubilden, sodass Sie sich durch eine navigieren können B. auf einem Flughafen, einem Museum oder einem anderen öffentlichen Raum, könnte es sein, dass Sie auf eine Stimme zugehen, die „Folge mir“ sagt, die aus der Richtung zu kommen scheint, in die Sie gehen müssen In.

Jeder kennt Siri, aber stellen Sie sich vor, wie viele Einsatzmöglichkeiten sich für Siri eröffnen würden, wenn sie nur eine räumliche Dimension hätte, wie eine Bauchrednerin, die in der Lage wäre, ihre Stimme zu entfalten. Diese räumliche Erweiterung könnte auch dazu beitragen, große virtuelle Meetings zu verbessern, da die Stimme jeder Person einem bestimmten Ort zugeordnet wird, sodass es einfacher ist, sofort zu erkennen, wer spricht.

Natürlich wird nicht alles davon eintreten. Sie sind die technische Version eines Texters, der Ideen für eine Anzeige kritzelt. Viele von ihnen werden es vielleicht nicht schaffen, aber ein oder zwei Beispiele könnten äußerst nützlich sein.

Dormehls Gesetz

Dies ist ein weiterer Grund, warum Roy Choudhury vom Potenzial des kontinuierlichen Earable Computing – und seinen Erfolgschancen in der Praxis – so begeistert ist. Die gesellschaftlichen Reaktionen bestimmen weitaus mehr darüber, welche Technologien sich durchsetzen, als den Technologen unbedingt lieb ist. Neue Technologien sind per Definition neu. Neu kann seltsam sein. Um eine Formulierung von mir zu verwenden (nennen wir sie als Anspielung auf die Nachwelt Dormehls Gesetz): Der unmittelbare Nutzen jeder neuen Technologie muss die inhärente Dummheit ihrer Verwendung doppelt ausgleichen.

Der Personal Computer, den die Menschen zu Hause nutzten, konnte es sich in den ersten Jahren auf dem Markt leisten, ihn nur wenig zu nutzen, weil die sozialen Risiken bei seiner Nutzung so gering waren. Ein Laptop, der in der Öffentlichkeit genutzt wird, hatte etwas höhere Einsätze. Wearables, die durch das Tragen am Körper besonders hervorstechen, sind auf den ersten Blick seltsamer als die meisten technischen Geräte. Ein Stück Technik, das auf dem Kopf stecken bleibt und wie ein kybernetisches Implantat auf einer Borg-Drohne aussieht, muss es sein brillant und sofort nützlich, wenn der Benutzer es für wert erachtet, die schädlichen sozialen Auswirkungen des Gesehenwerdens zu berücksichtigen es tragen.

Dies ist ein Problem, da nur sehr wenige Technologien vollständig ausgereift sind. In den meisten Fällen basieren die ersten paar Generationen eines Produkts auf fehlerhaften Versprechen, bevor etwa in der dritten Iteration ein überzeugenderes Angebot entsteht. Wenn ein gut sichtbares Produkt vom ersten Tag an nicht funktioniert, können seine langfristigen Erfolgsaussichten zunichte gemacht werden, selbst wenn es sich letztendlich zu einem guten Produkt entwickelt. Ältere Technikfans sollten das tragbare Apple Newton-Gerät und seinen ersten Versuch zur Handschrifterkennung in Betracht ziehen. Für jüngere Fans könnte Dormehls Gesetz das Scheitern von Google Glass erklären, das mit enormer gesellschaftlicher Stigmatisierung und Urteilsvermögen verbunden war und funktionierte … ganz in Ordnung.

Ohrhörer sind, wie Roy Choudhury bemerkte, anders. Welche Schlachten es auch immer einmal um sie gegeben hat, sie sind mehr oder weniger bereits gewonnen. „Die Gesellschaft hat Menschen, die Kopfhörer tragen, bereits akzeptiert“, sagte er. „... In gewisser Weise müssen jetzt nur noch die Algorithmen, die Sensoren und die Hardware aufgerüstet werden. Es handelt sich lediglich um einen technologischen Engpass und nicht mehr um einen gesellschaftlichen, psychologischen Engpass.“

Das Versprechen von Wearables

Die Tatsache, dass Ohrhörer akzeptiert wurden, senkt den Einsatz und bedeutet, dass es nicht länger zu einem unmittelbaren binären Ergebnis kommen muss. Auch wenn die von Roy Choudhury beschriebenen höchsten Ziele noch lange nicht erreicht werden, wird die schrittweise Verbesserung einen bewährten Formfaktor noch nützlicher machen.

„Die hochhängenden Früchte [sind Dinge wie] ‚an den Gesten meiner Zähne kann ich Anfälle erkennen‘ oder ‚an meinen …‘ Durch die Gesichtsgesten kann ich die Stimmung der Person verstehen, sodass dies wie ein Fitbit für die Stimmung wird“, sagt er sagte. „Aber selbst wenn das scheitert, behindert es die Produktpipeline nicht. Wenn sie jedoch erfolgreich sind, verwandelt es das Produkt einfach in etwas Fantastisches.“

Das Potenzial für Earable Computing ist laut Roy Choudhury nahezu grenzenlos. „Ich denke, der Weg, der vor uns liegt, geht weit über das Reden hinaus“, sagte er. „Ich würde sagen, dass die Sprache der innerste Kreis ist, der den Kern [dieser Technologie] ausmacht. Außerhalb dieser Interaktion liegt die Akustik im Allgemeinen. Und die äußere Akustik besteht aus allen möglichen anderen Sensoren und Fähigkeiten. Wenn Sie darüber nachdenken, wie wir mit dem Aufbau dieser Plattform beginnen werden, werden Sie feststellen, dass die Ergebnisse niedrig sind sprachbasierte Interaktion: „Stellen Sie einen Timer“, „Hey Siri, wie ist das Wetter heute?“ Aber es kann weit, weit gehen darüber hinaus."

Zu den weiteren Forschern, die mit Roy Choudhury am Wearable Computing arbeiten, gehören: Zhijian Yang, Yu-Lin Wei, Jay Prakash, Und Ziyue Li.

Empfehlungen der Redaktion

• In der iPhone-App von ChatGPT ist jetzt Bing integriert
• Apple hat Siri auf der WWDC nicht zum ChatGPT-Killer gemacht – und das macht mir Angst
• Vergessen Sie ChatGPT – Siri und Google Assistant machen diese 4 Dinge besser
• Berichten zufolge entwickelt Apple einen KI-Gesundheitstrainer für die Apple Watch
• Dieses bizarre KI-Gerät könnte in Zukunft Ihr Smartphone ersetzen