Die Sportübertragungen von Action Audio sind wie Blindenschrift für Ihre Ohren

THWOK. Ponk. Thwok. Ponk. THWOK. PONK. Thwok. Der Jubel nimmt zu. Ponk. THWOK. Das Quietschen von Turnschuhen auf Asphalt. PONK. Pause. Begeisterter Applaus.

Erkenne es? Natürlich nicht. Es ist tatsächlich Roger Federers „unmöglicher Schuss” gegen Andre Agassi im Viertelfinale der Dubai Tennis Championships 2005. Es handelt sich um den perfekten Moment des Tennissports, den man sich nur wünschen kann, der jedoch durch die Tatsache, dass er hier als abstrakte Klanglandschaft wiedergegeben wird, unverständlich wird.

So einfach Tennis visuell und audiovisuell zu verfolgen ist, so schwer ist es, einer Folge davon zu folgen Zwillingsgipfel Sie haben mittendrin eingeschaltet. Das ist eine Herausforderung, Ingenieure von Tennis Australia, der Agentur für digitales Design und Kommunikation AKQA, und die Monash University in Melbourne, Australien, arbeiten an einer Lösung mit etwas namens Action Audio. Dabei handelt es sich um einen Online-Audiostream, der für die Übertragungen der Australian Open im letzten Monat entwickelt wurde, um das zu unterstützen Weltweit leben 285 Millionen Menschen – darunter viele Tennisfans – mit Blindheit oder einer Sehschwäche Beeinträchtigung.

„Eine einfache Möglichkeit, es zu verstehen, ist … Kennen Sie sich mit Audiodeskriptionen aus?“ Tim Devine, Executive Creative Director von AKQA, sagte gegenüber Digital Trends. „Viele blinde und sehbehinderte Menschen nutzen sie. Dies ist eine Art abstrakte Version von Audiodeskriptionen, um den Leuten mehr Informationen darüber zu geben, was [auf dem Platz] passiert.“

Also im Grunde genommen ein Kommentar?

Es gibt natürlich eine Art Audiodeskription, die es im Sport seit Jahren gibt – und es ist dieselbe Eines, das es Sportfans ermöglicht, Sport im Radio zu hören, wo es nicht gerade viele Bilder gibt liefern. Aber Audiokommentare von Experten sind nicht dasselbe wie die Möglichkeit, sich ein Spiel anzusehen und zu eigenen Schlussfolgerungen zu kommen. Die Idee von Action-Audio besteht darin, das Geschehen vor Gericht zu fotografieren und diese dann in einen unauffälligen Handlungshinweis umzuwandeln Sprache – mit verschiedenen Geräuschen zur Veranschaulichung von Vorhand, Rückhand, spannenden Nahschlägen usw mehr.

„[Wir wollten, dass die Leute in der Lage sind], sich eine eigene Einschätzung darüber zu bilden, was auf dem Platz passiert“, sagte Devine. „So können sie ihre eigenen Erkenntnisse gewinnen, anstatt nur die Erkenntnisse eines Kommentators zu erhalten. Sie haben mehr Informationen. Sie können sagen: „Wow, Federer schlägt heute Abend wirklich die Rückhand.“ Ohne Action Audio wäre ihnen diese Einsicht nicht möglich denn niemand sagt ihnen „das ist eine Rückhand“ oder „das ist eine Vorhand“. Aber das geht ganz einfach mit abstraktem Audio Signale.“

Die Technologie nutzt 3D-Geodaten von einem Hochgeschwindigkeitskamera-/Computer-Vision-System namens Falkenauge, das die Ballposition in Echtzeit für elektronische Line-Calling- und Scoring-Zwecke verfolgt. Diese Informationen werden dann in 3D-Audio umgewandelt, wodurch Aktionen in individuelle Klanghinweise umgewandelt werden und gleichzeitig verschoben wird, wo sie stattfinden Der Ton scheint von dort zu kommen, um den Fans zu ermöglichen, ein Gefühl dafür zu bekommen, wo sich der Ball zu einem bestimmten Zeitpunkt auf dem Spielfeld befindet Moment. „Wir dekonstruieren den Sport, um ihn als Klang zu rekonstruieren“, sagte Devine.

Er wies darauf hin, dass das Projekt von der sensorischen Substitutionstechnologie des Neurowissenschaftlers David Eagleman inspiriert sei. Eagleman, wer Digital Trends letztes Jahr interviewt, erforscht seit langem sensorische Substitution, die beispielsweise in der Lage ist, Geräusche einzufangen und sie in Vibrationsmuster auf einer tragbaren Weste oder einem Armband umzuwandeln. Dies könnte genutzt werden, um es einer gehörlosen Person zu ermöglichen, zu verstehen, was eine Person sagt, wenn sie spricht.

„Wenn Sie darüber nachdenken, ist jedes Signal, das in den Körper gelangt, egal welchen Sinn es hat, abstrakt, oder?“ Sagte Devine. „Wir lernen einfach, dieses Signal zu entschlüsseln. Es gibt also keinen Grund, warum wir nicht ein abstraktes Signal erzeugen – [und verstehen lernen] können, das über einen Audiokanal kommt.“

Jenseits der Australian Open

Für die Australian Open war Action Audio im Rahmen der Übertragung als Fernseh-Audiokanal verfügbar. Audio-Hinweise, die isoliert oder mit Audiokommentar angehört werden konnten, boten Geräusche für Vorhand und Rückhand sowie andere, um anzuzeigen, wie nah der Ball an der Linie ist. Devine sagte, dass es in Zukunft Möglichkeiten gebe, dies zu erweitern – auf die gleiche Weise, wie jede gesprochene Sprache verwendet werden könne, um einfache Absichten, aber auch weitaus detailliertere Beobachtungen zu kommunizieren. In Zukunft wird es Benutzern möglicherweise sogar möglich sein, das System für sich selbst anzupassen, indem sie entweder das ändern Sie können bestimmte Audiohinweise hinzufügen oder möglicherweise Details hinzufügen oder entfernen, je nachdem, was Sie sehen möchten hervorgehoben. Die Möglichkeiten sind endlos.

Devine räumte ein, dass dies eine anspruchsvolle Aufgabe sei, nicht nur technologisch, sondern auch, um sicherzustellen, dass das Seherlebnis verbessert und nicht beeinträchtigt werde. „Für einen blinden oder sehbehinderten Menschen ist das Hören ein sehr bedeutungsvoller und wertvoller Sinn“, bemerkte er. An anderer Stelle im Interview behauptete er, dass das Team „versucht, die kognitive Belastung“ der Benutzer zu reduzieren.

Nachdem sie die Technologie demonstriert haben, hoffen sie nun, sie auf die Berichterstattung über andere Tennisturniere wie Wimbledon (das nutzt bereits einige beeindruckende KI. Technik), die French Open und die U.S. Open. Sie glauben auch, dass sie auch auf andere Sportarten expandieren können – obwohl dies neue Herausforderungen mit sich bringen wird.

„Tennis ist tatsächlich ein wirklich gutes Beispiel für Action-Audio, weil es dynamisch ist“, sagte Devine. „Es gibt Momente des Innehaltens und Momente voller Action, in denen alle still sind. Aber jede Sportart ist ganz anders. Wie könnten wir das Surfen sonifizieren? Wie vermitteln wir den Leuten ein Gefühl dafür, was ein Surfer tut? Was identifizieren wir? Wie wäre es mit Multiplayer-Events wie Basketball? Woher wissen wir, welche Informationen jemand, der blind oder sehbehindert ist, gerne hören würde? Hier wird ein Codesign-Prozess funktionieren.“

Es gibt noch viel zu tun, aber das sind sicherlich vielversprechende Anfänge.