L'IA 3DAT d'Intel est le « Saint Graal » de la technologie de formation

Jonathan Lee, directeur de la technologie de performance sportive au sein du groupe Intel Olympic Technology, a volé 11 heures et mis en quarantaine pendant 14 jours pour assembler des squelettes sur un ordinateur. Et si cela fonctionne aussi bien qu’il l’espère, ce sera une innovation incroyable pour les rediffusions d’action aux Jeux olympiques de Toyko 2020.

"Une partie de notre intelligence artificielle est [conçue] pour assembler les bons squelettes lorsque vous avez jusqu'à huit ou neuf athlètes. courir sur la piste », a déclaré Lee à Digital Trends depuis sa chambre d'hôtel dans le village olympique de Tokyo, à 5 000 miles de son domicile à San. François.

Il fait partie d'une équipe d'ingénieurs Intel qui a été envoyée aux Jeux de Tokyo pour intégrer La technologie Intel 3D Athlete Tracking (ou 3DAT, prononcé « trois données ») sera intégrée aux Jeux olympiques de cette année. émissions. Les visualisations superposées à couper le souffle de 3DAT seront disponibles lors des rediffusions des épreuves de 100 mètres, 200 mètres, relais 4 × 100 mètres et d'athlétisme de haies, qui se dérouleront entre le 30 juillet et le 4 août.

« Le suivi des athlètes en 3D… est une technologie que nous avons développée ici chez Intel qui nous permet de prendre des vidéos standard d'athlètes et d'extraire des informations sur leur forme et leurs mouvements », a déclaré Lee. « Nous faisons cela en utilisant l’IA. et la vision par ordinateur. [Grâce à notre technologie, nous pouvons] reconnaître les différentes parties du corps, des yeux et du nez jusqu'en bas. aux chevilles et aux orteils, et utilisez-les pour construire un squelette 3D de l'athlète ou, dans certains cas, plusieurs les athlètes. À partir de ces squelettes, nous pouvons ensuite extraire des informations telles que la vitesse, l’accélération et la biomécanique.

Pour faire simple, 3DAT fusionne des vidéos provenant de plusieurs 4K caméras de vision industrielle avec des images diffusées et les utilise pour créer un modèle tridimensionnel des Olympiens en action. Ceux-ci peuvent être utilisés pour fournir des rediffusions de l’action générées par ordinateur. Ce qui donne à cela l'avantage sur les rediffusions vidéo traditionnelles, c'est que la technologie 3DAT peut ingérer ses diverses sources de séquences vidéo et les utiliser pour générer des modèles de capture de mouvement pouvant être pivotés en 3D espace.

"Vous donnez au [diffuseur] la possibilité, en substance, de faire pivoter, de zoomer et de placer la caméra où il le souhaite", a déclaré Lee.

Cartes thermiques et au-delà

Il ne s’agit pas seulement de faire tourner la « caméra ». En extrayant des données telles que la vitesse et l'accélération des modèles 3D, 3DAT peut superposer aux modèles des informations supplémentaires telles que des cartes thermiques pour indiquer à quelle vitesse un athlète court, quand il atteint sa vitesse maximale et combien de temps il est capable de maintenir cette vitesse vitesse. Il s’agit d’un niveau de visualisation de données accrocheur jamais essayé auparavant aux Jeux Olympiques – ou à peu près ailleurs, d’ailleurs.

"Ce que vous voulez, c'est quelque chose qui soit utile et beau et qui aide le téléspectateur à la maison à vraiment se connecter avec les athlètes et à comprendre quelque chose qu'il ne savait pas auparavant", a déclaré Lee.

La capture de mouvement n’a bien sûr rien de nouveau. Il est utilisé à Hollywood depuis des années, notamment dans certaines des étonnantes représentations théâtrales. capturé par des sociétés comme Weta Digital par des acteurs comme Andy Serkis (qui a joué tout le monde dans Gollum dans Le Seigneur des Anneaux à César dans L'aube de la planète des singes à King Kong, euh, King Kong). Mo-cap est également fréquemment utilisé dans le monde du jeu vidéo pour garantir que les avatars à l'écran se rapprochent le plus possible des personnes réelles. Mais alors que de nombreuses combinaisons Mo-Cap sont dotées de capteurs pour capturer le mouvement de chaque membre, le 3DAT ne nécessite aucun capteur.

Le problème, dit Lee, c'est que même si combinaisons de capture de mouvement conviennent à certains scénarios, le suivi d’athlètes de haut niveau n’en fait pas nécessairement partie.

« Imaginez que vous placez un capteur sur la tête, le coude, la poitrine de quelqu'un, puis vous dites: « Très bien, va faire un high ». sautez, et quand vous atterrirez, vous sentirez tous ces capteurs enfoncés dans votre corps, n'est-ce pas? il dit. « Vous pouvez imaginer que ce n’est pas nécessairement une expérience agréable. Ou [que diriez-vous] d'un sprinter? Si le capteur est placé juste en dessous du genou, cela va interférer avec la façon dont ils sortent des blocs et comment ils courent.

Au lieu de cela, 3DAT s’appuie entièrement sur la vision par ordinateur et sur des algorithmes d’estimation de pose pour analyser la biomécanique des mouvements des athlètes. Lee a déclaré que cela peut être fait avec suffisamment de précision pour capturer même les plus petites nuances du mouvement d’un athlète. Aucun tracker requis.

L'avenir du 3DAT

Dans cet esprit, Lee ne considère pas seulement le 3DAT comme un outil de visualisation de données destiné à divertir et à informer les téléspectateurs à la maison. Il est également utilisé comme outil d’entraînement permettant aux athlètes d’évaluer leurs performances. « Trois entraîneurs de niveau élite différents ont utilisé exactement la même expression pour décrire cela comme le « Saint Graal du coaching » », a-t-il déclaré. Un cas d’utilisation potentiellement transformateur? Aider à diagnostiquer les blessures.

"L'une des choses les plus importantes qui affectent les athlètes sont les blessures des tissus mous", a déclaré Lee. « Celles-ci commencent généralement à apparaître sous forme d’asymétrie. Alors peut-être que la longueur de vos foulées gauche et droite pourrait devenir différente, ou la façon dont vos hanches bougent pourrait [changer], n'est-ce pas? Ce sont des choses qui peuvent arriver avant même qu’une blessure ne survienne. Si vous commencez à regarder un athlète un peu plus longitudinalement — disons, au début de la saison, pendant, après, peut-être pendant une sorte d'exercice fonctionnel. évaluation du mouvement — [une IA] peut prendre le relais pour reconnaître les précurseurs des blessures, [afin que les entraîneurs et les athlètes] puissent les conjurer avant qu'ils arriver."

Pour cette raison, Lee estime que l’avenir du 3DAT sera de plus en plus lié à l’intelligence artificielle. « La question qui se pose est: que faites-vous de toutes ces données? il a noté. « C’est là que je vois la prochaine frontière du 3DAT… Il doit y avoir un niveau supérieur, que ce soit pour la prévention des blessures, pour l’amélioration des performances ou pour l’aide à la rééducation… La prochaine question est vraiment celle à laquelle nous devrons répondre pour pouvoir transformer cette technologie [vraiment] cool en une technologie cool et [incroyablement] utile."

Pour l’instant, cependant, les téléspectateurs des Jeux olympiques devront se contenter de « vraiment cool ». Quelque chose nous dit que cela suffira probablement. Bientôt un événement médaillé d’or près de chez vous (ou, du moins, sur votre téléviseur).

Recommandations des rédacteurs

• La formule amusante: pourquoi l'humour généré par la machine est le Saint Graal de l'IA.
• Sous le radar: comment une technologie vieille de 117 ans donne un avantage aux lanceurs olympiques