La IA 3DAT de Intel es el 'Santo Grial' de la tecnología de formación

Jonathan Lee, director de tecnología de rendimiento deportivo en el Olympic Technology Group de Intel, voló 11 horas y estuvo en cuarentena durante 14 días para unir esqueletos en una computadora. Y si funciona tan bien como espera, será una innovación sorprendente para las repeticiones de acción en los Juegos Olímpicos de Tokio 2020.

“Parte de nuestra inteligencia artificial está [diseñada] para unir los esqueletos correctos cuando tienes hasta ocho o nueve atletas. corriendo por la pista”, dijo Lee a Digital Trends desde su habitación de hotel en la Villa Olímpica de Tokio, a 5.000 millas de su casa en San Francisco.

Él es parte de un excelente equipo de ingenieros de Intel que han sido enviados a los Juegos de Tokio para incorporar La tecnología 3D Athlete Tracking (o 3DAT, pronunciada "tres datos") de Intel en los Juegos Olímpicos de este año transmisiones. Las impresionantes visualizaciones superpuestas de 3DAT estarán disponibles durante las repeticiones de los eventos deportivos de 100 metros, 200 metros, relevos 4×100 y vallas, que tendrán lugar entre el 30 de julio y el 4 de agosto.

"El seguimiento de atletas 3D... es una tecnología que hemos desarrollado aquí en Intel y que nos permite tomar videos estándar de atletas y extraer información sobre su forma y movimiento", dijo Lee. “Hacemos esto usando A.I. y visión por computadora. [Usando nuestra tecnología, podemos] reconocer las diferentes partes del cuerpo, desde los ojos y la nariz hasta abajo. hasta los tobillos y los dedos de los pies, y utilícelo para construir un esqueleto 3D del atleta o, en algunos casos, múltiples Atletas. De esos esqueletos podemos extraer información como la velocidad, la aceleración y la biomecánica”.

En pocas palabras, 3DAT fusiona vídeos tomados de múltiples 4k cámaras de visión artificial con imágenes transmitidas y las utiliza para crear un modelo tridimensional de atletas olímpicos en acción. Estos se pueden utilizar para proporcionar repeticiones de la acción generadas por computadora. Sin embargo, lo que le da la ventaja sobre las repeticiones de vídeo tradicionales es que la tecnología 3DAT puede absorber su varias fuentes de secuencias de vídeo y utilizarlas para generar modelos de captura de movimiento que se pueden rotar en 3D espacio.

“Le das al [locutor] la capacidad de, en esencia, rotar, hacer zoom y colocar la cámara donde quiera”, dijo Lee.

Mapas de calor y más

Tampoco se trata simplemente de girar la “cámara”. Al extraer datos como la velocidad y la aceleración de los modelos 3D, 3DAT puede superponer los modelos con información adicional como mapas de calor para indicar qué tan rápido corre un atleta, cuándo alcanza su velocidad máxima y cuánto tiempo puede mantenerla velocidad. Es un nivel de visualización de datos llamativos nunca antes probado en los Juegos Olímpicos, o en cualquier otro lugar, de hecho.

"Lo que quieres es algo que sea útil y hermoso y que ayude al espectador en casa a conectarse realmente con los atletas y comprender algo que no sabían antes", dijo Lee.

La captura de movimiento, por supuesto, no es nada nuevo. Se ha utilizado en Hollywood durante años, sobre todo en algunas de las asombrosas representaciones teatrales. capturado por compañías como Weta Digital de actores como Andy Serkis (quien ha interpretado a todos los de Gollum en El Señor de los Anillos a César en El amanecer del planeta de los simios a King Kong en, err, rey kong). Mo-cap también se utiliza con frecuencia en el mundo de los videojuegos para garantizar que los avatares en pantalla se acerquen lo más posible a personas reales. Pero mientras que muchos trajes de captura de movimiento están equipados con sensores para capturar el movimiento de las extremidades individuales, 3DAT no requiere sensores.

El problema, dijo Lee, es que si bien trajes de captura de movimiento están bien para ciertos escenarios, el seguimiento de atletas de élite no está necesariamente entre ellos.

"Imagínate que pones un sensor en la cabeza, el codo o el pecho de alguien y luego le dices: 'Está bien, haz un alto'. salta, y cuando aterrices, sentirás todos estos sensores presionados en tu cuerpo, ¿verdad? él dicho. “Puedes imaginar que no es necesariamente una experiencia agradable. ¿O [qué tal] un velocista? Si el sensor se coloca justo debajo de la rodilla, eso interferirá con la forma en que salen de los bloques y cómo corren”.

En cambio, 3DAT se basa completamente en visión por computadora y algoritmos de estimación de postura para analizar la biomecánica de los movimientos de los atletas. Lee dijo que esto se puede hacer con la suficiente precisión como para capturar incluso los matices más pequeños del movimiento de un atleta. No se requieren rastreadores.

El futuro del 3DAT

Con esto en mente, Lee no ve 3DAT solo como una herramienta de visualización de datos para entretener e informar a los espectadores en casa. También se utiliza como herramienta de entrenamiento para que los atletas revisen su desempeño. “Hemos tenido tres entrenadores de élite diferentes que usaron exactamente la misma frase para describir esto como el ‘santo grial del entrenamiento'”, dijo. ¿Un caso de uso potencialmente transformador? Ayudando al diagnóstico de lesiones.

"Una de las cosas más importantes que afectan a los atletas son las lesiones de tejidos blandos", dijo Lee. “Estos suelen empezar a manifestarse en forma de asimetría. Entonces, tal vez la longitud de tu zancada izquierda y derecha podría ser diferente, o la forma en que se mueven tus caderas podría [cambiar], ¿verdad? Estas son cosas que pueden suceder incluso antes de que ocurra una lesión. Si empiezas a mirar a un atleta un poco más longitudinalmente (digamos, al comienzo de la temporada, durante, después, tal vez durante algún tipo de actividad funcional), Evaluación del movimiento: [una IA] puede hacerse cargo de reconocer los precursores de las lesiones, [para que los entrenadores y atletas] puedan protegerlos antes de que ocurran. suceder."

Por esta razón, Lee considera que el futuro de 3DAT estará cada vez más relacionado con la inteligencia artificial. "La pregunta que surge es ¿qué se hace con todos estos datos?" El lo notó. “Aquí es donde veo la próxima frontera para 3DAT... Tiene que haber un siguiente nivel, ya sea para la prevención de lesiones o para mejorar el rendimiento o ayudar a la rehabilitación... La siguiente pregunta es realmente la que tendremos que responder para poder convertir esto de una tecnología que es [realmente] genial en una tecnología que es genial e [increíblemente] útil."

Por ahora, sin embargo, los espectadores de los Juegos Olímpicos tendrán que conformarse con “realmente genial”. Algo nos dice que probablemente será suficiente. Próximamente en un evento por la medalla de oro cerca de ti (o, al menos, en tu televisión).

Recomendaciones de los editores

• La fórmula divertida: por qué el humor generado por máquinas es el santo grial de la IA
• Debajo del radar: cómo una tecnología de 117 años da una ventaja a los lanzadores olímpicos