Intels 3DAT A.I. er Training Techs 'hellige gral'

Jonathan Lee, direktør for sportspræstationsteknologi i Intels Olympic Technology Group, har fløjet 11 timer og sat i karantæne i 14 dage for at sy skeletter sammen på en computer. Og hvis det fungerer så godt, som han håber, vil det være en fantastisk nyskabelse til action-gentagelser ved Toyko-OL i 2020.

"En del af vores kunstige intelligens er [designet] til at sy de rigtige skeletter sammen, når du har op til otte eller ni atleter løber ned ad banen," fortalte Lee til Digital Trends fra sit hotelværelse i Tokyos olympiske landsby, 5.000 miles fra sit hjem i San. Francisco.

Han er en del af et crack-team af Intel-ingeniører, der er blevet sendt til Tokyo Games for at inkorporere Intels 3D Athlete Tracking (eller 3DAT, udtales "tre-dat") teknologi ind i dette års OL udsendelser. 3DATs betagende overlejringsvisualiseringer vil blive gjort tilgængelige under replays af 100 meter, 200 meter, 4×100 meter stafet og hækkesports-begivenheder, der finder sted mellem 30. juli og 4. august.

"3D Atlet Tracking... er en teknologi, vi har udviklet her hos Intel, som giver os mulighed for at tage standardvideo af atleter og udtrække information om deres form og bevægelse," sagde Lee. "Vi gør dette ved hjælp af A.I. og computersyn. [Ved at bruge vores teknologi kan vi] genkende de forskellige dele af kroppen, fra øjne og næse hele vejen ned til ankler og tæer, og brug dette til at konstruere et 3D-skelet af atleten eller i nogle tilfælde flere atleter. Fra disse skeletter kan vi så udtrække information som hastighed, acceleration og biomekanik."

For at sige det enkelt, smelter 3DAT sammen video taget fra flere 4K machine vision-kameraer med broadcast-optagelser og bruger dette til at skabe en tredimensionel model af Olympians i aktion. Disse kan bruges til at give computergenererede gentagelser af handlingen. Hvad der dog giver dette fordel i forhold til traditionelle videogentagelser, er, at 3DAT-teknologien kan indtage sin forskellige kilder til videooptagelser og bruge dette til at generere motion-capture modeller, der kan roteres i 3D plads.

"Du giver [broadcasteren] muligheden for i det væsentlige at rotere, zoome, placere kameraet, hvor de vil," sagde Lee.

Heat maps og mere

Det er heller ikke kun at dreje "kameraet". Ved at udtrække data som hastighed og acceleration fra 3D-modellerne kan 3DAT overlejre modellerne med tilføjet information som f.eks. varmekort for at angive, hvor hurtigt en atlet løber, hvornår de når deres tophastighed, og hvor længe de er i stand til at opretholde denne fart. Det er et niveau af iøjnefaldende datavisualisering, der aldrig før er prøvet ved de olympiske lege - eller næsten hvor som helst andre steder, for den sags skyld.

"Det, du ønsker, er noget, der er nyttigt og smukt og hjælper seeren derhjemme med virkelig at komme i kontakt med atleterne og forstå noget, som de ikke vidste før," sagde Lee.

Motion capture er selvfølgelig ikke noget nyt. Det er blevet brugt i Hollywood i årevis, især i nogle af de forbløffende teaterforestillinger fanget af firmaer som Weta Digital fra skuespillere som Andy Serkis (der har spillet alle fra Gollum i Ringenes Herre til Cæsar i Abernes Planet: Revolutionen til King Kong i, fejl, King Kong). Mo-cap bruges også ofte i spilverdenen for at sikre, at avatarer på skærmen bevæger sig så tæt som muligt på rigtige mennesker. Men mens mange mo-cap-dragter er besat med sensorer til at fange bevægelsen af ​​individuelle lemmer, kræver 3DAT nul sensorer.

Problemet, sagde Lee, er, at mens motion capture dragter er fine til visse scenarier, er sporing af atleter på eliteniveau ikke nødvendigvis blandt dem.

"Forestil dig, at du sætter en sensor på en persons hoved, albue, bryst, og så siger du: "Okay, tag en high hop, og når du lander, vil du mærke alle disse sensorer blive presset ind i din krop, ikke? han sagde. "Du kan forestille dig, at det ikke nødvendigvis er en behagelig oplevelse. Eller [hvad med] en sprinter? Hvis sensoren er placeret lige under knæet, vil det forstyrre, hvordan de kommer ud af blokkene, og hvordan de løber."

I stedet er 3DAT helt afhængig af computersyn og positur-estimeringsalgoritmer til at analysere biomekanikken i atleternes bevægelser. Lee sagde, at dette kan gøres nøjagtigt nok til at fange selv de mindste nuancer af en atlets bevægelse. Ingen trackers påkrævet.

Fremtiden for 3DAT

Med dette i tankerne ser Lee ikke kun 3DAT som et data-viz-værktøj til at underholde og informere seerne derhjemme. Det bliver også brugt som et træningsværktøj for atleter til at gennemgå deres præstationer. "Vi har haft tre forskellige trænere på eliteniveau, der bruger nøjagtig den samme sætning til at beskrive dette som 'coachingens hellige gral'," sagde han. En potentielt transformativ use case? Hjælper med at diagnosticere skader.

"En af de største ting, der påvirker atleter, er bløddelsskader," sagde Lee. "Disse begynder normalt at vise sig i form af asymmetri. Så måske din venstre og højre skridtlængde kan blive anderledes, eller måden dine hofter bevæger sig på kan [ændre] ikke? Det er ting, der kan ske, selv før en skade opstår. Hvis du begynder at se på en atlet lidt mere i længderetningen - f.eks. i begyndelsen af ​​sæsonen, under, efter, måske under en form for funktionel bevægelsesvurdering - [en A.I.] kan tage over for at genkende forstadier til skader, [så trænerne og atleterne] kan afværge dem, før de ske."

Af denne grund ser Lee, at fremtiden for 3DAT i stigende grad bliver pakket ind i kunstig intelligens. "Spørgsmålet, der kommer op, er, hvad gør du med alle disse data?" bemærkede han. "Det er her, jeg ser den næste grænse for 3DAT... Der skal være et næste niveau, hvad enten det er til forebyggelse af skader eller for at forbedre ydeevnen eller hjælpe med genoptræning... Det næste spørgsmål er virkelig det, vi bliver nødt til at besvare for at kunne forvandle dette fra en teknologi, der er [virkelig] cool til en teknologi, der er cool og [utroligt] nyttig."

Indtil videre må OL-seerne dog nøjes med at være "rigtig seje". Noget siger os, at det nok skal være nok. Kommer snart til en guldmedaljebegivenhed nær dig (eller i det mindste på dit fjernsyn).

Redaktørens anbefalinger

• Den sjove formel: Hvorfor maskingenereret humor er den hellige gral for A.I.
• Under radaren: Hvordan en 117 år gammel teknologi giver OL-kastere en fordel