Intels 3DAT A.I. er den 'hellige gral' til Training Tech

Jonathan Lee, direktør for sportsytelsesteknologi i Intels Olympic Technology Group, har fløyet 11 timer og satt i karantene i 14 dager for å sy sammen skjeletter på en datamaskin. Og hvis det fungerer så bra som han håper, vil det være en fantastisk innovasjon for action-repriser under Toyko-OL i 2020.

"En del av vår kunstige intelligens er [designet] for å sy sammen de riktige skjelettene når du har opptil åtte eller ni idrettsutøvere løper nedover banen, sa Lee til Digital Trends fra hotellrommet sitt i Tokyos olympiske landsby, 5000 miles fra hjemmet hans i San. Francisco.

Han er en del av et crack-team av Intel-ingeniører som har blitt sendt til Tokyo Games for å innlemme Intels 3D Athlete Tracking (eller 3DAT, uttalt "tre-dat") teknologi inn i årets OL sendinger. 3DATs fantastiske overleggsvisualiseringer vil bli gjort tilgjengelige under repriser av 100 meter, 200 meter, 4×100 meter stafett og hekkeidrettsarrangementer, som finner sted mellom 30. juli og 4. august.

"3D Athlete Tracking... er en teknologi vi har utviklet her hos Intel som lar oss ta standard video av idrettsutøvere og trekke ut informasjon om deres form og bevegelse," sa Lee. "Vi gjør dette ved å bruke A.I. og datasyn. [Ved å bruke teknologien vår kan vi] gjenkjenne de forskjellige delene av kroppen, fra øynene og nesen og helt ned til anklene og tærne, og bruk dette til å konstruere et 3D-skjelett av utøveren eller, i noen tilfeller, flere idrettsutøvere. Fra disse skjelettene kan vi deretter trekke ut informasjon som hastighet, akselerasjon og biomekanikk."

For å si det enkelt, smelter 3DAT sammen video tatt fra flere 4K maskinsynskameraer med kringkastingsopptak og bruker dette til å lage en tredimensjonal modell av olympiere i aksjon. Disse kan brukes til å gi datamaskingenererte repriser av handlingen. Det som derimot gir dette fordelen i forhold til tradisjonelle videorepriser, er at 3DAT-teknologien kan innta det ulike kilder til videoopptak og bruke dette til å generere motion-capture-modeller som kan roteres i 3D rom.

"Du gir [kringkasteren] muligheten til i hovedsak å rotere, zoome, plassere kameraet hvor de vil," sa Lee.

Varmekart og mer

Det er ikke bare å rotere "kameraet", heller. Ved å trekke ut data som hastighet og akselerasjon fra 3D-modellene, kan 3DAT overlegge modellene med tilleggsinformasjon som f.eks. varmekart for å indikere hvor fort en idrettsutøver løper, når de når toppfarten, og hvor lenge de klarer å opprettholde denne hastighet. Det er et nivå av iøynefallende datavisualisering som aldri før er prøvd under de olympiske leker – eller omtrent hvor som helst annet, for den saks skyld.

"Det du ønsker er noe som er nyttig og vakkert og hjelper seeren hjemme virkelig å få kontakt med idrettsutøverne og forstå noe de ikke visste fra før," sa Lee.

Motion capture er selvfølgelig ikke noe nytt. Den har blitt brukt i Hollywood i årevis, spesielt i noen av de forbløffende teaterforestillingene fanget av selskaper som Weta Digital fra skuespillere som Andy Serkis (som har spilt alle fra Gollum i Ringenes herre til Cæsar inn Dawn of the Planet of the Apes til King Kong i, feil, King Kong). Mo-cap brukes også ofte i spillverdenen for å sikre at avatarer på skjermen beveger seg så nært som mulig til ekte mennesker. Men mens mange mo-cap-drakter er besatt med sensorer for å fange bevegelsen til individuelle lemmer, krever 3DAT null sensorer.

Problemet, sa Lee, er at mens motion capture-drakter er fine for visse scenarier, sporing av idrettsutøvere på elitenivå er ikke nødvendigvis blant dem.

"Tenk deg at du setter en sensor på noens hode, albue, bryst, og så sier du," Ok, gå en høy hopp, og når du lander, vil du føle at alle disse sensorene presses inn i kroppen din, ikke sant?» han sa. "Du kan forestille deg at det ikke nødvendigvis er en hyggelig opplevelse. Eller [hva med] en sprinter? Hvis sensoren er plassert rett under kneet, kommer det til å forstyrre hvordan de kommer ut av blokkene og hvordan de løper."

I stedet er 3DAT helt avhengig av datasyn og posisjonsestimater for å analysere biomekanikken til idrettsutøvernes bevegelser. Lee sa at dette kan gjøres nøyaktig nok til å fange selv de minste nyansene i en idrettsutøvers bevegelse. Ingen sporing nødvendig.

Fremtiden til 3DAT

Med dette i tankene ser Lee ikke bare på 3DAT som et dataverktøy for å underholde og informere seerne hjemme. Det blir også brukt som et treningsverktøy for idrettsutøvere for å vurdere prestasjonene deres. "Vi har hatt tre forskjellige trenere på elitenivå som bruker nøyaktig samme uttrykk for å beskrive dette som "coachingens hellige gral," sa han. En potensielt transformativ brukssak? Hjelper med å diagnostisere skader.

"En av de største tingene som påvirker idrettsutøvere er bløtvevsskader," sa Lee. "Disse begynner vanligvis å dukke opp i form av asymmetri. Så kanskje din venstre og høyre skrittlengde kan bli annerledes, eller måten hoftene dine beveger seg på kan [endre], ikke sant? Dette er ting som kan skje selv før en skade oppstår. Hvis du begynner å se på en idrettsutøver litt mer i lengderetningen - si, i begynnelsen av sesongen, under, etter, kanskje under en slags funksjonell bevegelsesvurdering - [en A.I.] kan ta over for å gjenkjenne forløpere for skader, [slik at trenere og idrettsutøvere] kan avverge dem før de skje."

Av denne grunn ser Lee at fremtiden til 3DAT i økende grad blir pakket inn med kunstig intelligens. "Spørsmålet som dukker opp er hva gjør du med alle disse dataene?" bemerket han. "Det er her jeg ser den neste grensen for 3DAT... Det må være et neste nivå, enten det er for å forebygge skader eller for å forbedre ytelsen eller hjelpe rehabilitering... Det neste spørsmålet er egentlig det vi må svare på for å kunne gjøre dette fra en teknologi som er [virkelig] kul til en teknologi som er kul og [utrolig] nyttig."

Foreløpig må OL-seerne imidlertid nøye seg med bare «riktig kult». Noe sier oss at det sannsynligvis vil være nok. Kommer snart til en gullmedaljebegivenhet nær deg (eller i det minste på TV-en din).

Redaktørenes anbefalinger

• Den morsomme formelen: Hvorfor maskingenerert humor er den hellige gral til A.I.
• Under radaren: Hvordan en 117 år gammel teknologi gir OL-kastere en fordel