Intels 3DAT A.I. är Training Techs 'heliga gral'

Jonathan Lee, chef för sportprestandateknik i Intels Olympic Technology Group, har flugit 11 timmar och satt i karantän i 14 dagar för att sy ihop skelett på en dator. Och om det fungerar så bra som han hoppas, kommer det att vara en fantastisk innovation för actionrepriser vid Toyko-OS 2020.

"En del av vår artificiella intelligens är [designad] för att sy ihop rätt skelett när du har upp till åtta eller nio idrottare springer nerför banan, sa Lee till Digital Trends från sitt hotellrum i Tokyos Olympic Village, 8 000 miles från sitt hem i San Francisco.

Han är en del av ett crack-team av Intel-ingenjörer som har skickats till Tokyo Games för att införliva Intels 3D Athlete Tracking (eller 3DAT, uttalad "tre-dat")-teknik in i årets OS sändningar. 3DAT: s hisnande överläggsvisualiseringar kommer att göras tillgängliga under repriser av 100 meter, 200 meter, 4×100 meter stafett och häckatletiska evenemang, som äger rum mellan 30 juli och 4 augusti.

"3D Athlete Tracking... är en teknik som vi har utvecklat här på Intel som gör att vi kan ta standardvideo av idrottare och extrahera information om deras form och rörelse," sa Lee. "Vi gör det här med hjälp av A.I. och datorseende. [Med vår teknik kan vi] känna igen de olika delarna av kroppen, från ögonen och näsan hela vägen ner till anklarna och tårna, och använd detta för att konstruera ett 3D-skelett av idrottaren eller, i vissa fall, flera idrottare. Från dessa skelett kan vi sedan extrahera information som hastighet, acceleration och biomekanik."

För att uttrycka det enkelt, 3DAT smälter ihop video tagna från flera 4K maskinseende kameror med sändningsbilder och använder detta för att skapa en tredimensionell modell av olympier i aktion. Dessa kan användas för att ge datorgenererade repriser av handlingen. Det som ger detta fördelen jämfört med traditionella videorepriser är dock att 3DAT-tekniken kan ta in dess olika källor till videofilmer och använder detta för att generera motion-capture-modeller som kan roteras i 3D Plats.

"Du ger [sändaren] möjligheten att i huvudsak rotera, zooma, placera kameran var de vill", sa Lee.

Värmekartor och mer

Det är inte bara att rotera "kameran" heller. Genom att extrahera data som hastighet och acceleration från 3D-modellerna kan 3DAT överlägga modellerna med extra information som t.ex. värmekartor för att indikera hur snabbt en idrottare springer, när de når sin toppfart och hur länge de kan hålla denna fart. Det är en nivå av iögonfallande datavisualisering som aldrig tidigare prövats vid de olympiska spelen - eller nästan någon annanstans, för den delen.

"Vad du vill ha är något som är användbart och vackert och hjälper tittaren hemma att verkligen komma i kontakt med idrottarna och förstå något som de inte visste innan," sa Lee.

Motion capture är naturligtvis inget nytt. Den har använts i Hollywood i flera år, framför allt i några av de häpnadsväckande teaterföreställningarna fångad av företag som Weta Digital från skådespelare som Andy Serkis (som har spelat alla från Gollum i Sagan om ringen till Caesar in Apornas planet: Uppgörelsen till King Kong i, err, King Kong). Mo-cap används också ofta i spelvärlden för att säkerställa att avatarer på skärmen rör sig så nära riktiga människor som möjligt. Men medan många mo-cap-dräkter är översållade med sensorer för att fånga rörelsen hos enskilda lemmar, kräver 3DAT noll sensorer.

Problemet, sa Lee, är att medan motion capture kostymer är bra för vissa scenarier, att spåra idrottare på elitnivå är inte nödvändigtvis bland dem.

"Föreställ dig att du sätter en sensor på någons huvud, armbåge, bröst, och sedan säger du," Okej, gå och gör en hög hoppa, och när du landar kommer du att känna att alla dessa sensorer pressas in i din kropp, eller hur?” han sa. "Du kan föreställa dig att det inte nödvändigtvis är en trevlig upplevelse. Eller [vad sägs om] en sprinter? Om sensorn är placerad precis under knät, kommer det att störa hur de kommer ut ur blocken och hur de springer."

Istället förlitar sig 3DAT helt på datorseende och algoritmer för ställningsuppskattning för att analysera biomekaniken i idrottares rörelser. Lee sa att detta kan göras tillräckligt exakt för att fånga även de minsta nyanserna av en idrottares rörelse. Inga spårare krävs.

Framtiden för 3DAT

Med detta i åtanke ser Lee inte bara 3DAT som ett dataverktyg för att underhålla och informera tittarna hemma. Det används också som ett träningsverktyg för idrottare för att granska sina prestationer. "Vi har haft tre olika tränare på elitnivå som använder exakt samma fras för att beskriva detta som "coachningens heliga graal", sa han. Ett potentiellt transformerande användningsfall? Hjälper till att diagnostisera skador.

"En av de största sakerna som påverkar idrottare är mjukdelsskador," sa Lee. ”Dessa brukar börja dyka upp i form av asymmetri. Så kanske din vänstra och högra steglängd kan bli annorlunda, eller hur dina höfter rör sig kan [förändras], eller hur? Det här är saker som kan hända redan innan en skada inträffar. Om du börjar titta på en idrottare lite mer longitudinellt - säg i början av säsongen, under, efter, kanske under någon form av funktionell rörelsebedömning - [en A.I.] kan ta över för att känna igen prekursorer för skador, [så att tränare och idrottare] kan avvärja dem innan de hända."

Av denna anledning ser Lee att framtiden för 3DAT i allt högre grad lindas med artificiell intelligens. "Frågan som kommer upp är vad gör du med all denna data?" noterade han. "Det är här jag ser nästa gräns för 3DAT... Det måste finnas en nästa nivå, oavsett om det är för att förebygga skador eller för att förbättra prestanda eller hjälpa rehabilitering... Nästa fråga är verkligen den som vi måste besvara för att kunna förvandla detta från en teknik som är [riktigt] cool till en teknik som är cool och [otroligt] användbar."

Än så länge måste OS-tittarna dock nöja sig med "riktigt coolt". Något säger oss att det förmodligen kommer att räcka. Kommer snart till ett guldmedaljevenemang nära dig (eller åtminstone på din tv).

Redaktörens rekommendationer

• Den roliga formeln: Varför maskingenererad humor är A.I.s heliga gral.
• Under radarn: Hur en 117 år gammal teknik ger olympiska kastare ett försprång