Denne algoritmen gjør VM-spill til 3D Augmented Reality

VM for menn starter denne uken. Uansett hvor spennende det lover å bli, vil de fleste av oss bare få se det på flate TV-apparater, i motsetning til å få den tredimensjonale opplevelsen av å se den live og personlig. Det har forskere fra University of Washington men kom opp med et utvidet virkelighetsalternativ. Selv om det sannsynligvis ikke vil være tilgjengelig for massene i tide til årets turnering, antyder det en måte på hvordan fans hjemme kan være i stand til å nyte sportsspill i fremtiden.

Det forskerne har utviklet er en maskinlæringsalgoritme som er i stand til å transformere 2D-fotballklipp til 3D-rekonstruksjoner, som kan sees ved hjelp av AR-hodesett som Microsofts HoloLens. Resultatene lar seerne gjøre flate overflater som skrivebordet eller kjøkkenbordet til en virtuell tonehøyde, komplett med tredimensjonal handling som du kan sirkle rundt for å se fra forskjellige vinkler.

Anbefalte videoer

Det er ikke helt det samme som å se det personlig, men det er mye nærmere enn vanlig TV. Og betydelig billigere også!

I slekt

  • Alle grunnene til at jeg er spent (og bekymret) for Apples Reality Pro-headset
  • Acers nye spillbærbare datamaskiner har mini-LED, 3D-skjermer og rimelige priser
  • Hva er AMD 3D V-Cache? Ekstra spillytelse låst opp

"Vårt mål er å forbedre seeropplevelsen av sport," Konstantinos Rematas, fortalte en av forskerne på prosjektet til Digital Trends. «I stedet for å se en fotballkamp eller høydepunkter på en flat 2D-skjerm, konverterer vi den originale videoen til 3D og visualiserer den i utvidet virkelighet. I hovedsak blir spillet et hologram, der du kan bevege deg rundt og se fra forskjellige synspunkter, og generere en mer oppslukende opplevelse.»

Konstantinos Rematas

Som input krever algoritmen som genererer AR-opplevelsen bare en enkelt YouTube-fotballvideo. Fordi dette ikke er nok informasjon til å trene et helt gjengivelsessystem til å "oppkonvertere" 2D-spillere til 3D, lærte det nevrale nettverket å estimere dybden ved å spille EA-videospillet FIFA 2018. Ved å bruke helheten av denne informasjonen kan den gjøre en akseptabel jobb med å måle nøyaktig hvor spillerne er på banen.

For tiden er systemet fortsatt under arbeid. For eksempel er ballen ennå ikke riktig gjengitt (noe som viser seg å være ganske viktig i fotball) og spillerne forblir todimensjonale utskjæringer. Dette er to forbedringer forskerne håper å gjøre.

"De neste trinnene handler om å øke kvaliteten på spillrekonstruksjonen," fortsatte Rematas. "Spesielt ønsker vi å estimere plasseringen av ballen nøyaktig og rekonstruere spillerne bedre - okklusjoner, full 3D-form estimering, [og mer]." I tillegg planlegger forskerne å utvide rammeverket til også å dekke andre idretter som basketball, hockey og Fotball.

Et papir som beskriver arbeidet er tilgjengelig for lesing på nettet.

Redaktørenes anbefalinger

  • Apples Vision Pro kan få denne utrolige spilloppgraderingen
  • Apples Reality Pro-headset kan lanseres raskere enn noen forventet
  • Apples Reality Pro-headset er VR-bransjens "siste håp"
  • Apple-sjef sier AR "kan være enda bedre enn bare den virkelige verden"
  • Apple kan tross alt omfavne metaverset nå

Oppgrader livsstilen dinDigitale trender hjelper leserne å følge med på den fartsfylte teknologiverdenen med alle de siste nyhetene, morsomme produktanmeldelser, innsiktsfulle redaksjoner og unike sniktitter.