Denne algoritme gør VM-spil til 3D Augmented Reality

VM for mænd starter i denne uge. Hvor spændende det end lover at blive, vil de fleste af os dog kun komme til at se det på flade tv-apparater i modsætning til at få den tredimensionelle oplevelse af at se det live og personligt. Det har forskere fra University of Washington kom dog med et augmented reality-alternativ. Selvom det sandsynligvis ikke vil være tilgængeligt for masserne i tide til dette års turnering, antyder det en måde, hvorpå fans derhjemme muligvis kan nyde sportsspil i fremtiden.

Det, forskerne har udviklet, er en maskinlæringsalgoritme, der er i stand til at transformere 2D fodboldklip til 3D-rekonstruktioner, som kan ses ved hjælp af AR-headset som f.eks. Microsofts HoloLens. Resultaterne giver seerne mulighed for at forvandle flade overflader som deres skrivebord eller køkkenbord til en virtuel tonehøjde, komplet med tredimensionel handling, som du kan kredse rundt for at se fra forskellige vinkler.

Anbefalede videoer

Det svarer ikke helt til at se det personligt, men det er meget tættere på end almindeligt tv. Og også væsentligt billigere!

Relaterede

  • Alle grundene til, at jeg er begejstret (og bekymret) for Apples Reality Pro-headset
  • Acers nye gaming laptops har mini-LED, 3D-skærme og overkommelige priser
  • Hvad er AMD 3D V-Cache? Ekstra spilydelse låst op

"Vores mål er at forbedre seeroplevelsen af ​​sport," Konstantinos Rematas, fortalte en af ​​forskerne på projektet til Digital Trends. "I stedet for at se en fodboldkamp eller højdepunkter på en flad 2D-skærm, konverterer vi den originale video til 3D og visualiserer den i augmented reality. I bund og grund bliver spillet et hologram, hvor du kan bevæge dig rundt og se fra forskellige synsvinkler, hvilket genererer en mere fordybende oplevelse."

Konstantinos Rematas

Som input kræver algoritmen, der genererer AR-oplevelsen, kun en enkelt YouTube-fodboldvideo. Fordi dette ikke er nok information til at træne et helt renderingssystem til at "opkonvertere" 2D-afspillere til 3D, lærte det neurale netværk at estimere dybden ved at spille EA-videospillet FIFA 2018. Ved at bruge al denne information kan den gøre et acceptabelt stykke arbejde med præcist at måle, hvor spillerne er på banen.

På nuværende tidspunkt er systemet stadig i gang. For eksempel er bolden endnu ikke korrekt gengivet (noget som viser sig at være ret vigtigt i fodbold), og spillerne forbliver todimensionelle udskæringer. Det er to forbedringer, som forskerne håber at kunne lave.

"De næste skridt handler om at øge kvaliteten af ​​spillets rekonstruktion," fortsatte Rematas. "I særdeleshed ønsker vi at estimere præcis placeringen af ​​bolden og bedre rekonstruere spillerne - okklusioner, fuld 3D-form skøn, [og mere]." Derudover planlægger forskerne at udvide rammerne til også at dække andre sportsgrene som basketball, hockey og fodbold.

Et papir beskrivelse af arbejdet er tilgængelig til at læse online.

Redaktørens anbefalinger

  • Apples Vision Pro kunne få denne utrolige spilopgradering
  • Apples Reality Pro-headset kan lanceres hurtigere end nogen havde forventet
  • Apples Reality Pro-headset er VR-industriens 'sidste håb'
  • Apple-chef siger, at AR "kan være endnu bedre end bare den virkelige verden"
  • Apple kan trods alt omfavne metaverset nu

Opgrader din livsstilDigital Trends hjælper læserne med at holde styr på den hurtige teknologiske verden med alle de seneste nyheder, sjove produktanmeldelser, indsigtsfulde redaktionelle artikler og enestående smugkig.