AT&T, Verizon visar nya tillvägagångssätt för spelströmning över 5G: GTC 2019

Inför lanseringen av 5G-nätverk i år, surret runt hastigheten är påtaglig. Det är dock mer än bara hastighet för hastighetens skull. Snabbare nätverk kan förvandla faktiska användarupplevelser, med tidiga tester som visar att en hel 4K-film kan laddas ner på så lite som åtta sekunder. När vi ivrigt väntar på snabbare hastigheter och mer bandbredd, är den mördande funktionen hos 5G låg latens. Mobiloperatörer undersöker sätt att utnyttja låg latens för att ge innehåll med högre kvalitet till mobila enheter, allt från spelströmning till mobila mixed reality-upplevelser och till och med fjärroperationer.

Låg latens minskar inte bara fördröjningar och förseningar som kan förstöra spel, utan funktionen kan användas för att ge mer kraft till enheter med begränsad hårdvara. Hur? Genom att flytta mer och mer av det GPU-kraft till molnet.

Omtänka rendering med en hybrid metod

"Vi vet att vi inte kan göra 100 procent av renderingen på enheterna bara för att vi inte har tillräckligt med batterier för att stödja det, och om vi gjorde det, vi skulle smälta enheten – vi kan helt enkelt inte göra så mycket värme,” Dr Morgan McGuire, forskare vid Nvidia, förklarade. "Vi har vetat ett tag att molnströmning måste vara svaret."

Men streaming a 4K eller 8K-spelupplevelse, särskilt med höga bildfrekvenser, är intensiv för alla nätverk, än mindre ett mobilnät, så operatörer utvecklar nya metoder för att hantera uppslukande, interaktiva upplevelser. "Vi kan inte bara tänka på det som vi brukade göra - 100 ms latens för passiv media och nu minskar vi den till 10 ms eller 1 ms, och det är vad vi behöver för [spel och VR]," Alisha Seam, en huvudforskare vid AT&T: s Foundry-labb i Palo Alto, Kalifornien. "Det är verkligen inte så enkelt."

Beroende på forskningen och nätverket är allmänt accepterade latenssiffror för spelströmning mellan flera millisekunder och cirka 20 ms.

Ett tillvägagångssätt, som AT&T och Verizon undersöker för spel, är att ta en hybrid strategi och dela upp renderingsuppgifterna mellan molnet och enheten. I huvudsak bygger hybridrendering på en virtuell spel PC i kantmolnet för att göra det mesta av tunga lyft och klientenheten att göra en del av avkodningen av renderade bilder. Det är en teknik som Nvidia använder för dess GeForce Now-spelströmningsplattform, vilket ger lätta datorenheter tillgång till GeForce-grafik som finns på kantmolnet.

"Det finns olika tillvägagångssätt där du kan lansera allt som en webbtjänst eller virtualisera allt som en virtuell dator dit du skickar din ingångar upp och din video strömmar ner eller äntligen har en hybridstack där du kopplar bort renderingsslingorna och ser vad du kan faktiskt kompenserat, säger Raheel Khalid, chefsingenjör för Verizons virtuella verklighetslabb, där varje lösning har sina egna fördelar och nackdelar.

Men när du streamar spel måste du utvärdera framgångsrika upplevelser med hjälp av nya mätvärden. Passiva videoströmmar var bra med 100ms latens. Men för VR och spel är servern inte bara att skjuta innehåll till dina ögon, du skickar hela tiden input till servern baserat på din rörelse i ett spel. Servern måste sedan rendera ny video och skicka tillbaka den till enheten för att avkodas och visas. Latensen måste minskas ytterligare.

"Den stora avgörande faktorn för användarupplevelsen är lyhördhet, och vi kämpar mot den vestibulära ögonreflexen - korrelationen mellan vad dina ögon ser och var ditt inre öra placerar dig när du vrider på huvudet – och det är i storleksordningen 7 ms”, förklarade Seam med VR upplevelser.

"Det mått som vi är mest intresserade av är rörelse till foton latens, som mäts med tidsstämplingspaket," fortsatte Seam. "Vi mäter vilken ingång servern svarar på, så användaren kommer att träffa en ingång. Vi kommer att skicka det paketet till servern med en stämpel från användaren, rendera något med den inmatningen och skicka tillbaka det. Och vi kan i princip mäta tiden mellan att användaren gör den rörelsen, vad vi renderar och vad som faktiskt visas för användarna."

AT&T förutspår att spelströmning till stor del kommer att förlita sig på delad rendering där servrarna kommer att rendera scener och de tunga lyften på klientenheterna kommer att användas för smarta tekniker som förstärker spelupplevelsen. Seam föreställer sig att klientenheter kan fylla luckorna med knep som foveating-teknik för VR. "Vi vill inte att klientsidan ska upptäckas av att försöka kompensera för nätverket, så ju närmare vi kan koppla nätverksprestanda med prestanda för programvaruskiktet för dessa applikationer, desto mer kan vi låta dem göra vad de borde göra och inte bara att de ska vara nätverkslösningar." Hon sa.

Det skiljer sig från den historiska relation som molnspel har haft med nätverket. Tidigare försökte molnspelsplattformar kompensera för oförutsägbarheten i ett nätverk genom att skicka igenom enorma mängder data i hopp om att några av dessa datapaket kommer att anlända. När de anländer är många av dessa paket försenade eller är ur funktion, vilket belastar klientenheten att avkoda och ordna om dessa paket i rätt tid och på ett ordnat sätt.

"Latensnumret i sig är viktigt, men ännu mer är fördelningen av den latensen, och det är något som vi verkligen kan komma in på med 5G and edge”, fortsatte hon och noterade att jitter, eller variationen i latensen, spelar en betydande roll för streamingprestanda.

Verizons plug-in-modell

Verizons hybridtillvägagångssätt är till stor del app-baserad, och operatören hade arbetat med Unreal Engine för att skapa en kantbaserad plug-in som kommer att möjliggöra delade strömmar.

"När vi har det här ekosystemet med mycket komplexa spel - som har mycket renderingspotential som måste ha mycket gjort på kort tid och du måste också behålla en 60 eller 120 Hz uppdateringsfrekvens på din enhet där du har dina ingångar mottagna och aldrig har jitter eller lag — vi tittar på hur du kopplar bort dessa två saker, och vad vi började göra är att bygga en ny paradigm för spelmotorer där du kan ta vissa renderingssteg och trycka in dem i kanten, eller molnet, och koppla bort det från ingångsslingorna som du har på din enhet,” Khaleed sa.

"Och det är främst där vi fokuserar på - framtiden för den huvudsakliga renderingsstacken och hur vi ska uppnå det," fortsatte Khaleed. "Hur ska du ta indata och ramuppdatering och separera det från saker du behöver? När vi har gått och byggt detta Unreal Engine-plugin och undersökt hur du bygger delade renderingsstackar, vi kom på vad du ska ta och flytta upp i kanten och vad du kan flytta upp i moln."

Oavsett tillvägagångssätt är både Seam och Khaleed överens om att ramförlust är en viktig faktor för att göra spelströmning framgångsrik. Spelare kanske inte bryr sig om vissa effekter – som belysning eller skuggor – kan försenas med en bild eller två. Det som gör eller bryter användarupplevelsen är inmatningsfördröjningar och ramförlust.

"Hårda spelare bryr sig om det. Om du har en ramförlust kommer det att vara slutet på den tjänsten. Du kommer aldrig tillbaka, och varför skulle du det? Det är en för stor inverkan, säger Khaleed. "Den tillfälliga spelpubliken kan vara acceptabel och tolerant, men i slutet av dagen har vi byggt den heliga graalen: Hur gör du för att separera din speluppdateringsslinga och din spelbuffertuppdatering från de mest datortunga operationer."

Ekonomin med 5G

Eftersom interaktiv streaming, som spel, är mer komplex att leverera, förväntar sig operatörer att debitera en premie för spelare som kräver en mer stabil nätverksupplevelse på 5G.

"Det är bara så mycket mer komplicerat eftersom du inte kan göra något så enkelt som en progressiv nedladdning", säger John Benko, forskare vid Oranges Silicon Valley-labb. "Eftersom vi pratar om att verkligen trycka 10, 50, 100, 200 Mbps genom den trådlösa kanalen, kommer detta inte att vara något som alla kan göra och förvänta sig att betala exakt samma pris som de betalar nu för att streama en 2 Mbps signal. Så ekonomin kommer att behöva ses över noggrant för att se hur vi kan göra det till verklighet för människor som vill ha det."

En del av fördelen med att använda ett 5G-nätverk, förklarade Benko, är att operatörer kan skapa nätverkssegment för särskilda användningsfall, vilket ger mer tillförlitlighet och stabilitet för kunder som är villiga att betala Mer.

Tillfällig trafik från en mobiltelefon kan bli nedprioriterad för till exempel trängsel, men om din klientenhet är det tillhandahålls för spel eller VR, nätverk kan erbjuda en garanterad upplevelse med ett lovande latensintervall för den användningen. Utöver spel kan verksamhetskritiska applikationer, som fjärrkirurgi, tillhandahållas till en ännu högre prioritetsnivå, för att undvika eventuella nätverksavbrott som kan äventyra applikationen.

Fastän 5G lovar att leverera mycket för spel och andra användningsområden, kostnaden är fortfarande en stor faktor för mobil användning av spelströmning.

Redaktörens rekommendationer

• CES 2023: Razer Edge 5G är en imponerande (och missriktad) spelhanddator
• Tencent och Logitech tillverkar en handhållen enhet för molnspel
• 5G: s stora spelare gör djärva, spännande förutsägelser för 2022
• Lenovo och AT&T går samman för nya 5G-bärbara datorer, från bara 420 $
• Nu har Apple ingen ursäkt för att hålla 5G borta från MacBook