AT&T, Verizon ukazují nové přístupy ke streamování her přes 5G: GTC 2019

Před spuštěním 5G sítě letos ten rozruch kolem rychlost je hmatatelná. Je to však víc než jen rychlost kvůli rychlosti. Rychlejší sítě mohou změnit skutečné uživatelské zkušenosti, přičemž první testy ukázaly, že celý film ve 4K lze stáhnout za pouhých osm sekund. Protože netrpělivě čekáme na vyšší rychlosti a větší šířku pásma, zabijáckou funkcí 5G je nízká latence. Mobilní operátoři zkoumají způsoby, jak využít nízkou latenci k přenesení obsahu s vyšší věrností do mobilních zařízení, od streamování hry na mobilní zážitky se smíšenou realitou a dokonce i na vzdálené operace.

Nízká latence nejen snižuje prodlevy a zpoždění, které mohou zničit hraní, ale tuto funkci lze použít k tomu, aby zařízení s omezeným hardwarem přineslo více energie. Jak? Tím, že toho přesouváme stále více Výkon GPU do cloudu.

Přehodnocení vykreslování s hybridním přístupem

„Víme, že nemůžeme dělat 100 procent vykreslování na zařízeních jednoduše proto, že nemáme dostatek baterií, které by to podporovaly, a pokud udělali jsme, roztavili bychom zařízení – prostě nedokážeme vyrobit tolik tepla,“ Dr. Morgan McGuire, vědecký pracovník společnosti Nvidia, vysvětlil. "Už nějakou dobu víme, že řešením musí být cloudové streamování."

Ale streamování a 4K nebo 8K herní zážitek, zejména s vysokou snímkovou frekvencí, je intenzivní pro jakoukoli síť, natož pro a mobilní sítě, takže operátoři vymýšlejí nové přístupy k ovládání pohlcující, interaktivní zkušenosti. „Nemůžeme na to jen tak myslet jako dříve – latence 100 ms pro pasivní média a nyní ji snižujeme na 10 ms nebo 1 ms, a to je to, co potřebujeme pro [hry a VR],“ Alisha Seam, hlavní výzkumník v laboratoři AT&T’s Foundry v Palo Alto, Kalifornie. "Opravdu to není tak jednoduché."

V závislosti na výzkumu a síti se obecně přijímané hodnoty latence pro streamování her pohybují mezi několika milisekundami až přibližně 20 ms.

Jedním z přístupů, který AT&T a Verizon pro hraní her zkoumají, je použít hybridní přístup a rozdělit povinnosti vykreslování mezi cloud a zařízení. Hybridní vykreslování v podstatě spoléhá na virtuální herní PC v okrajovém cloudu, aby udělal většinu těžké práce a klientské zařízení provedlo část dekódování vykreslených obrázků. Je to technika, kterou Nvidia používá její platforma pro streamování her GeForce Now, který poskytuje lehkým výpočetním zařízením přístup ke grafice GeForce umístěné na okrajovém cloudu.

„Existují různé přístupy, kdy můžete vše spustit jako webovou službu nebo vše virtualizovat jako virtuální počítač, kam pošlete své vstupy nahoru a vaše video streamuje dolů nebo máte konečně hybridní zásobník, kde oddělujete smyčky vykreslování a uvidíte, co můžete vlastně kompenzovat,“ řekl Raheel Khalid, hlavní inženýr laboratoře virtuální reality společnosti Verizon, přičemž každé řešení má své vlastní klady a nevýhody.

Ale když streamujete hry, budete muset hodnotit úspěšné zážitky pomocí nových metrik. Pasivní video streamy byly v pořádku s latencí 100 ms. Ale pro VR a hraní her vám server nejen tlačí obsah do očí, ale neustále posíláte vstup na server na základě vašeho pohybu ve hře. Server pak musí vykreslit nové video a poslat ho zpět do zařízení, aby bylo dekódováno a zobrazeno. Latence musí být dále snížena.

„Velkým určujícím faktorem pro uživatelskou zkušenost je odezva a my bojujeme proti vestibulárnímu očnímu reflexu – korelaci mezi co vidí vaše oči a kam vás umístí vaše vnitřní ucho, když otočíte hlavu – a to je řádově 7 ms,“ vysvětlil Seam s VR zkušenosti.

"Metrika, která nás nejvíce zajímá, je latence pohybu k fotonu, která se měří pomocí paketů s časovým razítkem," pokračoval Seam. „Měříme, na jaký vstup server reaguje, takže uživatel na vstup zasáhne. Ten paket odešleme na server s razítkem od uživatele, něco vykreslíme s tímto vstupem a pošleme zpět. A v zásadě můžeme měřit čas mezi tím, co uživatel provede pohyb, tím, co vykreslujeme, a tím, co se uživatelům skutečně zobrazí.“

AT&T předpovídá, že streamování her bude z velké části záviset na rozděleném vykreslování, kde servery vykreslí scény a těžké zvedání klientských zařízení bude využito pro chytré technologie, které rozšiřují herní zážitek. Seam si představuje, že klientská zařízení mohou vyplnit mezery pomocí triků, jako je technologie foveating pro VR. „Nechceme, aby byla klientská strana zahlcena snahou kompenzovat síť, takže čím těsněji jsme schopni propojit výkon sítě s výkon softwarové vrstvy těchto aplikací, tím více je můžeme nechat dělat to, co by dělat měli, a nenechat je pouze síťovými řešeními,“ ona řekla.

To se liší od historického vztahu, který mělo cloudové hraní se sítí. V minulosti se cloudové herní platformy snažily kompenzovat nepředvídatelnost sítě odesíláním obrovského množství dat v naději, že některé z těchto datových paketů dorazí. Když dorazí, mnoho z těchto paketů je zpožděno nebo je mimo provoz, což zatěžuje klientské zařízení, aby tyto pakety dekódovalo a přeskupilo včas a řádně.

„Číslo latence samo o sobě je důležité, ale ještě důležitější je rozložení této latence, a to je něco, s čím se opravdu můžeme 5G a edge,“ pokračovala s tím, že jitter neboli proměnlivost latence hraje významnou roli ve výkonu streamování.

Model plug-in společnosti Verizon

Hybridní přístup Verizonu je z velké části založen na aplikacích a operátor spolupracoval s Unreal Engine na vytvoření zásuvného modulu založeného na okrajích, který umožní rozdělené streamy.

„Když máme tento ekosystém s velmi komplexními hrami – které mají velký potenciál vykreslování, které musí stihnout hodně v krátkém čase a musíte také udržovat 60 nebo Obnovovací frekvence 120 Hz na vašem zařízení, kde přijímáte své vstupy a nikdy nedochází k chvění nebo zpoždění – podíváme se na to, jak tyto dvě věci oddělujete, a začali jsme vytvářet nový paradigma pro herní enginy, kde můžete provést určité kroky vykreslování a zatlačit je na okraj nebo do cloudu a oddělit je od vstupních smyček, které máte na svém zařízení,“ Khaleed řekl.

"A to je hlavně to, na co se zaměřujeme - budoucnost tohoto hlavního vykreslovacího balíčku a jak toho dosáhneme," pokračoval Khaleed. „Jak vezmete vstup a aktualizaci rámce a oddělíte je od věcí, které potřebujete? Když jsme šli a vytvořili tento plugin pro Unreal Engine a prozkoumali jsme, jak vytváříte rozdělené zásobníky vykreslování, zjistili jsme, co si vezmete a posunete se na okraj a co se můžete pohnout nahoru mrak."

Bez ohledu na přístup se Seam i Khaleed shodují, že ztráta snímků je hlavním faktorem úspěšného streamování her. Hráčům může být jedno, jestli některé efekty – jako osvětlení nebo stíny – mohou být zpožděny o jeden nebo dva snímky. To, co způsobuje nebo narušuje uživatelský dojem, jsou vstupní zpoždění a ztráta snímků.

„Hardcorové hráče to zajímá. Pokud dojde ke ztrátě rámce, bude to konec této služby. Nikdy se nevrátíš a proč? Je to příliš velký dopad,“ řekl Khaleed. „Příležitostný hráč může být přijatelný a tolerantní, ale na konci dne jsme vybudovali svatý grál: Jak oddělit smyčku aktualizací hry a aktualizaci vyrovnávací paměti hry od těch nejnáročnějších operace.”

Ekonomika 5G

Vzhledem k tomu, že interaktivní streamování, stejně jako hraní her, je složitější na poskytování, operátoři očekávají, že budou účtovat příplatek za hráče, kteří požadují stabilnější síťový zážitek na 5G.

"Je to mnohem složitější, protože nemůžete udělat něco tak jednoduchého, jako je postupné stahování," řekl John Benko, výzkumník v laboratoři Orange's Silicon Valley. „Vzhledem k tomu, že mluvíme o skutečném prosazení 10, 50, 100, 200 Mbps přes bezdrátový kanál, nebude to něco, co může dělat každý a očekávat, že zaplatí přesně stejnou cenu, jakou nyní platí za streamování 2 Mb/s signál. Ekonomiku tedy bude třeba pečlivě zvážit, abychom viděli, jak ji můžeme proměnit v realitu pro lidi, kteří ji chtějí.“

Benko vysvětlil, že část výhod používání 5G sítě spočívá v tom, že operátoři mohou vytvářet síťové segmenty pro konkrétní případy použití, nabízející větší spolehlivost a stabilitu pro zákazníky, kteří jsou ochotni zaplatit více.

Příležitostná návštěvnost z mobilního telefonu může mít například prioritu z důvodu přetížení, ale pokud je vaše klientské zařízení Sítě, které jsou poskytovány pro hraní her nebo VR, mohou nabídnout zaručený zážitek se slibným rozsahem latence pro toto použití. Kromě hraní her lze kritické aplikace, jako je vzdálená chirurgie, poskytovat ještě vyšší prioritní vrstvě, aby se předešlo jakémukoli potenciálnímu přerušení sítě, které by mohlo aplikaci ohrozit.

Ačkoli 5G slibuje splnit hodně pro hraní her a další použití, cena zůstává velkým faktorem pro mobilní přijetí streamování her.

Doporučení redakce

• CES 2023: Razer Edge 5G je působivý (a zavádějící) herní handheld
• Tencent a Logitech vyrábějí kapesní zařízení pro cloudové hry
• Velcí hráči 5G dělají odvážné a vzrušující předpovědi pro rok 2022
• Lenovo a AT&T spojí své síly na nových 5G laptopech, které začínají na pouhých 420 USD
• Nyní Apple nemá žádnou výmluvu, aby 5G mimo MacBook