A kanadai Montrealban tartott Neurális Információfeldolgozási Konferencián az Nvidia kutatói bebizonyították, hogy a mesterséges intelligencia erejét felhasználva szintetikus, mégis valósághű jeleneteket jeleníthet meg részletekkel és textúrák. A kutatók azt állítják, hogy a munka még csak a kezdeti szakaszban van, és nem világos, hogy mikor lesz a technológia a fogyasztók rendelkezésére bocsátják, de nagy lehetőségek rejlenek az Nvidia mesterséges intelligencia által vezérelt megjelenítésében játéktér.
"Ez a munka a számítógépes grafika neurális hálózatok segítségével történő megjelenítésének új módjáról szól" - mondta Bryan Catanzaro, az Nvidia Applied Deep Learning részlegének alelnöke egy konferenciahívásban. A kutatók alapvetően azt akarták tudni, hogyan alkalmazhatják az A.I. a számítógépes grafika jobbá tétele, a megoldás pedig az, hogy a gépi tanulást alkalmazzák a valós videókon, hogy új grafikákat készítsenek.
Ajánlott videók
„Olyan rendszert építettünk fel, amely a fizikai világ magas szintű ábrázolását veszi – alapvetően egy videovázlatot készítünk, és azt renderelt jelenetté alakítjuk” – mondta Catanzaro. „A modell megérti a valós világban lévő objektumok magas szintű információit, majd kidolgozza azokat, hogy textúra- és világítási információkat adjon hozzá. A cél az, hogy új jeleneteket tudjunk szintetizálni grafikával.”
A gépi tanulást használják a meglévő videók elemzésére, az Nvidia pedig számítógépes látási technikákat alkalmazna, hogy címkéket adjon az objektumokhoz és tulajdonságaikhoz. Ez azt jelenti, hogy A.I. képes lenne felismerni egy városi városképet, és megérteni, milyen tárgyak például a fák, az autók vagy az épületek.
Az Nvidia szerint ez a technológia a meglévő kutatásokból származik, például a Berkeley-i Kaliforniai Egyetemen. A vállalat korábban más, A.I.-alapú renderelési technikákat is bemutatott, köztük olyat is, amelyik igen távolítsa el a zajt a képről.
A kutatóknak sikerült valós idejű renderelést elérniük Tensor Core GPU-n, de a konferencián az Nvidia bemutatta a technológiát a Titan V kártyáján. „Bár ezt bármilyen processzoron megteheti, a valós idejű szempont sok A.I-t igényel. áteresztőképesség” – magyarázta Catanzaro, megjegyezve, hogy a Tensor Core GPU fontos.
Azáltal, hogy képes tartalmat létrehozni és hozzáadni a virtuális világokhoz, a játékpiac nagymértékben profitálhat a kutatás által létrehozott munkából. A fejlesztők például „újramasterálhatják” a régi játékokat a régi címek újrarenderelésével, hogy nagyfelbontású látványelemeket adhassanak hozzá, vagy kis erőfeszítéssel új szinteket adhatnak a meglévő játékokhoz.
Ennek egyik alapvető példájaként a felhasználók videót készíthetnek magukról, feltölthetik egy játékba, és a renderelés képes lesz rendkívül személyre szabott avatarokat létrehozni a játékban való használatra. Az Nvidia most nyílt forráskódú kutatása során kapott kódot, de Catanzaro felhívja a figyelmet arra, hogy az ezen a területen végzett korai munka jobban megfelel az informatikusoknak, mint a játékfejlesztőknek.
Egy külön demóban az Nvidia bemutatta, hogy képes elemezni a táncmozdulatokat – például a népszerű zenei videóból Gangnam stílus – és átadja ezeket a mozdulatokat egy másik személynek, ugyanazzal a számítógépes látástechnikával. "Elemezzük a személy kódját, és ez lesz a vázlatunk" - mondta Catanzaro. "És a modell megjeleníti a célszemélyt a vázlat alapján."
Az Nvidia felhívja a figyelmet, hogy ez még korai fázisú technológia, de frissítheti a grafikát is egy meglévő játékot, és képezzen modellt valós képekkel, hogy újra renderelje a régi játékokat, hogy jobban nézzen ki. Mivel a technológia megköveteli a számítógéptől, hogy elemezze a való világban ismert objektumokat, Catanzaro felhívja a figyelmet arra, hogy nem fog működni olyan fantasztikus dolgokon, mint például a Mikulás manóinak megjelenítése. Elismeri, elméletben meg lehet tanítani a számítógépet, hogy tündéket jelenítsen meg, de fizikai elfeket kell létrehozni, és képeket kell rögzíteni, hogy a számítógép megtanulhassa.
Mint a sugárkövetés technológiát, amelyet az Nvidia legújabb RTX sorozatán vezettek be grafikus kártyák A fogyasztók számára a vállalat azt mondta, hogy ezt az A.I.-alapú megjelenítést hibrid módon használják, és nem helyettesítik a hagyományos renderelési technikákat. Ehelyett az A.I.-alapú renderelés a hagyományos grafikus renderelő motorokkal való együttélésre és használatára szolgál.
Egyelőre nem világos, hogy ez a technológia mikor jelenik meg a játékpiacon. Ez akár néhány évig is eltarthat – spekulált optimistán Catanzaro. Kombinálva sugárkövetés, az A.I.-alapú jelenetmegjelenítés minőségi látványt biztosít a játékcímekben, amelyek valós időben jelennek meg.
Szerkesztői ajánlások
- Kipróbáltam az Nvidia új RTX funkcióját, és ez javította a PC-s játékok legrosszabb részét
- A legjobb szerzők fizetést követelnek az AI-cégektől munkájuk felhasználásáért
- A Wix a ChatGPT segítségével segít egy teljes webhely gyors felépítésében
- Ez a titokzatos Nvidia GPU egy abszolút szörnyűség – és most kaptunk még egy pillantást
- Az Nvidia RTX 4060 talán mégsem lesz akkora csalódás
Frissítse életmódjátA Digital Trends segítségével az olvasók nyomon követhetik a technológia rohanó világát a legfrissebb hírekkel, szórakoztató termékismertetőkkel, éleslátó szerkesztőségekkel és egyedülálló betekintésekkel.
