Na konferenci o obdelavi nevronskih informacij v Montrealu v Kanadi so raziskovalci Nvidie dokazali, da so bi lahko uporabil moč umetne inteligence za upodabljanje sintetičnih, a realističnih prizorov s podrobnostmi in teksture. Raziskovalci trdijo, da je delo še v zgodnjih fazah in ni jasno, kdaj bo tehnologija na voljo potrošnikom, vendar obstaja velik potencial za Nvidijino upodabljanje, ki temelji na umetni inteligenci v igralni prostor.
"To delo se nanaša na nov način upodabljanja računalniške grafike z uporabo nevronskih mrež," je v konferenčnem klicu povedal Nvidiin podpredsednik za uporabno globoko učenje Bryan Catanzaro. V bistvu so raziskovalci želeli vedeti, kako lahko uporabijo A.I. za izboljšanje računalniške grafike, rešitev pa je uporaba strojnega učenja v videoposnetkih iz resničnega sveta, da bi upodobili novo grafiko.
Priporočeni videoposnetki
"Izgradili smo sistem, ki zajema visokonivojske predstavitve fizičnega sveta - v bistvu vzamemo video skico in jo pretvorimo v upodobljeno sceno," je dejal Catanzaro. »Model razume informacije na visoki ravni o predmetih v resničnem svetu in jih nato izdela, da doda informacije o teksturi in osvetlitvi. Cilj je sintetizirati nove prizore z grafiko.«
Strojno učenje se uporablja za analizo obstoječih videoposnetkov, Nvidia pa bi uporabila tehnike računalniškega vida za dodajanje oznak predmetom in njihovim lastnostim. To pomeni, da A.I. bi lahko prepoznal urbano mestno pokrajino in razumel, kateri predmeti so na primer drevesa, avtomobili ali zgradbe.
Ta tehnologija izhaja iz obstoječih raziskav, kot je tista s kalifornijske univerze Berkeley, poroča Nvidia. Podjetje je v preteklosti pokazalo druge tehnike upodabljanja, ki temeljijo na umetni inteligenci, vključno s tisto, ki bi odstranite šum iz slike.
Raziskovalcem je uspelo doseči upodabljanje v realnem času na GPU Tensor Core, vendar je Nvidia za konferenco predstavila tehnologijo na svoji kartici Titan V. »Čeprav lahko to storite na katerem koli procesorju, vidik v realnem času zahteva veliko A.I. prepustnost,« je pojasnil Catanzaro in opozoril, da je grafični procesor Tensor Core pomemben.
Z možnostjo ustvarjanja vsebin in njihovega dodajanja v virtualne svetove bi lahko trg iger veliko pridobil z delom, ustvarjenim s to raziskavo. Razvijalci bi lahko na primer »preoblikovali« stare igre s ponovnim upodabljanjem starih naslovov, da bi dodali vizualne elemente visoke ločljivosti, ali pa bi obstoječim igram z malo truda dodali nove ravni.
Kot osnovni primer, kako bi to delovalo, lahko uporabniki posnamejo video samega sebe, ga naložijo v igro, upodabljanje pa bo lahko ustvarilo zelo personalizirane avatarje za uporabo v igri. Nvidia je trenutno odprla kodo iz svojih raziskav, vendar Catanzaro opozarja, da je zgodnje delo na tem področju bolj primerno za računalniške znanstvenike kot za razvijalce iger.
V ločeni predstavitvi je Nvidia pokazala, da lahko analizira plesne gibe - kot iz priljubljenega glasbenega videa Gangnam Style — in prenese te poteze na drugo osebo z uporabo istih tehnik računalniškega vida. "Analiziramo kodo osebe in to postane naša skica," je dejal Catanzaro. "In model upodablja ciljno osebo glede na to skico."
Nvidia opozarja, da je to še vedno tehnologija v zgodnji fazi, vendar lahko grafiko nadgradite tudi iz obstoječo igro in usposobite model na slikah iz resničnega sveta za ponovno upodobitev starih iger, da bodo videti bolje. Ker tehnologija zahteva, da računalnik analizira predmete, ki so znani v resničnem svetu, Catanzaro opozarja, da ne bo delovala na fantastičnih stvareh, kot je upodabljanje Božičkovih škratov. V teoriji priznava, da lahko računalnik usposobite za upodabljanje vilinov, vendar morate ustvariti fizične viline in zajeti slike, da se jih računalnik nauči.
Kot sledenje žarkom tehnologijo, ki je bila predstavljena v Nvidijini nedavni seriji RTX grafične kartice za potrošnike je podjetje dejalo, da se to upodabljanje, ki temelji na umetni inteligenci, uporablja na hibriden način in ni namenjeno nadomestitvi tradicionalnih tehnik upodabljanja. Namesto tega naj bi upodabljanje, ki temelji na umetni inteligenci, sobivalo in se uporabljalo s tradicionalnimi mehanizmi za upodabljanje grafike.
Trenutno ni jasno, kdaj bo ta tehnologija prišla na trg iger. Catanzaro je optimistično špekuliral, da bi lahko trajalo le nekaj let. V kombinaciji z sledenje žarkom, bo upodabljanje prizorov na osnovi AI zagotovilo kakovostne vizualne podobe v naslovih iger, ki so upodobljene v realnem času.
Priporočila urednikov
- Preizkusil sem Nvidijino novo funkcijo RTX in popravila je najslabši del računalniškega igranja
- Najboljši avtorji zahtevajo plačilo od podjetij AI za uporabo njihovega dela
- Wix uporablja ChatGPT, da vam pomaga hitro zgraditi celotno spletno mesto
- Ta skrivnostna grafična enota Nvidia je prava pošast - in pravkar smo dobili še en pogled
- Nvidijin RTX 4060 morda vendarle ni tako razočaranje
Nadgradite svoj življenjski slogDigitalni trendi pomagajo bralcem slediti hitremu svetu tehnologije z vsemi najnovejšimi novicami, zabavnimi ocenami izdelkov, pronicljivimi uvodniki in enkratnimi vpogledi v vsebine.
