Vid Neural Information Processing Conference i Montreal, Kanada, visade Nvidia-forskare att de kunde använda kraften hos artificiell intelligens för att återge syntetiska, men ändå realistiska, scener med detaljer och texturer. Forskare hävdar att arbetet fortfarande är i ett tidigt skede, och det är oklart när tekniken kommer att vara släpps till konsumenter, men det finns stor potential för Nvidias artificiella intelligens-drivna rendering i spelutrymme.
"Det här arbetet handlar om ett nytt sätt att rendera datorgrafik med hjälp av neurala nätverk", sa Nvidias vicepresident för tillämpad djupinlärning Bryan Catanzaro i ett konferenssamtal. I grund och botten ville forskare veta hur de kan tillämpa A.I. att göra datorgrafik bättre, och lösningen är att tillämpa maskininlärning på verkliga videor för att rendera ny grafik.
Rekommenderade videor
"Vi har byggt ett system som tar representationer på hög nivå av den fysiska världen - i princip tar en videoskiss och konverterar den till en renderad scen," sa Catanzaro. "Modellen förstår information på hög nivå om objekt i den verkliga världen och utvecklar dem sedan för att lägga till textur- och ljusinformation. Målet är att kunna syntetisera nya scener med grafik.”
Maskininlärning används för att analysera befintliga videor och Nvidia skulle tillämpa datorseendetekniker för att lägga till etiketter på objekt och deras egenskaper. Detta innebär att A.I. skulle kunna känna igen en urban stadsbild och förstå vilka föremål som till exempel är träd, bilar eller byggnader.
Denna teknik kommer från befintlig forskning, som den från University of California, Berkeley, enligt Nvidia. Företaget har visat upp andra A.I.-baserade renderingstekniker tidigare, inklusive en som skulle göra det ta bort brus från en bild.
Forskare kunde uppnå realtidsrendering på en Tensor Core GPU, men för konferensen demonstrerade Nvidia tekniken på sitt Titan V-kort. "Även om du kan göra detta på vilken processor som helst, kräver realtidsaspekten mycket A.I. genomströmning”, förklarade Catanzaro och noterade att Tensor Core GPU: n är viktig.
Genom att kunna skapa innehåll och lägga till det i virtuella världar skulle spelmarknaden kunna dra stor nytta av det arbete som denna forskning skapat. Utvecklare kan till exempel "remastera" gamla spel genom att återrendera gamla titlar för att lägga till högupplösta bilder, eller så kan de lägga till nya nivåer till befintliga spel med liten ansträngning.
Som ett grundläggande exempel på hur detta skulle fungera kan användare ta en video av sig själva, ladda upp den till ett spel, och renderingen kommer att kunna skapa mycket personliga avatarer för användning i spelet. Nvidia har öppnat koden från sin forskning just nu, men Catanzaro varnar för att det tidiga arbetet inom detta område är mer lämpat för datavetare än spelutvecklare.
I en separat demo visade Nvidia att den kunde analysera dansrörelser - som från den populära musikvideon Gangnam stil — och överföra dessa rörelser till en annan person med samma datorseendetekniker. "Vi analyserar personens kod, och det blir vår skiss," sa Catanzaro. "Och modellen återger målpersonen med den skissen."
Nvidia varnar för att detta fortfarande är en teknik i ett tidigt skede, men du kan också uppgradera grafiken från ett befintligt spel och träna en modell på verkliga bilder för att återrendera gamla spel för att få dem att se bättre ut. Eftersom tekniken kräver att datorn analyserar objekt som är kända i den verkliga världen, varnar Catanzaro för att det inte kommer att fungera på fantastiska saker, som att rendera tomtens tomtar. I teorin, medger han, kan du träna datorn att rendera tomtar, men du måste skapa fysiska tomtar och ta bilder för att datorn ska lära sig.
Som strålspårning teknik som introducerades på Nvidias senaste RTX-serie grafikkort för konsumenter sa företaget att denna A.I.-baserade rendering används på ett hybridsätt och inte är tänkt att ersätta traditionella renderingstekniker. Istället är A.I.-baserad rendering tänkt att samexistera och användas med traditionella grafikrenderingsmotorer.
Just nu är det oklart när denna teknik kommer ut på spelmarknaden. Det kan ta så lite som ett par år, spekulerade Catanzaro optimistiskt. Kombinerad med strålspårning, A.I.-baserad scenrendering kommer att leverera kvalitetsbilder i speltitlar som renderas i realtid.
Redaktörens rekommendationer
- Jag testade Nvidias nya RTX-funktion, och den fixade den värsta delen av PC-spel
- Toppförfattare kräver betalning från AI-företag för att de använder deras arbete
- Wix använder ChatGPT för att hjälpa dig att snabbt bygga en hel webbplats
- Denna mystiska Nvidia GPU är en absolut monstrositet - och vi har precis fått en ny look
- Nvidias RTX 4060 kanske inte är en sådan besvikelse trots allt
Uppgradera din livsstilDigitala trender hjälper läsare att hålla koll på den snabba teknikvärlden med alla de senaste nyheterna, roliga produktrecensioner, insiktsfulla redaktioner och unika smygtittar.
