Ved Neural Information Processing Conference i Montreal, Canada, demonstrerede Nvidia-forskere, at de kunne bruge kraften fra kunstig intelligens til at gengive syntetiske, men realistiske, scener med detaljer og teksturer. Forskere hævder, at arbejdet stadig er i sin tidlige fase, og det er uklart, hvornår teknologien vil være frigivet til forbrugerne, men der er et stort potentiale for Nvidias kunstige intelligens-drevne gengivelse i spilleplads.
"Dette arbejde handler om en ny måde at gengive computergrafik ved hjælp af neurale netværk," sagde Nvidias Vice President for Applied Deep Learning Bryan Catanzaro i et telefonmøde. Grundlæggende ønskede forskere at vide, hvordan de kan anvende A.I. at gøre computergrafik bedre, og løsningen er at anvende maskinlæring på videoer fra den virkelige verden for at gengive ny grafik.
Anbefalede videoer
"Vi har bygget et system, der tager repræsentationer på højt niveau af den fysiske verden - dybest set tager en videoskitse og konverterer den til en gengivet scene," sagde Catanzaro. "Modellen forstår information på højt niveau om objekter i den virkelige verden, og uddyber dem derefter for at tilføje tekstur og lysinformation. Målet er at kunne syntetisere nye scener med grafik.”
Maskinlæring bruges til at analysere eksisterende videoer, og Nvidia ville anvende computervisionsteknikker til at tilføje etiketter til objekter og deres egenskaber. Det betyder, at A.I. ville være i stand til at genkende et urbant bybillede og forstå, hvilke objekter der for eksempel er træer, biler eller bygninger.
Denne teknologi er afledt af eksisterende forskning, som den fra University of California, Berkeley, ifølge Nvidia. Virksomheden har tidligere vist andre A.I.-baserede gengivelsesteknikker, inklusive en, der ville fjerne støj fra et billede.
Forskere var i stand til at opnå realtidsgengivelse på en Tensor Core GPU, men til konferencen demonstrerede Nvidia teknologien på sit Titan V-kort. "Selvom du kan gøre dette på enhver processor, kræver realtidsaspektet en masse A.I. gennemstrømning," forklarede Catanzaro og bemærkede, at Tensor Core GPU'en er vigtig.
Ved at være i stand til at skabe indhold og tilføje dem til virtuelle verdener, kunne spilmarkedet drage stor fordel af det arbejde, der er skabt af denne forskning. Udviklere kunne for eksempel "remastere" gamle spil ved at gengive gamle titler for at tilføje high-definition visuals, eller de kunne tilføje nye niveauer til eksisterende spil med en lille indsats.
Som et grundlæggende eksempel på, hvordan dette ville fungere, kan brugere tage en video af sig selv, uploade den til et spil, og gengivelsen vil være i stand til at skabe meget personlige avatarer til brug i spillet. Nvidia har åbnet koden fra sin forskning lige nu, men Catanzaro advarer om, at det tidlige arbejde på dette felt er mere velegnet til computerforskere end spiludviklere.
I en separat demo viste Nvidia, at den kunne analysere dansebevægelser - som fra den populære musikvideo Gangnam Style — og overføre disse bevægelser til en anden person ved hjælp af de samme computersynsteknikker. "Vi analyserer personens kode, og det bliver vores skitse," sagde Catanzaro. "Og modellen gengiver målpersonen givet den skitse."
Nvidia advarer om, at dette stadig er en tidlig teknologi, men du kan også opgradere grafikken fra et eksisterende spil og træne en model på billeder fra den virkelige verden til at gengive gamle spil for at få dem til at se bedre ud. Fordi teknologien kræver, at computeren analyserer objekter, der er kendt i den virkelige verden, advarer Catanzaro om, at den ikke vil fungere på fantastiske ting, som at gengive julemandens nisser. I teorien, indrømmer han, kan du træne computeren til at gengive elvere, men du skal skabe fysiske elvere og fange billeder, så computeren kan lære det.
Ligesom strålesporing teknologi, der blev introduceret på Nvidias seneste RTX-serie grafikkort for forbrugere sagde virksomheden, at denne A.I.-baserede gengivelse bruges på en hybrid måde og ikke er beregnet til at erstatte traditionelle gengivelsesteknikker. I stedet er det meningen, at A.I.-baseret gengivelse skal eksistere side om side og bruges sammen med traditionelle grafikgengivelsesmotorer.
Lige nu er det uklart, hvornår denne teknologi kommer på spilmarkedet. Det kunne tage så lidt som et par år, spekulerede Catanzaro optimistisk. Kombineret med strålesporing, A.I.-baseret scenegengivelse vil levere kvalitetsvisuals i spiltitler, der gengives i realtid.
Redaktørernes anbefalinger
- Jeg testede Nvidias nye RTX-funktion, og den fiksede den værste del af pc-spil
- Topforfattere kræver betaling fra AI-virksomheder for at bruge deres arbejde
- Wix bruger ChatGPT til at hjælpe dig med hurtigt at bygge et helt websted
- Denne mystiske Nvidia GPU er en absolut monstrøsitet - og vi har lige fået et nyt look
- Nvidias RTX 4060 er måske alligevel ikke sådan en skuffelse
Opgrader din livsstilDigital Trends hjælper læserne med at holde styr på den hurtige teknologiske verden med alle de seneste nyheder, sjove produktanmeldelser, indsigtsfulde redaktionelle artikler og enestående smugkig.
