Nvidias A.I. och Ray Tracing gör Moonwalk-videoselfies på månen

Förutom att lansera 10 nya RTX Studio-bärbara datorer som riktar sig till kreatörer på SIGGRAPH, tillkännagav Nvidia också en del av arbetet som dess forskarlag har gjort inom områdena artificiell intelligens, förstärkt verklighet och dator grafik. På 50-årsdagen av Apollo 11-månlandningen visade Nvidia hur ray tracing-teknik från dess RTX-grafikkort används för att förbättra bilderna visuellt fångade av NASA för 50 år sedan. På SIGGRAPH går Nvidias ansträngning att fira Apollo 11 ett steg längre, vilket ger rymdfantaster möjlighet att överlagra sig själva i en kort videoklipp, som om de vore astronauterna Neil Armstrong och Buzz Aldrin, genom att använda A.I. och kraften med strålspårning för att återge dessa videor realtid.

"Vad vi gör är att använda artificiell intelligens för att rikta in en kamera och människor bara i sina gatukläder, för att kunna göra 3D-posituppskattning," förklarade Rob Estes, Nvidia TKTK. "Vi vet var de är i 3D-rymden, och vi vet hur deras lemmar rör sig, så vi ritar det med

Gör månpromenaden på månvandringen

Hollywood-regissörer för visuella effekter har gjort något liknande i åratal med hjälp av en grön skärm och skådespelare med motion-capture i kostym med prickar för att replikera lemrörelser, men strålspårning och A.I. ta detta ett steg längre genom att eliminera behovet av specialiserad utrustning och skådespelare. "Du kan göra det här var som helst där du kan filma någon," utvecklade Estes fördelarna med A.I.-aktiverade strålspårning i detta månexempel. I huvudsak kan SIGGRAPH-deltagare filma ett kort videomontage av sig själva i Aldrins och Armstrongs rymddräkt när de gör månpromenaden som om de var på månen som en del av Apollo 11-uppdraget.

"Vi kommer att ha en mock-up av månytan och månlandaren, och vi kommer att få låta dem se vad det är skulle vara som för dem att vara på månen.”, sa han, med alla ljuseffekter och rendering utförda i realtid. "Det här är mycket spetsforskning, och ingen har gjort det här tidigare. Du kammar A.I. och strålspårning på ett sätt som har många, många praktiska fördelar.” Dessa fördelar hjälper inte bara Hollywood och dess team för visuella effekter men också designers och forskare som försöker lösa svåra problem med forskningsuppskattning, Nvidia expanderat.

Foveated rendering med receptbelagda glasögon

Nvidia vill få rendering för förstärkta och virtuella verklighetsapplikationer att framstå mer realistiska och skarpa, och de tillämpar sin föreslagna renderingsteknik för att åstadkomma detta. Vad teamet av forskare på Nvidia har gjort är att lägga till stöd för receptbelagda linser, en första för branschen. Även om detta fortfarande är i det tidiga forskningsstadiet just nu, föreställer sig Nvidia en dag där bärare av receptbelagda glasögon inte behöver bära separata glasögon från sina augmented reality-enheter.

Nvidia arbetar med flera typer av displayer för att kunna bygga VR- eller AR-displayen kongruent med de receptglasögon som du kan ha. "Det här är en stor sak," sa Estes. "Du har aldrig kunnat se 20/20 förut eftersom det helt enkelt inte fanns synskärpan för dessa skärmar."

På samma sätt som ray tracing kan ge verklighetstrogna filmiska effekter till videospel, foveated rendering kan få AR-scener och bilder att se mer realistiska ut med bättre upplösning genom att spara grafikkraft. Istället för att rendera hela scenen, tillåter foveated rendering skapare att bara rendera mitten av scenen i hög trohet, vilket är där dina ögon vanligtvis fokuserar, och de perifera områdena kan återges i mindre detalj för att spara på GPU kraft.

"Så vi arbetar för att se till att vi spårar var ditt spel är och tillämpar detta så att du blir snabbare bildhastigheter och bättre grafik för att göra förstärkt verklighet, eller så kan detta tillämpas på virtuell verklighet också", sa Estes.

GauGAN, A.I. konstnär, är befriad

Tidigare visade Nvidia hur det är GauGAN ritverktyget kan förvandla även den konstutmanade bland oss ​​till konstnärer genom att låta dig rita komplexa, livs-livslandskap med bara några enkla drag genom att utnyttja kraften hos artificiellt intelligens. De AI-ritade scenerna, avslöjade Nvidia, har också använts i några stora Hollywood-filmer som bakgrunder, med studior som överlagrade element som de ville sätta den övergripande stämningen för klippet.

Istället för att använda A.I. för att identifiera element i en scen, som en hund eller en katt, använder GauGAN, som namnet antyder, ett generativt motståndsnätverk, eller GAN. Genom att specificera var himlen är genom att rita en horisontlinje och var havet möter himlen, börjar GauGAN "rita" scenen med moln och vågor, och användaren kan lägga till stenar och havsklippor till detta havslandskap, vilket gör scenen med ordentliga skuggor och reflektioner. Så istället för att identifiera objekt i en bild, hjälper GAN till att fylla i bilden med en realistisk skapelse och rendering av scenen, förklarade Nvidia.

Med tanke på verktygets popularitet avslöjade Nvidia att det kommer att utöka tillgången till GauGAN för alla. Vid den här tiden sa Estes att det inte finns några planer på att tjäna pengar på GauGAN, trots dess kreativa arbete i filmindustrin, och att företaget helt enkelt bara njuter av glädjen som andra människor får av använder det.

Redaktörens rekommendationer

• Nvidia debuterar Portal: Prelude RTX, och du kan spela det gratis
• 5 fantastiska AI-funktioner i Photoshop du kan använda nu
• Nvidias superdator kan skapa en ny era av ChatGPT
• 3 anledningar till att du fortfarande bör köpa en Nvidia GPU över AMD
• Om du har ett Nvidia-grafikkort kan din CPU lida just nu

Uppgradera din livsstilDigitala trender hjälper läsare att hålla koll på den snabba teknikvärlden med alla de senaste nyheterna, roliga produktrecensioner, insiktsfulla redaktioner och unika smygtittar.