Nvidias A.I. og Ray Tracing laver Moonwalk-video-selfies på månen

Udover at lancere 10 nye RTX Studio bærbare computere målrettet skabere på SIGGRAPH, annoncerede Nvidia også noget af arbejdet som dets forskerhold har beskæftiget sig med inden for kunstig intelligens, augmented reality og computer grafik. På 50-årsdagen for Apollo 11-månelandingen viste Nvidia, hvordan ray tracing-teknologi fra deres RTX-grafikkort bruges til at visuelt forbedre billederne fanget af NASA for 50 år siden. På SIGGRAPH går Nvidias indsats for at fejre Apollo 11 et skridt videre, og giver fans af rummet mulighed for at overlejre sig selv i en kort videoklip, som om de var astronauterne Neil Armstrong og Buzz Aldrin, ved at bruge A.I. og strålesporingens kraft til at gengive disse videoer realtid.

"Det, vi gør, er at bruge kunstig intelligens til at rette et kamera og folk bare i deres gadetøj, for at kunne lave 3D-positurestimering," forklarede Rob Estes, Nvidia TKTK. "Vi ved, hvor de er i 3D-rummet, og vi ved, hvordan deres lemmer bevæger sig, så vi tegner det vha.

Går månevandring på månevandring

Hollywood visuelle effektinstruktører har gjort noget lignende i årevis ved at bruge en grøn skærm og motion-capture skuespillere iført jakkesæt med prikker for at replikere lemmerbevægelser, men strålesporing og A.I. tage dette et skridt videre ved at eliminere behovet for specialiseret udstyr og aktører. "Du kan gøre dette hvor som helst, hvor du kan filme nogen," uddybede Estes om fordelene ved A.I.-aktiveret strålesporing i dette måneeksempel. I det væsentlige kan SIGGRAPH-deltagere filme en kort videomontage af sig selv i Aldrins og Armstrongs rumdragt, der laver månevandringen, som om de var på månen som en del af Apollo 11-missionen.

"Vi skal have en mock-up af måneoverfladen og månelanderen, og vi får lov til at lade dem se, hvad det ville være som for dem at være på månen.,” sagde han, med alle lyseffekter og gengivelse udført i realtid. "Dette er meget avanceret forskning, og ingen har gjort dette før. Du kæmmer A.I. og strålesporing på en måde, der har mange, mange praktiske fordele." Disse fordele hjælper ikke kun Hollywood og dets visuelle effekthold, men også designere og forskere, der forsøger at løse svære problemer med forskningsestimering, Nvidia udvidet.

Foveated gengivelse med receptpligtige briller

Nvidia ønsker at få rendering til augmented og virtual reality-applikationer til at fremstå mere realistisk og sprød, og det anvender dens fovede renderingsteknologi for at opnå dette. Hvad teamet af forskere hos Nvidia har gjort, er tilføjet support til receptpligtige linser, en første for industrien. Selvom dette stadig er i den tidlige forskningsfase lige nu, forestiller Nvidia sig en dag, hvor brugere af receptpligtige briller ikke behøver at bære separate briller fra deres augmented reality-enheder.

Nvidia arbejder med flere typer skærme for at kunne bygge VR- eller AR-skærmen kongruent med de receptbriller, du måtte have. "Dette er en stor sag," sagde Estes. "Du har aldrig været i stand til at se 20/20 før, fordi der bare ikke var synsstyrken til disse skærme."

På samme måde som ray tracing kan bringe livagtige filmiske effekter til videospil, foveated gengivelse kan få AR-scener og billeder til at fremstå mere realistiske med bedre opløsning ved at spare grafikkraft. I stedet for at gengive hele scenen, giver foveated gengivelse skabere mulighed for blot at gengive den midterste del af scenen i høj fidelity, som er hvor dine øjne typisk fokuserer, og de perifere områder kan gengives i mindre detaljer for at spare på GPU strøm.

"Så vi arbejder på at sikre, at vi sporer, hvor dit spil er, og anvender dette, så du bliver hurtigere billedhastigheder og bedre grafik til at lave augmented reality, eller dette kunne også anvendes på virtual reality,« sagde Estes.

GauGAN, A.I. kunstner, er befriet

Tidligere viste Nvidia, hvordan dens GauGAN tegneværktøj kan gøre selv de kunstudfordrede blandt os til kunstnere ved at give dig mulighed for at tegne komplekse, liv-liv landskaber med blot et par enkle strøg ved at udnytte kraften i kunstigt intelligens. De A.I.-tegnede scener, afslørede Nvidia, er også blevet brugt i nogle store Hollywood-film som kulisser, hvor studierne overlejrede elementer, som de ønskede at sætte den overordnede stemning for klippet.

I stedet for at bruge A.I. til at identificere elementer i en scene, som en hund eller en kat, bruger GauGAN, som navnet antyder, et generativt modstandsnetværk eller GAN. Ved at angive, hvor himlen er ved at tegne en horisontlinje, og hvor havet møder himlen, begynder GauGAN at "tegne" scenen med skyer og bølger, og brugeren kan tilføje klipper og havklipper til dette havlandskab og gengive scenen med ordentlige skygger og refleksioner. Så i stedet for at identificere objekter i et billede, hjælper GAN med at udfylde billedet med en realistisk skabelse og gengivelse af scenen, forklarede Nvidia.

I betragtning af værktøjets popularitet afslørede Nvidia, at det vil udvide adgangen til GauGAN til alle. På nuværende tidspunkt sagde Estes, at der ikke er nogen planer om at tjene penge på GauGAN på trods af dets kreative arbejde i filmindustrien, og at virksomheden simpelthen bare nyder den glæde, som andre mennesker får af bruger det.

Redaktørernes anbefalinger

• Nvidia debuterer Portal: Prelude RTX, og du kan spille det gratis
• 5 fantastiske AI-funktioner i Photoshop, du kan bruge nu
• Nvidias supercomputer kan bringe en ny æra af ChatGPT
• 3 grunde til at du stadig bør købe en Nvidia GPU over AMD
• Hvis du har et Nvidia-grafikkort, kan din CPU lide lige nu

Opgrader din livsstilDigital Trends hjælper læserne med at holde styr på den hurtige teknologiske verden med alle de seneste nyheder, sjove produktanmeldelser, indsigtsfulde redaktionelle artikler og enestående smugkig.