Nvidias A.I. og Ray Tracing lager Moonwalk-video-selfies på månen

I tillegg til å lansere 10 nye RTX Studio bærbare datamaskiner rettet mot skapere på SIGGRAPH, annonserte Nvidia også noe av arbeidet som forskningsteamene deres har gjort innen kunstig intelligens, utvidet virkelighet og datamaskin grafikk. På 50-årsjubileet for månelandingen Apollo 11, viste Nvidia frem hvordan ray tracing-teknologi fra RTX-grafikkortet brukes til å visuelt forbedre bildene tatt av NASA for 50 år siden. På SIGGRAPH går Nvidias innsats for å minnes Apollo 11 et skritt videre, og gir romfans muligheten til å overlappe seg selv i en kort videoklipp, som om de var astronautene Neil Armstrong og Buzz Aldrin, ved å bruke A.I. og kraften til strålesporing for å gjengi disse videoene sanntid.

"Det vi gjør er å bruke kunstig intelligens for å sikte et kamera og folk bare i gateklærne sine, for å kunne gjøre 3D-positurestimering," forklarte Rob Estes, Nvidia TKTK. "Vi vet hvor de er i 3D-rommet, og vi vet hvordan lemmene deres beveger seg, så vi tegner det ved å bruke

Går månevandring på månevandring

Hollywood-regissører for visuelle effekter har gjort noe lignende i årevis ved å bruke en grønn skjerm og skuespillere iført dress med prikker for å gjenskape lemmerbevegelser, men strålesporing og A.I. ta dette et skritt videre ved å eliminere behovet for spesialisert utstyr og skuespillere. "Du kan gjøre dette hvor som helst du kan filme noen," utdypet Estes om fordelene med A.I.-aktivert strålesporing i dette måneeksemplet. I hovedsak kan SIGGRAPH-deltakere filme en kort videomontasje av seg selv i Aldrins og Armstrongs romdrakt som gjør månevandringen som om de var på månen som en del av Apollo 11-oppdraget.

"Vi skal ha en mock-up av måneoverflaten og månelanderen, og vi skal få la dem se hva det ville være som for dem å være på månen.» sa han, med alle lyseffektene og gjengivelsen utført i sanntid. "Dette er svært ledende forskning, og ingen har gjort dette før. Du kjemmer A.I. og strålesporing på en måte som har mange, mange praktiske fordeler.» Disse fordelene hjelper ikke bare Hollywood og dets visuelle effektteam, men også designere og forskere som prøver å løse vanskelige problemer med forskningsestimering, Nvidia utvidet.

Foveated gjengivelse med reseptbelagte briller

Nvidia ønsker å få gjengivelse for utvidede og virtuelle virkelighetsapplikasjoner til å virke mer realistiske og skarpe, og de bruker sin avanserte gjengivelsesteknologi for å oppnå dette. Det teamet av forskere ved Nvidia har gjort er lagt til støtte for reseptbelagte linser, det første for industrien. Selv om dette fortsatt er i det tidlige forskningsstadiet akkurat nå, ser Nvidia for seg en dag hvor brukere av reseptbelagte briller ikke trenger å bruke separate briller fra enhetene deres for utvidet virkelighet.

Nvidia jobber med flere typer skjermer for å kunne bygge VR- eller AR-skjermen kongruent med de reseptbelagte brillene du måtte ha. "Dette er en stor sak," sa Estes. "Du har aldri vært i stand til å se 20/20 før fordi det rett og slett ikke var synsstyrken for disse skjermene."

På samme måte som ray tracing kan bringe livaktige filmiske effekter til videospill, foveated gjengivelse kan få AR-scener og bilder til å virke mer realistiske med bedre oppløsning ved å spare grafikkkraft. I stedet for å gjengi hele scenen, lar foveated gjengivelse skaperne bare gjengi den midtre delen av scenen i høy fidelity, som er der øynene dine vanligvis fokuserer, og de perifere områdene kan gjengis i mindre detalj for å spare på GPU makt.

"Så vi jobber for å sikre at vi sporer hvor spillet ditt er, og bruker dette slik at du blir raskere bildefrekvenser og bedre grafikk for å gjøre utvidet virkelighet, eller dette kan brukes på virtuell virkelighet også,» sa Estes.

GauGAN, A.I. kunstner, er frigjort

Tidligere viste Nvidia hvordan det er GauGAN tegneverktøy kan gjøre selv de kunstutfordrede blant oss til kunstnere ved å la deg tegne komplekse, livs-livslandskap med bare noen få enkle strøk ved å utnytte kraften til kunstig intelligens. De A.I.-tegnede scenene, avslørte Nvidia, har blitt brukt i noen store Hollywood-filmer også som bakgrunn, med studioer som overlapper elementer som de ønsket å sette den generelle stemningen for klippet.

I stedet for å bruke A.I. for å identifisere elementer i en scene, som en hund eller en katt, bruker GauGAN, som navnet tilsier, et generativt motstandsnettverk, eller GAN. Ved å spesifisere hvor himmelen er ved å tegne en horisontlinje og hvor havet møter himmelen, begynner GauGAN å "tegne" scenen med skyer og bølger, og brukeren kan legge til steiner og sjøklipper til dette sjølandskapet, og gjengi scenen med riktige skygger og refleksjoner. Så i stedet for å identifisere objekter i et bilde, hjelper GAN med å fylle ut bildet med en realistisk oppretting og gjengivelse av scenen, forklarte Nvidia.

Gitt populariteten til verktøyet, avslørte Nvidia at det vil utvide tilgangen til GauGAN for alle. På dette tidspunktet sa Estes at det ikke er noen planer om å tjene penger på GauGAN, til tross for dets kreative arbeid i filmindustrien, og at selskapet rett og slett bare nyter gleden som andre mennesker får av bruker det.

Redaktørenes anbefalinger

• Nvidia debuterer Portal: Prelude RTX, og du kan spille den gratis
• 5 fantastiske AI-funksjoner i Photoshop du kan bruke nå
• Nvidias superdatamaskin kan bringe en ny æra av ChatGPT
• 3 grunner til at du fortsatt bør kjøpe en Nvidia GPU over AMD
• Hvis du har et Nvidia-grafikkort, kan det hende at CPU-en din lider akkurat nå

Oppgrader livsstilen dinDigitale trender hjelper leserne å følge med på den fartsfylte teknologiverdenen med alle de siste nyhetene, morsomme produktanmeldelser, innsiktsfulle redaksjoner og unike sniktitter.