Nvidia's AI en Ray Tracing maakt Moonwalk-videoselfies op de maan

Naast de lancering van 10 nieuwe RTX Studio-laptops gericht op makers op SIGGRAPH, kondigde Nvidia ook een deel van het werk aan dat zijn onderzoeksteams hebben gedaan op het gebied van kunstmatige intelligentie, augmented reality en computer afbeeldingen. Op de 50e verjaardag van de maanlanding van Apollo 11 liet Nvidia zien hoe ray tracing-technologie van zijn RTX grafische kaart wordt gebruikt om visueel de afbeeldingen verbeteren 50 jaar geleden vastgelegd door NASA. Op SIGGRAPH gaat Nvidia’s poging om Apollo 11 te herdenken een stap verder, waardoor fans van de ruimte de kans krijgen zichzelf in een korte videoclip, alsof ze astronauten Neil Armstrong en Buzz Aldrin zijn, door gebruik te maken van A.I. en de kracht van ray tracing om deze video's weer te geven echte tijd.

“Wat we doen is kunstmatige intelligentie gebruiken om een ​​camera en mensen in gewone kleding te richten, om 3D-pose-schattingen te kunnen doen”, legt Rob Estes van Nvidia TKTK uit. “We weten waar ze zich in de 3D-ruimte bevinden, en we weten hoe hun ledematen bewegen. Dus dat tekenen we met behulp van

De moonwalk doen op de moonwalk

Regisseurs van visuele effecten in Hollywood doen al jaren iets soortgelijks met een groen scherm en motion-capture-acteurs in pakken met stippen om de beweging van ledematen na te bootsen, maar ray tracing en A.I. ga nog een stap verder door de noodzaak van gespecialiseerde apparatuur te elimineren acteurs. “Je zou dit overal kunnen doen waar je iemand kunt filmen”, legde Estes uit over de voordelen van AI-ondersteuning raytracing in dit maanvoorbeeld. In wezen kunnen SIGGRAPH-bezoekers een korte videomontage van zichzelf filmen in het ruimtepak van Aldrin en Armstrong terwijl ze de maanwandeling maken alsof ze op de maan zijn als onderdeel van de Apollo 11-missie.

‘We gaan een mock-up maken van het maanoppervlak en de maanlander, en we laten ze zien wat het is. Het zou net zijn alsof ze op de maan zouden zijn”, zei hij, met alle lichteffecten en weergave erin uitgevoerd echte tijd. “Dit is zeer toonaangevend onderzoek en niemand heeft dit eerder gedaan. Je combineert AI en ray tracing op een manier die heel veel praktische voordelen heeft.” Deze voordelen helpen niet alleen Hollywood en zijn teams voor visuele effecten, maar ook ontwerpers en onderzoekers die moeilijke problemen proberen op te lossen met onderzoeksschattingen, Nvidia uitgebreid.

Gefoveerde weergave met een bril op sterkte

Nvidia wil de rendering voor augmented- en virtual reality-applicaties realistischer en scherper laten lijken, en past hiervoor haar foveated rendering-technologie toe. Wat het team van onderzoekers bij Nvidia heeft gedaan, is ondersteuning toevoegen voor lenzen op sterkte, een primeur voor de branche. Hoewel dit zich momenteel nog in de vroege onderzoeksfase bevindt, voorziet Nvidia een dag waarop dragers van brillen op sterkte geen aparte bril hoeven te dragen naast hun augmented reality-apparaten.

Nvidia werkt met verschillende soorten beeldschermen om het VR- of AR-beeldscherm congruent te kunnen maken met de bril op sterkte die u mogelijk heeft. ‘Dit is een groot probleem’, zei Estes. "Je hebt nog nooit 20/20 kunnen zien, omdat er gewoon niet de visuele scherpte was voor deze displays."

Op dezelfde manier waarop ray tracing levensechte filmische effecten in videogames kan brengen, foveated rendering kan ervoor zorgen dat AR-scènes en -afbeeldingen realistischer lijken met een betere resolutie door te behouden grafische kracht. In plaats van de hele scène weer te geven, kunnen makers met foveated rendering alleen het middelste deel van de scène hoog weergeven natuurgetrouwheid, dat is waar uw ogen normaal gesproken op focussen, en de perifere gebieden kunnen minder gedetailleerd worden weergegeven om GPU te besparen stroom.

“Dus we doen ons best om ervoor te zorgen dat we bijhouden waar je spel zich bevindt, en passen dit toe zodat je sneller wordt framesnelheden en betere graphics bij augmented reality, of dit zou ook kunnen worden toegepast op virtual reality”, aldus Estes.

GauGAN, de AI kunstenaar, wordt vrijgelaten

In het verleden liet Nvidia zien hoe dat moet GauGAN tekentool kan zelfs de kunstbeoefenaars onder ons in kunstenaars veranderen door je in staat te stellen complexe, levens-leven-landschappen met slechts een paar simpele bewegingen door gebruik te maken van de kracht van kunstmatig intelligentie. De door AI getekende scènes, zo onthulde Nvidia, zijn ook in een aantal grote Hollywood-films als achtergrond gebruikt, waarbij studio's elementen over elkaar heen legden die ze de algemene sfeer van de clip wilden bepalen.

In plaats van het gebruik van A.I. Om elementen van een scène, zoals een hond of een kat, te identificeren, gebruikt GauGAN, zoals de naam al aangeeft, een generatief vijandig netwerk, oftewel GAN. Door te specificeren waar de lucht zich bevindt door een horizonlijn te tekenen en waar de oceaan de lucht raakt, begint GauGAN de scène te ‘tekenen’ met wolken en golven, en de gebruiker kan rotsen en zeekliffen aan dit zeegezicht toevoegen, waardoor de scène de juiste schaduwen krijgt en reflecties. Dus in plaats van objecten in een afbeelding te identificeren, helpt GAN de afbeelding in te vullen met een realistische creatie en weergave van de scène, legt Nvidia uit.

Gezien de populariteit van de tool heeft Nvidia onthuld dat het de toegang tot GauGAN voor iedereen zal uitbreiden. Op dit moment zei Estes dat er geen plannen zijn om inkomsten te genereren met GauGAN, ondanks zijn creatieve werk in de Verenigde Staten filmindustrie, en dat het bedrijf simpelweg geniet van de vreugde waar andere mensen van genieten het gebruiken.

Aanbevelingen van de redactie

• Nvidia introduceert Portal: Prelude RTX en je kunt het gratis spelen
• 5 geweldige AI-functies in Photoshop die u nu kunt gebruiken
• De supercomputer van Nvidia kan een nieuw tijdperk van ChatGPT inluiden
• 3 redenen waarom je nog steeds een Nvidia GPU boven AMD zou moeten kopen
• Als u een grafische kaart van Nvidia heeft, heeft uw CPU momenteel mogelijk problemen

Upgrade uw levensstijlMet Digital Trends kunnen lezers de snelle technische wereld in de gaten houden met het laatste nieuws, leuke productrecensies, inzichtelijke redactionele artikelen en unieke sneak peeks.