Op de Neural Information Processing Conference in Montreal, Canada, hebben Nvidia-onderzoekers aangetoond dat dit het geval is zou de kracht van kunstmatige intelligentie kunnen gebruiken om synthetische, maar realistische scènes met details weer te geven texturen. Onderzoekers beweren dat het werk zich nog in de beginfase bevindt en dat het onduidelijk is wanneer de technologie er zal zijn vrijgegeven voor consumenten, maar er is een groot potentieel voor de door kunstmatige intelligentie aangedreven weergave van Nvidia in de speelruimte.
“Dit werk gaat over een nieuwe manier om computergraphics weer te geven met behulp van neurale netwerken”, zei Bryan Catanzaro, vice-president van Applied Deep Learning van Nvidia tijdens een telefonische vergadering. Kortom, onderzoekers wilden weten hoe ze A.I. om computergraphics beter te maken, en de oplossing is om machinaal leren toe te passen op video's uit de echte wereld om nieuwe graphics weer te geven.
Aanbevolen video's
"We hebben een systeem gebouwd dat representaties op hoog niveau van de fysieke wereld maakt - in feite een videoschets nemen en die omzetten in een gerenderde scène", zei Catanzaro. “Het model begrijpt informatie op hoog niveau over objecten in de echte wereld en werkt deze vervolgens uit om textuur- en verlichtingsinformatie toe te voegen. Het doel is om nieuwe scènes met graphics te kunnen synthetiseren.”
Machine learning wordt gebruikt om bestaande video's te analyseren en Nvidia zou computer vision-technieken toepassen om labels aan objecten en hun eigenschappen toe te voegen. Dit betekent dat A.I. zou een stedelijk stadsgezicht kunnen herkennen en begrijpen welke objecten bijvoorbeeld bomen, auto's of gebouwen zijn.
Deze technologie is afgeleid van bestaand onderzoek, zoals dat van de University of California, Berkeley, aldus Nvidia. Het bedrijf heeft in het verleden andere op AI gebaseerde renderingtechnieken laten zien, waaronder een die dat wel zou doen ruis uit een afbeelding verwijderen.
Onderzoekers waren in staat om real-time weergave te realiseren op een Tensor Core GPU, maar voor de conferentie demonstreerde Nvidia de technologie op zijn Titan V-kaart. “Hoewel je dit op elke processor kunt doen, vereist het realtime aspect veel AI. doorvoersnelheid”, legt Catanzaro uit, waarbij hij opmerkt dat de Tensor Core GPU belangrijk is.
Door inhoud te kunnen creëren en deze aan virtuele werelden toe te voegen, zou de gamingmarkt enorm kunnen profiteren van het werk dat uit dit onderzoek voortkomt. Ontwikkelaars kunnen bijvoorbeeld oude games ‘remasteren’ door oude titels opnieuw te renderen en high-definition beelden toe te voegen, of ze kunnen met weinig moeite nieuwe niveaus aan bestaande games toevoegen.
Als basisvoorbeeld van hoe dit zou werken: gebruikers kunnen een video van zichzelf maken, deze naar een game uploaden en met de weergave kunnen zeer gepersonaliseerde avatars worden gemaakt voor gebruik in de game. Nvidia heeft de code uit haar onderzoek nu open source gemaakt, maar Catanzaro waarschuwt dat het vroege werk op dit gebied meer geschikt is voor computerwetenschappers dan voor game-ontwikkelaars.
In een aparte demo liet Nvidia zien dat het dansbewegingen kon analyseren, zoals uit de populaire videoclip Gangnam stijl - en deze bewegingen overbrengen naar een andere persoon met behulp van dezelfde computervisietechnieken. “We analyseren de code van de persoon, en dat wordt onze schets”, zei Catanzaro. "En het model geeft de beoogde persoon weer, gegeven die schets."
Nvidia waarschuwt dat dit nog een technologie in een vroeg stadium is, maar je kunt ook de grafische kaart upgraden een bestaand spel en train een model op basis van beelden uit de echte wereld om oude spellen opnieuw te renderen zodat ze er beter uitzien. Omdat de technologie vereist dat de computer objecten analyseert die in de echte wereld bekend zijn, waarschuwt Catanzaro dat deze niet zal werken bij fantastische dingen, zoals het weergeven van de elfen van de Kerstman. In theorie, zo geeft hij toe, kun je de computer trainen om elfen weer te geven, maar je moet fysieke elfen maken en beelden vastleggen zodat de computer het kan leren.
Zoals de raytracing technologie die werd geïntroduceerd op de recente RTX-serie van Nvidia grafische kaarten voor consumenten zei het bedrijf dat deze op AI gebaseerde weergave op een hybride manier wordt gebruikt en niet bedoeld is om traditionele weergavetechnieken te vervangen. In plaats daarvan is het de bedoeling dat op AI gebaseerde rendering naast traditionele grafische rendering-engines kan bestaan en gebruikt kan worden.
Op dit moment is het onduidelijk wanneer deze technologie op de gamingmarkt zal verschijnen. Het kan maar een paar jaar duren, speculeerde Catanzaro optimistisch. Gecombineerd met raytracingOp AI gebaseerde scèneweergave levert hoogwaardige beelden op in gametitels die in realtime worden weergegeven.
Aanbevelingen van de redactie
- Ik heb de nieuwe RTX-functie van Nvidia getest en deze loste het slechtste deel van pc-gaming op
- Topauteurs eisen betaling van AI-bedrijven voor het gebruik van hun werk
- Wix gebruikt ChatGPT om u te helpen snel een hele website te bouwen
- Deze mysterieuze Nvidia GPU is een absoluut monster – en we hebben er zojuist nog eens naar gekeken
- Nvidia’s RTX 4060 is misschien toch niet zo’n teleurstelling
Upgrade uw levensstijlMet Digital Trends kunnen lezers de snelle technische wereld in de gaten houden met het laatste nieuws, leuke productrecensies, inzichtelijke redactionele artikelen en unieke sneak peeks.
