Auf der Neural Information Processing Conference in Montreal, Kanada, haben Nvidia-Forscher gezeigt, dass dies der Fall ist könnte die Kraft der künstlichen Intelligenz nutzen, um synthetische und dennoch realistische Szenen mit Details und Details darzustellen Texturen. Forscher behaupten, dass sich die Arbeiten noch in einem frühen Stadium befinden und es unklar ist, wann die Technologie verfügbar sein wird für Verbraucher freigegeben, es besteht jedoch großes Potenzial für das auf künstlicher Intelligenz basierende Rendering von Nvidia Spielraum.
„Bei dieser Arbeit geht es um eine neue Art der Darstellung von Computergrafiken mithilfe neuronaler Netze“, sagte Bryan Catanzaro, Vizepräsident für angewandtes Deep Learning bei Nvidia, in einer Telefonkonferenz. Im Grunde wollten die Forscher wissen, wie sie KI anwenden können. um Computergrafiken zu verbessern, und die Lösung besteht darin, maschinelles Lernen auf reale Videos anzuwenden, um neue Grafiken zu rendern.
Empfohlene Videos
„Wir haben ein System entwickelt, das High-Level-Darstellungen der physischen Welt erstellt – im Grunde nehmen wir eine Videoskizze und wandeln diese in eine gerenderte Szene um“, sagte Catanzaro. „Das Modell versteht High-Level-Informationen von Objekten in der realen Welt und arbeitet diese dann weiter aus, um Textur- und Beleuchtungsinformationen hinzuzufügen. Ziel ist es, neue Szenen mit Grafiken synthetisieren zu können.“
Maschinelles Lernen wird verwendet, um vorhandene Videos zu analysieren, und Nvidia würde Computer-Vision-Techniken anwenden, um Objekten und ihren Eigenschaften Beschriftungen hinzuzufügen. Das bedeutet, dass K.I. wäre in der Lage, ein städtisches Stadtbild zu erkennen und zu verstehen, welche Objekte beispielsweise Bäume, Autos oder Gebäude sind.
Diese Technologie basiert laut Nvidia auf bestehenden Forschungsergebnissen, beispielsweise der University of California in Berkeley. Das Unternehmen hat in der Vergangenheit andere KI-basierte Rendering-Techniken vorgestellt, darunter eine, die dies tun würde Rauschen aus einem Bild entfernen.
Den Forschern gelang es, Echtzeit-Rendering auf einer Tensor-Core-GPU zu erreichen, doch für die Konferenz demonstrierte Nvidia die Technologie auf seiner Titan V-Karte. „Obwohl Sie dies auf jedem Prozessor tun können, erfordert der Echtzeitaspekt eine Menge KI. Durchsatz“, erklärte Catanzaro und wies darauf hin, dass die Tensor Core GPU wichtig sei.
Durch die Möglichkeit, Inhalte zu erstellen und sie in virtuelle Welten einzufügen, könnte der Spielemarkt von der Arbeit dieser Forschung stark profitieren. Entwickler könnten beispielsweise alte Spiele „remastern“, indem sie alte Titel neu rendern, um hochauflösende Grafiken hinzuzufügen, oder sie könnten mit geringem Aufwand neue Level zu bestehenden Spielen hinzufügen.
Ein einfaches Beispiel dafür, wie dies funktionieren würde: Benutzer können ein Video von sich selbst aufnehmen, es in ein Spiel hochladen und durch das Rendering können hochgradig personalisierte Avatare für die Verwendung im Spiel erstellt werden. Nvidia hat den Code aus seiner Forschung derzeit als Open Source bereitgestellt, Catanzaro weist jedoch darauf hin, dass die frühen Arbeiten auf diesem Gebiet eher für Informatiker als für Spieleentwickler geeignet seien.
In einer separaten Demo demonstrierte Nvidia, dass es Tanzbewegungen analysieren kann – wie aus dem beliebten Musikvideo Gangnam Style – und diese Bewegungen mithilfe derselben Computer-Vision-Techniken auf eine andere Person übertragen. „Wir analysieren den Code der Person und daraus wird unsere Skizze“, sagte Catanzaro. „Und das Modell stellt die Zielperson anhand dieser Skizze dar.“
Nvidia weist darauf hin, dass es sich hierbei noch um eine Technologie im Frühstadium handelt, man die Grafik aber auch upgraden kann Erstellen Sie ein vorhandenes Spiel und trainieren Sie ein Modell anhand realer Bilder, um alte Spiele neu zu rendern, damit sie besser aussehen. Da die Technologie erfordert, dass der Computer Objekte analysiert, die in der realen Welt bekannt sind, warnt Catanzaro, dass sie bei fantastischen Dingen wie der Darstellung der Elfen des Weihnachtsmanns nicht funktionieren wird. Theoretisch, gibt er zu, kann man dem Computer beibringen, Elfen darzustellen, aber man muss physische Elfen erstellen und Bilder aufnehmen, damit der Computer lernen kann.
Wie Raytracing Technologie, die in Nvidias jüngster RTX-Serie eingeführt wurde Grafikkarten Für Verbraucher sagte das Unternehmen, dass dieses KI-basierte Rendering auf hybride Weise verwendet wird und nicht dazu gedacht ist, traditionelle Rendering-Techniken zu ersetzen. Stattdessen soll KI-basiertes Rendering koexistieren und mit herkömmlichen Grafik-Rendering-Engines verwendet werden.
Derzeit ist unklar, wann diese Technologie auf den Gaming-Markt kommen wird. Es könnte nur ein paar Jahre dauern, spekulierte Catanzaro optimistisch. Kombiniert mit Raytracing, A.I.-basiertes Szenenrendering liefert hochwertige visuelle Darstellungen in Spieltiteln, die in Echtzeit gerendert werden.
Empfehlungen der Redaktion
- Ich habe die neue RTX-Funktion von Nvidia getestet und sie hat den schlimmsten Teil des PC-Gamings behoben
- Top-Autoren verlangen von KI-Firmen eine Bezahlung für die Nutzung ihrer Arbeit
- Wix verwendet ChatGPT, um Ihnen beim schnellen Aufbau einer gesamten Website zu helfen
- Diese mysteriöse Nvidia-GPU ist eine absolute Monstrosität – und wir haben uns gerade einen weiteren Blick darauf geworfen
- Nvidias RTX 4060 dürfte doch keine so große Enttäuschung sein
Werten Sie Ihren Lebensstil aufDigital Trends hilft Lesern mit den neuesten Nachrichten, unterhaltsamen Produktrezensionen, aufschlussreichen Leitartikeln und einzigartigen Einblicken, den Überblick über die schnelllebige Welt der Technik zu behalten.
