На конференции по обработке нейронной информации в Монреале, Канада, исследователи Nvidia продемонстрировали, что они могли бы использовать возможности искусственного интеллекта для визуализации синтетических, но реалистичных сцен с деталями и текстуры. Исследователи утверждают, что работа все еще находится на ранней стадии, и неясно, когда технология будет реализована. выпущен для потребителей, но существует большой потенциал для рендеринга на основе искусственного интеллекта от Nvidia в игровое пространство.
«Эта работа посвящена новому способу рендеринга компьютерной графики с использованием нейронных сетей», — заявил вице-президент Nvidia по прикладному глубокому обучению Брайан Катандзаро на телефонной конференции. По сути, исследователи хотели знать, как они могут применять ИИ. чтобы улучшить компьютерную графику, и решение состоит в том, чтобы применить машинное обучение к реальным видео для создания новой графики.
Рекомендуемые видео
«Мы создали систему, которая принимает высокоуровневые представления физического мира — по сути, берет видеоэскиз и преобразует его в визуализированную сцену», — сказал Катандзаро. «Модель понимает высокоуровневую информацию об объектах реального мира, а затем дорабатывает ее, добавляя информацию о текстуре и освещении. Цель состоит в том, чтобы иметь возможность синтезировать новые сцены с графикой».
Машинное обучение используется для анализа существующих видео, а Nvidia будет применять методы компьютерного зрения для добавления меток к объектам и их свойствам. Это означает, что А.И. сможет распознать городской городской пейзаж и понять, какими объектами являются, например, деревья, автомобили или здания.
По данным Nvidia, эта технология основана на существующих исследованиях, например, в Калифорнийском университете в Беркли. В прошлом компания демонстрировала другие методы рендеринга на основе искусственного интеллекта, в том числе тот, который убрать шум с изображения.
Исследователям удалось добиться рендеринга в реальном времени на графическом процессоре Tensor Core, но на конференции Nvidia продемонстрировала эту технологию на своей карте Titan V. «Хотя вы можете сделать это на любом процессоре, работа в реальном времени требует большого количества усилий искусственного интеллекта. пропускная способность», — объяснил Катанзаро, отметив, что графический процессор Tensor Core важен.
Имея возможность создавать контент и добавлять его в виртуальные миры, игровой рынок может получить большую выгоду от работы, созданной в результате этого исследования. Разработчики, например, могли «ремастерить» старые игры, перерисовывая старые игры и добавляя визуальные эффекты высокой четкости, или они могли без особых усилий добавлять новые уровни в существующие игры.
В качестве базового примера того, как это будет работать, пользователи могут снять свое видео, загрузить его в игру, а рендеринг позволит создавать высоко персонализированные аватары для использования в игре. Nvidia прямо сейчас открыла исходный код своего исследования, но Катандзаро предупреждает, что ранние работы в этой области больше подходят для ученых-компьютерщиков, чем для разработчиков игр.
В отдельной демо-версии Nvidia продемонстрировала, что может анализировать танцевальные движения — как в популярном музыкальном клипе. гангам стайл — и передать эти движения другому человеку, используя те же методы компьютерного зрения. «Мы анализируем код человека, и это становится нашим наброском», — сказал Катандзаро. «И модель отображает целевого человека по этому эскизу».
Nvidia предупреждает, что это все еще ранняя стадия технологии, но вы также можете обновить графику с существующую игру и обучить модель на изображениях реального мира, чтобы перерисовать старые игры, чтобы они выглядели лучше. Поскольку технология требует, чтобы компьютер анализировал объекты, известные в реальном мире, Катандзаро предупреждает, что она не будет работать с фантастическими вещами, такими как рендеринг эльфов Санты. Теоретически, признает он, можно научить компьютер отображать эльфов, но вам нужно создавать физических эльфов и захватывать изображения, чтобы компьютер мог их обучить.
Как трассировка лучей технология, представленная в последней серии RTX от Nvidia видеокарты Что касается потребителей, компания заявила, что этот рендеринг на основе искусственного интеллекта используется гибридным способом и не предназначен для замены традиционных методов рендеринга. Вместо этого рендеринг на основе искусственного интеллекта предназначен для сосуществования и использования с традиционными механизмами графического рендеринга.
На данный момент неясно, когда эта технология появится на игровом рынке. «Это может занять всего пару лет», — оптимистично предположил Катандзаро. В сочетании с трассировка лучейРендеринг сцен на основе искусственного интеллекта обеспечит качественную визуализацию в играх, которая отображается в реальном времени.
Рекомендации редакции
- Я протестировал новую функцию RTX от Nvidia, и она исправила худшую часть компьютерных игр.
- Ведущие авторы требуют от компаний, занимающихся искусственным интеллектом, оплату за использование их работ
- Wix использует ChatGPT, чтобы помочь вам быстро создать целый веб-сайт.
- Этот загадочный графический процессор Nvidia — настоящее чудовище — и мы только что увидели его еще раз.
- В конце концов, RTX 4060 от Nvidia, возможно, не станет таким уж разочарованием.
Обновите свой образ жизниDigital Trends помогает читателям быть в курсе быстро меняющегося мира технологий благодаря всем последним новостям, забавным обзорам продуктов, содержательным редакционным статьям и уникальным кратким обзорам.
