Приложение Nvidia Smart Paintbrush превращает рисунки в фотореалистичные изображения

Фото исследователей Nvidia GauGAN
NVIDIA

Новое приложение для рисования, дополненное функциями глубокого обучения, вскоре сможет превратить ваши простые эскизы и рисунки в блестящие и реалистичные произведения искусства.

Нвидиа недавно объявлено разработка GauGAN, интеллектуального приложения для рисования, использующего глубокое обучение модель для создания фотореалистичных версий простых рисунков, созданных художниками-людьми. Название приложения GauGAN отсылает как к французскому художнику-постимпрессионисту Полю Гогену, так и к использованию приложением генеративно-состязательных сетей (GAN) для создания реалистичных изображений.

Рекомендуемые видео

Так как же работает GauGAN? Согласно заявлению Nvidia, приложение похоже на «умную кисть», которая заполняет детали вашего рисунка (так называемая «карта сегментации»). По сути, вы предоставляете схему того, что хотите, и маркируете каждый сегмент, диктуя, каким он должен быть. После этого GauGAN вступит во владение, дополнив дополнительные детали, чтобы сделать ваши рисунки более реалистичными:

Связанный

  • Nvidia отказывается от RTX 4070 и переходит к более дешевым вариантам
  • У Nvidia может быть еще один монстр-графический процессор в разработке, и цена может быть возмутительной
  • Разработчик заявляет, что может превратить ваш AMD 6800 XT в Nvidia 3090 Ti

«Обученная на миллионе изображений модель глубокого обучения затем заполняет ландшафт потрясающими Результаты: нарисуйте пруд, и близлежащие элементы, такие как деревья и камни, появятся в виде отражений на вода. Поменяйте метку сегмента с «травы» на «снег», и все изображение изменится на зимнюю сцену, где прежде покрытое листвой дерево становится бесплодным».

Превращение эскизов в фотореалистичные шедевры

GAN, используемые в GauGAN, по сути, представляют собой партнерство двух сетей: генератора и дискриминатора. В рамках этого партнерства генератор создает серию возможных изображений, а дискриминатор действует как своего рода редактор, который учит генератор, «как улучшить реалистичность его синтетических изображений». изображений."

Также стоит отметить, что, хотя GauGAN использует свои обширные знания о других изображениях для создания эти рисунки, эти рисунки по-прежнему считаются оригинальными работами, поскольку приложение генерирует новые изображений.

Новое приложение для рисования от Nvidia не ограничивается только природными сценами или пейзажами — оно также может добавлять здания, дороги и даже людей. GauGAN также позволяет художникам добавлять фильтры стилей. Такие фильтры включают имитацию стиля конкретного художника или настройку освещения изображения от дневной до ночной сцены.

Неясно, будет ли GauGAN когда-либо выпущен для потребительского использования, но ожидается, что он станет особенно полезным инструментом для архитекторов, градостроителей и даже разработчиков игр.

Рекомендации редакции

  • Мирное предложение Nvidia не работает
  • Новый инструмент Guardrails от Nvidia решает самую большую проблему с чат-ботами с искусственным интеллектом
  • Nvidia, возможно, работает над огромным четырехслотовым графическим процессором
  • Как работает DLSS 3 от Nvidia (и почему AMD FSR пока не может догнать его)
  • Новый инструмент AMD сравнивает свои графические процессоры с графическими процессорами Nvidia, но есть одна загвоздка.

Обновите свой образ жизниDigital Trends помогает читателям быть в курсе быстро меняющегося мира технологий благодаря всем последним новостям, забавным обзорам продуктов, содержательным редакционным статьям и уникальным кратким обзорам.