L'application Nvidia Smart Paintbrush transforme les griffonnages en images photoréalistes

Photo des chercheurs de Nvidia GauGAN
Nvidia

Une nouvelle application de dessin dotée de fonctions d'apprentissage profond pourrait bientôt convertir vos simples croquis et gribouillages en œuvres d'art brillantes et réalistes.

Nvidia récemment annoncé le développement de GauGAN, une application de dessin intelligente qui utilise un l'apprentissage en profondeur modèle pour générer des versions photoréalistes de dessins simples créés par des artistes humains. Le nom de l’application, GauGAN, fait référence à la fois au peintre postimpressionniste français Paul Gauguin et à l’utilisation par l’application des réseaux contradictoires génératifs (GAN) pour développer ses images réalistes.

Vidéos recommandées

Alors, comment fonctionne GauGAN? Selon l’annonce de Nvidia, l’application est comme un « pinceau intelligent » qui remplit les détails de votre dessin (appelé « carte de segmentation »). Essentiellement, vous fournissez les grandes lignes de ce que vous voulez et étiquetez chaque segment, en dictant ce qu'il est censé être. À partir de là, GauGAN prend le relais, remplissant les détails supplémentaires pour rendre vos dessins plus réalistes :

En rapport

  • Nvidia abandonne le RTX 4070 pour se tourner vers des options moins chères
  • Nvidia a peut-être un autre GPU monstre en préparation, et le prix pourrait être scandaleux
  • Le développeur dit qu'il peut transformer votre AMD 6800 XT en Nvidia 3090 Ti

« Entraîné sur un million d'images, le modèle d'apprentissage profond remplit ensuite le paysage d'images époustouflantes. résultats: dessinez un étang et les éléments à proximité, comme les arbres et les rochers, apparaîtront sous forme de reflets dans l'image. eau. Remplacez l'étiquette d'un segment de « herbe » par « neige » et l'image entière se transforme en une scène hivernale, avec un arbre autrefois feuillu devenu stérile.

Transformer les croquis en chefs-d'œuvre photoréalistes

Les GAN utilisés dans GauGAN sont essentiellement un partenariat entre deux réseaux, un générateur et un discriminateur. Au sein de ce partenariat, un générateur développe une série d'images possibles et le discriminateur agit comme une sorte d’éditeur qui apprend au générateur « comment améliorer le réalisme de son contenu synthétique ». images."

Il convient également de noter que même si GauGAN utilise sa connaissance approfondie d'autres images pour créer ces dessins, ces dessins sont toujours considérés comme des œuvres originales puisque l'application génère de nouvelles images.

La nouvelle application de dessin de Nvidia ne se limite pas aux scènes de nature ou aux paysages: elle peut également ajouter des bâtiments, des routes ou même des personnes. GauGAN permet également aux artistes d'ajouter des filtres de style. De tels filtres permettent notamment d'imiter le style d'un artiste spécifique ou d'ajuster l'éclairage de l'image d'une scène de jour à une scène de nuit.

On ne sait pas si GauGAN sera un jour mis à la disposition des consommateurs, mais il devrait être un outil particulièrement utile pour les architectes, les urbanistes et même les développeurs de jeux.

Recommandations des rédacteurs

  • L’offre de paix de Nvidia ne fonctionne pas
  • Le nouvel outil Guardrails de Nvidia résout le plus gros problème des chatbots IA
  • Nvidia travaille peut-être sur un énorme GPU à quatre emplacements
  • Comment fonctionne le DLSS 3 de Nvidia (et pourquoi AMD FSR ne peut pas rattraper son retard pour le moment)
  • Le nouvel outil d'AMD compare ses GPU à ceux de Nvidia, mais il y a un problème

Améliorez votre style de vieDigital Trends aide les lecteurs à garder un œil sur le monde en évolution rapide de la technologie avec toutes les dernières nouvelles, des critiques de produits amusantes, des éditoriaux perspicaces et des aperçus uniques.