Nvidia Smart Paintbrush-app verandert doodles in fotorealistische afbeeldingen

Nvidia GauGAN-onderzoekers foto
NVIDIA

Een nieuwe tekenapp, uitgebreid met diepgaande leerfuncties, zou uw eenvoudige schetsen en krabbels binnenkort kunnen omzetten in briljante en realistische kunstwerken.

Nvidia onlangs aangekondigd de ontwikkeling van GauGAN, een slimme tekenapp die gebruik maakt van a diep leren model om fotorealistische versies te genereren van eenvoudige tekeningen gemaakt door menselijke kunstenaars. De naam van de app, GauGAN, verwijst zowel naar de Franse postimpressionistische schilder Paul Gauguin als naar het gebruik door de app van de generatieve vijandige netwerken (GAN's) om realistische beelden te ontwikkelen.

Aanbevolen video's

Dus hoe werkt GauGAN? Volgens de aankondiging van Nvidia is de app als een ‘slim penseel’ dat de details van je tekening invult (ook wel een ‘segmentatiekaart’ genoemd). In wezen geeft u de schets van wat u wilt en labelt u elk segment, waarbij u dicteert wat het zou moeten zijn. Van daaruit neemt GauGAN het over en vult de extra details in om uw tekeningen realistischer te maken:

Verwant

  • Nvidia laat de RTX 4070 achterwege omdat het overgaat op goedkopere opties
  • Nvidia heeft mogelijk nog een monster-GPU in de maak, en de prijs zou schandalig kunnen zijn
  • De ontwikkelaar zegt dat het je AMD 6800 XT in een Nvidia 3090 Ti kan veranderen

“Het deep learning-model is getraind op een miljoen afbeeldingen en vult vervolgens het landschap met showstopping resultaten: Teken een vijver en nabijgelegen elementen zoals bomen en rotsen verschijnen als reflecties in de vijver water. Verwissel een segmentlabel van ‘gras’ naar ‘sneeuw’ en het hele beeld verandert in een wintertafereel, waarbij een voorheen lommerrijke boom dor wordt.”

Schetsen veranderen in fotorealistische meesterwerken

De GAN's die in GauGAN worden gebruikt, zijn in wezen een partnerschap tussen twee netwerken, een generator en een discriminator. Binnen dit partnerschap ontwikkelt een generator een reeks mogelijke beelden en de discriminator fungeert als een soort editor die de generator leert “hoe hij het realisme van zijn synthetische versie kan verbeteren afbeeldingen."

Het is ook vermeldenswaard dat GauGAN zijn uitgebreide kennis van andere afbeeldingen gebruikt om te creëren Deze tekeningen worden nog steeds als originele werken beschouwd omdat de app nieuwe genereert afbeeldingen.

De nieuwe tekenapp van Nvidia is niet alleen beperkt tot natuurtaferelen of landschappen, maar kan ook gebouwen, wegen of zelfs mensen toevoegen. Met GauGAN kunnen artiesten ook stijlfilters toevoegen. Dergelijke filters omvatten het nabootsen van de stijl van een specifieke artiest of het aanpassen van de verlichting van het beeld van een dag- naar een nachtscène.

Het is onduidelijk of GauGAN ooit zal worden vrijgegeven voor consumentengebruik, maar er wordt verwacht dat het een bijzonder nuttig hulpmiddel zal zijn voor architecten, stedenbouwkundigen en zelfs game-ontwikkelaars.

Aanbevelingen van de redactie

  • Het vredesaanbod van Nvidia werkt niet
  • Nvidia’s nieuwe Guardrails-tool lost het grootste probleem met AI-chatbots op
  • Nvidia werkt mogelijk aan een enorme quad-slot GPU
  • Hoe Nvidia's DLSS 3 werkt (en waarom AMD FSR de achterstand voorlopig niet kan inhalen)
  • De nieuwe tool van AMD vergelijkt zijn GPU's met die van Nvidia, maar er zit een addertje onder het gras

Upgrade uw levensstijlMet Digital Trends kunnen lezers de snelle technische wereld in de gaten houden met het laatste nieuws, leuke productrecensies, inzichtelijke redactionele artikelen en unieke sneak peeks.