Nvidia Smart Paintbrush-app förvandlar klotter till fotorealistiska bilder

Nvidia GauGAN Forskare Foto
NVIDIA

En ny ritapp förbättrad med djupinlärningsfunktioner kan snart konvertera dina enkla skisser och klotter till lysande och realistiska konstverk.

Nvidia nyligen meddelat utvecklingen av GauGAN, en smart ritapp som använder en Djup lärning modell för att generera fotorealistiska versioner av enkla teckningar skapade av mänskliga konstnärer. Appens namn, GauGAN, syftar både på den franske postimpressionistiska målaren Paul Gauguin och appens användning av de generativa motstridiga nätverken (GAN) för att utveckla sina realistiska bilder.

Rekommenderade videor

Så hur fungerar GauGAN? Enligt Nvidias tillkännagivande är appen som en "smart målarpensel" som fyller i detaljerna i din ritning (refererad till som en "segmenteringskarta"). I huvudsak ger du en översikt över vad du vill ha och märker varje segment, dikterar vad det ska vara. Därifrån tar GauGAN över och fyller i de extra detaljerna för att göra dina ritningar mer realistiska:

Relaterad

  • Nvidia lägger ner RTX 4070 eftersom det vänder sig till billigare alternativ
  • Nvidia kan ha en annan monster-GPU på gång, och priset kan vara upprörande
  • Utvecklaren säger att det kan förvandla din AMD 6800 XT till en Nvidia 3090 Ti

"Tränad på en miljon bilder fyller djupinlärningsmodellen sedan ut landskapet med showstopping resultat: Rita i en damm, och närliggande element som träd och stenar kommer att visas som reflektioner i vatten. Byt en segmentetikett från "gräs" till "snö" och hela bilden ändras till en vinterscen, med ett tidigare lummigt träd som blir kargt."

Förvandla skisser till fotorealistiska mästerverk

GAN: erna som används i GauGAN är i huvudsak ett partnerskap mellan två nätverk, en generator och en diskriminator. Inom detta partnerskap utvecklar en generator en serie möjliga bilder och diskriminatorn fungerar som en sorts redaktör som lär generatorn "hur man förbättrar realismen i dess syntetiska bilder."

Det är också värt att notera att medan GauGAN använder sin omfattande kunskap om andra bilder för att skapa dessa ritningar, dessa ritningar betraktas fortfarande som originalverk eftersom appen genererar nya bilder.

Nvidias nya ritapp är inte bara begränsad till naturscener eller landskap – den kan också lägga till i byggnader, vägar eller till och med människor. GauGAN låter även artister lägga till stilfilter. Sådana filter inkluderar att efterlikna en specifik artists stil eller justera bildens ljussättning från en dag till en nattscen.

Det är oklart om GauGAN någonsin kommer att släppas för konsumentbruk, men det förväntas vara ett särskilt användbart verktyg för arkitekter, stadsplanerare och till och med spelutvecklare.

Redaktörens rekommendationer

  • Nvidias fredserbjudande fungerar inte
  • Nvidias nya Guardrails-verktyg fixar det största problemet med AI-chatbotar
  • Nvidia kanske arbetar på en enorm quad-slot GPU
  • Hur Nvidias DLSS 3 fungerar (och varför AMD FSR inte kan komma ikapp just nu)
  • AMD: s nya verktyg jämför sina GPU: er med Nvidias, men det finns en hake

Uppgradera din livsstilDigitala trender hjälper läsare att hålla koll på den snabba teknikvärlden med alla de senaste nyheterna, roliga produktrecensioner, insiktsfulla redaktioner och unika smygtittar.