Nvidia Smart Paintbrush-app gjør doodler til fotorealistiske bilder

Nvidia GauGAN Forskerfoto
NVIDIA

En ny tegneapp forbedret med dyplæringsfunksjoner kan snart konvertere dine enkle skisser og kruseduller til strålende og realistiske kunstverk.

Nvidia nylig annonsert utviklingen av GauGAN, en smart tegneapp som bruker en dyp læring modell for å generere fotorealistiske versjoner av enkle tegninger laget av menneskelige kunstnere. Navnet på appen, GauGAN, refererer både til den franske post-impresjonistiske maleren Paul Gauguin og appens bruk av generative adversarial networks (GANs) for å utvikle sine realistiske bilder.

Anbefalte videoer

Så hvordan fungerer GauGAN? I følge Nvidias kunngjøring er appen som en "smart pensel" som fyller ut detaljene i tegningen din (referert til som et "segmenteringskart"). I hovedsak gir du oversikten over hva du vil ha og merker hvert segment, og dikterer hva det skal være. Derfra tar GauGAN over, og fyller ut de ekstra detaljene for å gjøre tegningene dine mer realistiske:

I slekt

  • Nvidia dropper RTX 4070 når den går over til billigere alternativer
  • Nvidia kan ha en annen monster-GPU på gang, og prisen kan være opprørende
  • Utvikler sier at den kan gjøre AMD 6800 XT om til en Nvidia 3090 Ti

"Trent på en million bilder, fyller dyplæringsmodellen deretter ut landskapet med showstopping resultater: Tegn i en dam, og nærliggende elementer som trær og steiner vil vises som refleksjoner i vann. Bytt ut en segmentetikett fra «gress» til «snø», og hele bildet endres til en vinterscene, med et tidligere bladrikt tre som blir goldt.»

Endre skisser til fotorealistiske mesterverk

GAN-ene som brukes i GauGAN er i hovedsak et partnerskap mellom to nettverk, en generator og en diskriminator. Innenfor dette partnerskapet utvikler en generator en rekke mulige bilder og diskriminatoren fungerer som en slags redaktør som lærer generatoren "hvordan man kan forbedre realismen til det syntetiske Bilder."

Det er også verdt å merke seg at mens GauGAN bruker sin omfattende kunnskap om andre bilder for å lage disse tegningene, disse tegningene anses fortsatt som originale verk siden appen genererer nye Bilder.

Nvidias nye tegneapp er ikke bare begrenset til naturscener eller landskap – den kan også legge til bygninger, veier eller til og med mennesker. GauGAN lar også artister legge til stilfiltre. Slike filtre inkluderer etterligning av en spesifikk kunstners stil eller justering av belysningen av bildet fra en dag til en nattscene.

Det er uklart om GauGAN noen gang vil bli utgitt for forbrukerbruk, men det forventes å være et spesielt nyttig verktøy for arkitekter, byplanleggere og til og med spillutviklere.

Redaktørenes anbefalinger

  • Nvidias fredstilbud fungerer ikke
  • Nvidias nye Guardrails-verktøy løser det største problemet med AI-chatbots
  • Nvidia jobber kanskje med en enorm quad-slot GPU
  • Hvordan Nvidias DLSS 3 fungerer (og hvorfor AMD FSR ikke kan ta igjen for nå)
  • AMDs nye verktøy sammenligner sine GPU-er med Nvidias, men det er en hake

Oppgrader livsstilen dinDigitale trender hjelper leserne å følge med på den fartsfylte teknologiverdenen med alle de siste nyhetene, morsomme produktanmeldelser, innsiktsfulle redaksjoner og unike sniktitter.