Ta Twitterjev robot bo pobarval vsako črno-belo fotografijo

Barvanje enobarvnih fotografij je praksa, ki sega v najzgodnejše dni fotografije. Ker barvna fotografija večini potrošnikov ni bila na voljo vse do leta 1940, so člani javnosti, ki so želeli povečati realnost fotografij, pogosto eksperimentirali z ročnim barvanjem kot alternativo. To je bil neverjetno dolgotrajen trud, ki je vključeval akvarele, olja ali pastele - in rezultati, čeprav so vsekakor značilni, ni nujno, da izgledajo tako realistično, kot so morda njihovi ustvarjalci upal.

Danes je pretvarjanje črno-belih slik v barvne fotografije veliko lažje — rezultati pa veliko, veliko boljši. Kako enostavno? Vse kar morate storiti je, da objavite ali opazite enobarvno sliko na Twitterju in nanjo odgovorite z @colorize_bot. Kot bi priklical obarvanega Captain Planet, bo Colorize_bot – kot je znan – takoj začel delovati s svojimi digitalnimi Crayolami, tako da uporabniku pusti sveže večbarvno sliko in veselo: "Seveda, lepo, da sem vam pomagal!" Vse to se zgodi v prostoru le nekaj sekund.

In imate 21-letnega študenta računalništva in tehnike iz Ekvadorja – in nekaj izvrstnega A.I. orodja — v zahvalo za to.

Pandemični projekt

"Colorize_bot je brez dvoma moj najboljši projekt," je za Digital Trends povedal ustvarjalec Geovanny Zambrano.

Kot pri mnogih projektih, ki zdaj krožijo, je tudi Colorize_bot zaživel v digitalnem življenju zaradi pandemije. Ker je bil obtičal doma z "veliko prostega časa" na rokah, se je Zambrano odločil ustvariti bota za Twitter, da bi vadil svoje veščine JavaScripta.

Ta preprosta programska orodja z različno uporabnostjo se lahko uporabijo za izvajanje številnih avtonomnih dejanj na Twitterju – naj gre za tvitanje povezav do brezplačnih e-knjig na Amazonu ali mešanje naslovov novic za komični učinek. "Imel sem veliko zamisli," je dejal. »Od bota, ki vsako uro objavi motivacijsko besedno zvezo, do bota »urnega prevajalca«. Cilj projekta ni bil nikoli pridobiti sledilcev. Moj cilj je bil samo ustvariti [nekaj uporabnega.]«

Na tej točki se je spomnil YouTubovega videoposnetka, ki ga je videl sedem mesecev prej in je podrobno opisal, kako je mogoče strojno učenje uporabiti za predelavo starih fotografij. Zambrano je prišel s konceptom gradnje na nekaterih od teh A.I. orodja, ki so bila prosto dostopna na spletu, in jih preoblikovati v orodje za barvanje. Začel je 26. oktobra in delal mesec dni, vsak dan pa približno tri ali štiri ure.

Prva različica bota – omejena, ki se je lahko spopadla samo z eno samo sliko na tvit – je bila objavljena 28. novembra 2020.

Kako deluje Colorize_bot

Kadarkoli uporabnik označi Colorize_bot v tvitu, se ta takoj aktivira s pomočjo webhooka, ki monitorji za klic 24/7. Ko je omemba zajeta, obdelana in potrjena, nato zbere enobarvne slike in jih posreduje drugemu A.I. orodje. Tega ni ustvaril Zambrano, temveč je odprtokodni model, ki ga je razvil raziskovalec Jason Antic.

Kot opisano na Githubu, model uporablja variacijo Generative Adversarial Network (GAN), diskriminator in generator A.I. sistem, ki je bil prej uporabljen za ustvarjanje vsega lažna človeška genetska koda do A.I. slike. Orodje NoGAN se lahko uporablja za barvanje tako fotografij kot videa, čeprav slednji ne preseneča traja nekoliko dlje. Kot pojasnjuje Antic v objavi o modelu, niti on ni povsem prepričan, kako izloča podatke, kakršne uporablja za barvanje slik. Tega se samo nauči iz ogromnih količin podatkov, ki jih je nato mogoče usmeriti v pravo smer z uporabo ustreznih algoritmov.

»Najbolj domnevam, da se modeli učijo nekaj zanimivih pravil o tem, kako barvati na podlagi subtilne poteze, prisotne v črno-belih slikah, za katere zagotovo ne bi pričakoval, da obstajajo,« Antić piše. »Ta rezultat vodi do lepo determinističnih in doslednih rezultatov, kar pomeni, da nimate odločitev o barvanju modela sledi, ker niso poljubne. Poleg tega se zdijo izjemno robustni, tako da so upodobitve tudi v premikajočih se prizorih zelo dosledne.«

Dokončana slika se nato vrne Colorize_botu za objavo na Twitterju. Celoten sistem zajemanja prve omembe z odgovorom na tvit traja le 10 sekund v smislu obdelave. Vendar je bot programiran tako, da se odzove le vsakih 30 sekund, da ne bi kršil Twitterjevih pravil glede neželene pošte. Prav tako se odzove samo na eno omembo na uro, na uporabnika, kot način za prihranek pri infrastrukturnih stroških, ki si jih Zambrano kot študent ne more zlahka privoščiti.

"Trenutno plačujem približno 30 dolarjev na mesec, da ohranim projekt aktiven," je dejal. »To sem financiral sam s svojimi prihranki. V prihodnosti, ko tega ne bom mogel več plačevati, razmišljam, da bi zaprosil za kakšno donacijo ali sponzorstvo institucije, ki bi bila zainteresirana.«

Merilo uspeha

Bot ni popoln in tudi ni čudežni delavec. Slike nizke ločljivosti na primer dajejo rezultate nizke ločljivosti. Predvsem Zambrano je dejal, da se Colorize_bot slabo obnese, ko gre za barvanje slik mange, kar ljudje pogosto zahtevajo od njega. "Na tehnični ravni je to posledica dejstva, da je bil model za barvanje usposobljen z resničnimi slikami," je dejal. Ko ga prosimo, da pobarva slike drugačne vrste od tistih, na katerih je bil usposobljen, rezultati niso popolni.

Kljub temu se je v mnogih primerih izkazal za izjemno natančnega, kar je dovolj, da je Colorize_Bot že v nekaj kratkih mesecih zbral več kot 30.000 sledilcev na Twitterju. Hitro iskanje ljudi, ki ga pokličejo v storitev, razkrije, da se zahteva vsaj vsakih nekaj minut.

»Najboljše zgodbe, ki jih imam kot rezultat razvoja tega projekta, so bile zgodbe ljudi, ki so mi pisali in se mi zahvaljevali, ker sem pobarval stare fotografije njihovih sorodnikov,« je dejal Zambrano. Ena oseba mu je celo poslala fotografijo svoje mame z uokvirjeno fotografijo barvne podobe prednika. Težko je izračunati vrednost projekta, kot je ta, v denarnem smislu. Toda v smislu občutka, da so bili ti meseci kodiranja dobro porabljeni? Te zgodbe so pokazatelj, da je bil zmagovalec.

"Kakšen trenutek sem preživel tisto noč, bil je občutek zadovoljstva, veselja in optimizma," je dejal. "Ko sem videl to lepo mamo, ki je držala svoj izpis, sem vedel, da imajo lahko stvari, ki jih počnemo samo zato, da bi pomagali drugim, velikokrat velik vpliv."

Priporočila urednikov

• A.I. običajno ničesar ne pozabi, novi Facebookov sistem pa. Evo zakaj
• A.I. leta 2020 dosegel nekaj pomembnih mejnikov. Tukaj je povzetek