Tento Twitter Bot zafarbí akúkoľvek čiernobielu fotografiu

Farbenie monochromatických fotografií je prax, ktorá sa datuje od prvých dní fotografie. Keďže farebná fotografia nebola pre väčšinu spotrebiteľov dostupná až do 40. rokov 20. storočia, členovia verejnosti, ktorí chceli zlepšiť realitu fotografií, často experimentovali s ručným farbením ako alternatívou. Bolo to neuveriteľne časovo náročné úsilie zahŕňajúce akvarely, oleje alebo pastely – a výsledky, aj keď sú určite charakteristické, nemusia nevyhnutne vyzerať tak realisticky, ako môžu mať ich tvorcovia dúfal.

Dnes je premena čiernobielych obrázkov na plnofarebné fotografie oveľa jednoduchšie – a výsledky sú oveľa, oveľa lepšie. aké ľahké? Všetko, čo musíte urobiť, je uverejniť alebo nájsť monochromatický obrázok na Twitteri a odpovedať naň pomocou @colorize_bot. Colorize_bot – ako je známe – sa okamžite pustí do akcie so svojimi digitálnymi Crayolas, ako je privolanie farbiacu Captain Planet, zanechávajúc používateľovi svieži viacfarebný obrázok a veselé: „Samozrejme, rád vám pomôžem!“ To všetko sa deje v priestore niekoľkých sekúnd.

A máte 21-ročného študenta informatiky a inžinierstva z Ekvádoru – a nejakého šikovného A.I. nástroje — poďakovať za to.

Pandemický projekt

„Colorize_bot je bezpochyby môj najlepší projekt,“ povedal pre Digital Trends tvorca Geovanny Zambrano.

Ako pri mnohých projektoch, ktoré sú teraz v kolách, Colorize_bot sa v dôsledku pandémie dostal do digitálneho života. Zambrano, ktorý sa ocitol doma s „veľa voľného času“, sa rozhodol vytvoriť robota na Twitteri, aby si precvičil svoje zručnosti v JavaScripte.

Tieto jednoduché softvérové ​​nástroje s rôznou užitočnosťou môžu byť použité na vykonávanie rôznych autonómnych akcií na Twitteri – či už ide o tweetovanie odkazov na bezplatné e-knihy na Amazone alebo miešanie novinových titulkov pre komický efekt. "Mal som veľa nápadov," povedal. „Od robota, ktorý každú hodinu publikuje motivačnú frázu, až po robota ‚hodinového prekladateľa‘. Cieľom projektu nikdy nebolo získať nasledovníkov. Mojím cieľom bolo len vytvoriť [niečo užitočné.]“

V tomto momente si spomenul na video na YouTube, ktoré videl pred siedmimi mesiacmi a ktoré podrobne opisuje, ako možno strojové učenie použiť na prepracovanie starých fotografií. Zambrano prišiel s konceptom stavať na niektorých z týchto A.I. nástroje, ktoré boli voľne dostupné online, a ich transformáciu na nástroj na farbenie. Začal 26. októbra a pracoval mesiac, pričom každý deň mu venoval asi tri alebo štyri hodiny.

Prvá verzia robota – obmedzená verzia, ktorá si dokázala poradiť iba s jedným obrázkom na tweet – bola zverejnená 28. novembra 2020.

Ako funguje Colorize_bot

Kedykoľvek používateľ označí Colorize_bot v tweete, okamžite sa aktivuje pomocou webhooku, ktorý monitory na predvolanie 24/7. Akonáhle je zmienka zachytená, spracovaná a overená, potom zhromaždí monochromatické obrázky a odovzdá ich inému kolorizačnému A.I. nástroj. Tento nevytvoril Zambrano, ale je to skôr open-source model vyvinutý výskumníkom Jasonom Anticom.

Ako popísané na Github, model používa variáciu generatívnej adverznej siete (GAN), diskriminátor a generátor A.I. systém, ktorý sa predtým používal na vytváranie všetkého falošný ľudský genetický kód do A.I. maľby. Nástroj NoGAN možno použiť na zafarbenie statických obrázkov aj videa, hoci to prekvapivo trvá o niečo dlhšie. Ako vysvetľuje Antic v príspevku o modeli, ani on si nie je úplne istý tým, ako získava druh údajov, ktoré robí pri farbení obrázkov. Len sa to učí z obrovského množstva údajov, ktoré sa potom môžu posúvať správnym smerom pomocou správnych algoritmov.

„Najlepšie odhadujem, že modelky sa učia niekoľko zaujímavých pravidiel o farbení na základe jemné náznaky prítomné v čiernobielych obrázkoch, od ktorých by som určite nečakal, že existujú,“ Antic píše. „Tento výsledok vedie k pekne deterministickým a konzistentným výsledkom, čo znamená, že nemáte žiadne rozhodnutia o farbení modelu, pretože nie sú ľubovoľné. Navyše sa zdajú byť pozoruhodne robustné, takže aj v pohyblivých scénach sú rendery veľmi konzistentné.“

Dokončený obrázok sa potom odošle späť do Colorize_bot, aby ho uverejnil na Twitteri. Celý systém zachytenia úvodnej zmienky prostredníctvom odpovede na tweet trvá z hľadiska spracovania iba 10 sekúnd. Robot je však naprogramovaný tak, aby odpovedal iba každých 30 sekúnd, aby neporušil pravidlá Twitteru týkajúce sa spamu. Reaguje tiež iba na jednu zmienku za hodinu, na používateľa ako spôsob, ako ušetriť na nákladoch na infraštruktúru, ktoré si ako študent nemôže Zambrano tak ľahko dovoliť.

"V súčasnosti platím približne 30 dolárov mesačne, aby som udržal projekt aktívny," povedal. „Toto som si financoval sám z mojich úspor. V budúcnosti, keď to už nebudem môcť zaplatiť, uvažujem o tom, že požiadam o nejaký druh daru alebo sponzorstva inštitúciu, ktorá o to má záujem."

Meradlo úspechu

Robot nie je dokonalý a nie je ani zázrakom. Napríklad obrázky s nízkym rozlíšením poskytujú výsledky s nízkym rozlíšením. Čo je ešte pozoruhodnejšie, povedal Zambrano, že Colorize_bot sa darí zle, pokiaľ ide o vyfarbovanie manga obrázkov, o ktoré ho ľudia často žiadajú. "Na technickej úrovni je to spôsobené tým, že model kolorizácie bol trénovaný so skutočnými obrázkami," povedal. Keď je požiadaný, aby vyfarbil obrázky iného typu, než na ktorých bol trénovaný, výsledky nie sú dokonalé.

Napriek tomu sa v mnohých prípadoch preukázalo, že je pôsobivo presné, takže Colorize_Bot už za pár mesiacov získal na Twitteri viac ako 30 000 sledovateľov. Rýchle vyhľadávanie ľudí, ktorí ho volajú do prevádzky, odhalí, že sa to vyžaduje aspoň každých pár minút.

"Najlepšie príbehy, ktoré mám ako výsledok vývoja tohto projektu, sú ľudia, ktorí mi píšu a ďakujú mi za vyfarbenie starých fotografií ich príbuzných," povedal Zambrano. Jedna osoba mu dokonca poslala fotografiu svojej mamy, v ktorej držala zarámovanú fotografiu kolorovaného obrazu predka. Je ťažké zistiť hodnotu projektu, ako je tento, v peňažnom vyjadrení. Ale z hľadiska pocitu, že tie mesiace kódovania boli dobre strávené? Tieto príbehy sú indikátorom toho, že sa stal víťazom.

„Aký moment som v tú noc prežil, bol to pocit zadosťučinenia, radosti a optimizmu,“ povedal. "Keď som videl tú krásnu matku, ktorá drží svoj výtlačok, vedel som, že veci, ktoré robíme len preto, aby sme pomohli iným ľuďom, môžu mať veľký vplyv."

Odporúčania redaktorov

• A.I. zvyčajne nič nezabudne, ale nový systém Facebooku áno. Tu je dôvod
• A.I. dosiahnuť v roku 2020 niekoľko významných míľnikov. Tu je rekapitulácia