Denna Twitter-bot kommer att färglägga alla svartvita bilder

Att färglägga monokroma fotografier är en praxis som går tillbaka till fotograferingens tidigaste dagar. Med färgfotografering otillgänglig för de flesta konsumenter fram till 1940-talet, experimenterade medlemmar av allmänheten som ville förstärka fotonas verklighet ofta med handfärgning som ett alternativ. Det var en otroligt tidskrävande ansträngning som involverade akvareller, oljor eller pasteller - och resultatet, även om de verkligen är särskiljande, ser de inte nödvändigtvis lika realistiska ut som deras skapare kan ha hoppades.

Idag är det mycket enklare att förvandla svartvita bilder till fotografier i fullfärg – och resultaten mycket, mycket bättre. Hur enkelt? Allt du behöver göra är att lägga upp eller hitta en monokrom bild på Twitter och svara på den med @colorize_bot. Som att kalla fram en färgande Captain Planet, kommer Colorize_bot – som det är känt – omedelbart att träda i kraft med sina digitala Crayolas, lämnar användaren med en ny flerfärgad bild och ett glatt, "Självklart, trevligt att hjälpa dig!" Allt detta sker inom loppet av bara ett fåtal sekunder.

Och du har en 21-årig datavetenskaps- och ingenjörsstudent från Ecuador - och en snygg A.I. verktyg — att tacka för det.

Ett pandemiprojekt

"Colorize_bot är utan tvekan mitt bästa projekt," sa skaparen Geovanny Zambrano till Digital Trends.

Som med många projekt som nu är på gång, spred sig Colorize_bot till ett digitalt liv som ett resultat av pandemin. Zambrano fann sig fast hemma med "mycket ledig tid" på händerna och bestämde sig för att skapa en Twitter-bot för att träna sina JavaScript-kunskaper.

Dessa enkla mjukvaruverktyg, av varierande användbarhet, kan användas för att utföra ett urval av autonoma åtgärder på Twitter - oavsett om det är att twittra länkar till gratis e-böcker på Amazon eller blanda ihop nyhetsrubriker för komisk effekt. "Jag hade många idéer", sa han. "Från en bot som publicerar en motiverande fras varje timme till en bot 'timmeöversättare'. Målet med projektet var aldrig att få följare. Mitt mål var bara att skapa [något användbart.]”

Vid det här laget kom han ihåg en YouTube-video han hade sett sju månader tidigare som beskrev hur maskininlärning kan användas för att återskapa gamla fotografier. Zambrano kom på konceptet att bygga vidare på några av dessa A.I. verktyg, som var fritt tillgängliga online, och förvandla dem till ett färgverktyg. Han började den 26 oktober och arbetade i en månad och lade ner ungefär tre eller fyra timmar varje dag.

Den första versionen av boten – en begränsad version som bara kunde klara av en enda bild per tweet – publicerades den 28 november 2020.

Hur Colorize_bot fungerar

Närhelst en användare taggar Colorize_bot i en tweet, aktiveras den omedelbart med en webhook som övervakar för kallelse 24/7. När ett omnämnande har fångats, bearbetats och validerats, samlar det sedan de monokroma bilderna och skickar dem till en annan färgläggning A.I. verktyg. Den här skapades inte av Zambrano, utan är snarare en modell med öppen källkod utvecklad av forskaren Jason Antic.

Som beskrivs på Github, använder modellen en variant av ett Generative Adversarial Network (GAN), diskriminatorn och generatorn A.I. system som tidigare använts för att skapa allt från falsk mänsklig genetisk kod till A.I. målningar. Verktyget NoGAN kan användas för att färglägga både stillbilder och video, även om det senare föga förvånande tar lite längre tid. Som Antic förklarar i ett inlägg om modellen, är inte ens han helt säker på hur den extraherar den typ av data den gör för att färglägga bilder. Den lär sig bara detta från enorma mängder data, som sedan kan drivas i rätt riktning genom att använda rätt algoritmer.

"Min bästa gissning är att modellerna lär sig några intressanta regler om hur man färgsätter utifrån subtila signaler som finns i de svartvita bilderna som jag verkligen inte skulle förvänta mig att existera, "Antic skriver. "Det här resultatet leder till snyggt deterministiska och konsekventa resultat, och det betyder att du inte har beslut om att spåra modellfärgning eftersom de inte är godtyckliga. Dessutom verkar de anmärkningsvärt robusta så att även i rörliga scener är renderingarna mycket konsekventa.”

Den färdiga bilden skickas sedan tillbaka till Colorize_bot för att läggas upp på Twitter. Hela systemet för att fånga ett första omnämnande genom att svara på en tweet tar bara 10 sekunder när det gäller bearbetning. Boten är dock programmerad att bara svara var 30:e sekund för att inte bryta mot Twitters regler om spam. Den svarar också bara på ett omnämnande per timme, per användare som ett sätt att spara på infrastrukturkostnader som Zambrano som student inte lätt har råd med.

"För närvarande betalar jag cirka 30 dollar i månaden för att hålla projektet aktivt", sa han. ”Det här har finansierats av mig själv, med mina besparingar. I framtiden när jag inte längre kan betala detta funderar jag på att be om någon typ av donation eller sponsring från en institution som är intresserad.”

Ett mått på framgång

Boten är inte perfekt, och den är inte heller en mirakelarbetare. Lågupplösta bilder ger till exempel lågupplösta resultat. Mer anmärkningsvärt, sa Zambrano, Colorize_bot klarar sig dåligt när det gäller att färglägga mangabilder, vilket folk ofta ber den att göra. "Detta, på en teknisk nivå, beror på det faktum att färgläggningsmodellen tränades med riktiga bilder," sa han. När den ombeds att färglägga bilder av en annan typ än de som den tränades på, är resultaten mindre än perfekta.

Icke desto mindre har det visat sig imponerande korrekt i många fall, tillräckligt för att Colorize_Bot redan har plockat upp mer än 30 000 följare på Twitter på bara några korta månader. En snabb sökning efter personer som kallar den i bruk visar att den efterfrågas minst varannan minut.

"De bästa berättelserna jag har som ett resultat av utvecklingen av det här projektet har varit de människor som skriver till mig och tackar mig för att jag har färglagt gamla foton av deras släktingar," sa Zambrano. En person skickade till och med ett foto av sin mamma till honom med ett inramat foto av en färgad bild av en förfader. Det är svårt att räkna ut värdet av ett sådant här projekt i monetära termer. Men när det gäller att känna att de månaderna av kodning var väl använda? Dessa berättelser är en indikator på att han var på väg att vinna.

"Vilket ögonblick jag levde den natten, det var en känsla av tillfredsställelse, glädje och optimism", sa han. "Att se den vackra mamman som höll i sin utskrift fick mig att veta att många gånger kan de saker vi gör bara i syfte att hjälpa andra människor ha stor inverkan."

Redaktörens rekommendationer

• A.I. brukar inte glömma någonting, men det gör Facebooks nya system. Här är varför
• A.I. nått några stora milstolpar under 2020. Här är en sammanfattning