Questo bot di Twitter colorerà qualsiasi foto in bianco e nero

La colorazione delle fotografie monocromatiche è una pratica che risale agli albori della fotografia. Poiché la fotografia a colori non era disponibile per la maggior parte dei consumatori fino agli anni '40, i membri del pubblico che desideravano migliorare la realtà delle foto spesso sperimentavano la colorazione a mano come alternativa. È stato uno sforzo incredibilmente dispendioso in termini di tempo che coinvolgeva acquerelli, oli o pastelli e i risultati, sebbene certamente distintivi, non necessariamente sembrano così realistici come potrebbero avere i loro creatori sperato.

Oggi, trasformare le immagini in bianco e nero in fotografie a colori è molto più semplice e i risultati sono molto, molto migliori. Com'è facile? Tutto quello che devi fare è pubblicare, o individuare, un'immagine monocromatica su Twitter e rispondere @colorize_bot. Come evocare un Capitan Planet colorante, Colorize_bot - come è noto - entrerà immediatamente in azione con i suoi Crayola digitali, lasciando all'utente un'immagine appena multicolore e un allegro "Certo, è un piacere aiutarti!" Tutto questo avviene nello spazio di pochi secondi.

E hai uno studente di informatica e ingegneria di 21 anni dell'Ecuador - e qualche ingegnoso sistema di intelligenza artificiale. strumenti - per ringraziarlo.

Un progetto pandemico

"Colorize_bot è senza dubbio il mio miglior progetto", ha detto il creatore Geovanny Zambrano a Digital Trends.

Come per molti progetti attualmente in circolazione, Colorize_bot è passato alla vita digitale a seguito della pandemia. Trovandosi bloccato a casa con “un sacco di tempo libero” a disposizione, Zambrano ha deciso di creare un bot di Twitter per esercitare le sue abilità JavaScript.

Questi semplici strumenti software, di varia utilità, possono essere utilizzati per eseguire una serie di azioni autonome su Twitter, che si tratti di twittare collegamenti a e-book gratuiti su Amazon o di mescolando insieme i titoli delle notizie per un effetto comico. "Avevo molte idee", ha detto. “Da un bot che pubblica una frase motivazionale ogni ora a un bot “traduttore di ore”. L’obiettivo del progetto non è mai stato quello di acquisire follower. Il mio obiettivo era solo creare [qualcosa di utile.]”

A questo punto, si ricordò di un video su YouTube che aveva visto sette mesi prima e che spiegava in dettaglio come l’apprendimento automatico può essere utilizzato per rimasterizzare vecchie fotografie. Zambrano ha avuto l'idea di basarsi su alcuni di questi A.I. strumenti, che erano disponibili gratuitamente online, e trasformandoli in uno strumento di colorazione. Ha iniziato il 26 ottobre e ha lavorato per un mese, impiegando circa tre o quattro ore al giorno.

La prima versione del bot, limitata e in grado di gestire una sola immagine per tweet, è stata pubblicata il 28 novembre 2020.

Come funziona Colorize_bot

Ogni volta che un utente tagga Colorize_bot in un tweet, questo viene attivato immediatamente utilizzando un webhook che monitor per convocazioni 24 ore su 24, 7 giorni su 7. Una volta che una menzione è stata catturata, elaborata e convalidata, raccoglie le immagini monocromatiche e le trasmette a un'altra colorazione A.I. attrezzo. Questo non è stato creato da Zambrano, ma è piuttosto un modello open source sviluppato dal ricercatore Jason Antic.

COME descritto su Github, il modello utilizza una variazione di una Generative Adversarial Network (GAN), il discriminatore e generatore A.I. sistema che è stato precedentemente utilizzato per creare tutto da falso codice genetico umano A A.I. dipinti. Lo strumento NoGAN può essere utilizzato per colorare sia immagini fisse che video, anche se quest'ultimo richiede ovviamente un po' più tempo. Come spiega Antic in un post sul modello, anche lui non è del tutto sicuro di come estragga il tipo di dati che fa per colorare le immagini. Lo impara semplicemente da enormi quantità di dati, che possono poi essere spinti nella giusta direzione utilizzando gli algoritmi appropriati.

“La mia ipotesi migliore è che i modelli stiano imparando alcune regole interessanti su come colorare in base sottili segnali presenti nelle immagini in bianco e nero che certamente non mi aspetterei esistessero”, Antic scrive. “Questo risultato porta a risultati ben deterministici e coerenti, e ciò significa che non è necessario tenere traccia delle decisioni sulla colorazione del modello perché non sono arbitrarie. Inoltre, sembrano straordinariamente robusti, tanto che anche nelle scene in movimento i rendering sono molto coerenti”.

L'immagine completata viene quindi restituita a Colorize_bot per essere pubblicata su Twitter. L'intero sistema di acquisizione di una menzione iniziale attraverso la risposta a un tweet richiede solo 10 secondi in termini di elaborazione. Tuttavia, il bot è programmato per rispondere solo ogni 30 secondi per non infrangere le regole di Twitter sullo spam. Inoltre, risponde solo a una menzione all'ora, per utente, come un modo per risparmiare sui costi delle infrastrutture che, come studente, Zambrano non può permettersi facilmente.

"Attualmente pago circa 30 dollari al mese per mantenere attivo il progetto", ha detto. “L’ho finanziato io stesso, utilizzando i miei risparmi. In futuro, quando non potrò più pagarlo, sto pensando di chiedere qualche tipo di donazione o sponsorizzazione a un’istituzione interessata”.

Una misura del successo

Il bot non è perfetto e non fa miracoli. Le immagini a bassa risoluzione, ad esempio, danno risultati a bassa risoluzione. In particolare, ha affermato Zambrano, Colorize_bot se la cava male quando si tratta di colorare immagini manga, cosa che le persone spesso gli chiedono di fare. "Ciò, a livello tecnico, è dovuto al fatto che il modello di colorazione è stato addestrato con immagini reali", ha affermato. Quando gli viene chiesto di colorare immagini di tipo diverso da quelle su cui è stato addestrato, i risultati sono tutt’altro che perfetti.

Tuttavia, in molti casi si è dimostrato straordinariamente accurato, tanto che Colorize_Bot ha già raccolto più di 30.000 follower su Twitter in pochi mesi. Una rapida ricerca delle persone che lo mettono in servizio rivela che viene richiesto almeno ogni due minuti.

"Le migliori storie che ho come risultato dello sviluppo di questo progetto sono state quelle delle persone che mi hanno scritto, ringraziandomi per aver colorato vecchie foto dei loro parenti", ha detto Zambrano. Una persona gli ha persino inviato una foto della propria madre, con in mano una foto incorniciata di un'immagine colorata di un antenato. È difficile calcolare il valore di un progetto come questo in termini monetari. Ma in termini di sensazione che quei mesi di programmazione siano stati ben spesi? Queste storie indicano che aveva trovato un vincitore.

"Che momento ho vissuto quella notte, è stata una sensazione di soddisfazione, gioia e ottimismo", ha detto. “Vedere quella bellissima madre con in mano la sua stampata mi ha fatto capire che, molte volte, le cose che facciamo semplicemente con lo scopo di aiutare altre persone possono avere un grande impatto”.

Raccomandazioni degli editori

• A.I. di solito non dimentica nulla, ma il nuovo sistema di Facebook lo fa. Ecco perché
• A.I. raggiunto alcuni traguardi importanti nel 2020. Ecco un riepilogo