Este bot do Twitter irá colorir qualquer foto em preto e branco

Colorir fotografias monocromáticas é uma prática que remonta aos primórdios da fotografia. Com a fotografia colorida indisponível para a maioria dos consumidores até a década de 1940, o público que desejava realçar a realidade das fotos frequentemente experimentava colorir à mão como alternativa. Foi um esforço incrivelmente demorado envolvendo aquarelas, óleos ou pastéis - e os resultados, embora certamente distintos, não parecem necessariamente tão realistas quanto seus criadores podem ter esperava.

Hoje, transformar imagens em preto e branco em fotografias coloridas é muito mais fácil – e os resultados são muito, muito melhores. Quão fácil? Tudo o que você precisa fazer é postar ou localizar uma imagem monocromática no Twitter e respondê-la com @colorize_bot. Assim como invocar um Capitão Planeta colorido, o Colorize_bot – como é conhecido – entrará instantaneamente em ação com seus lápis de cor digitais, deixando o usuário com uma imagem recém-multicolorida e um alegre: “Claro, prazer em ajudá-lo!” Tudo isso ocorre no espaço de apenas alguns segundos.

E você tem um estudante de ciência da computação e engenharia de 21 anos do Equador – e alguns especialistas em IA bacanas. ferramentas - para agradecer por isso.

Um projeto pandêmico

“Colorize_bot é sem dúvida meu melhor projeto”, disse o criador Geovanny Zambrano ao Digital Trends.

Tal como acontece com muitos projetos que estão circulando agora, Colorize_bot saltou para a vida digital como resultado da pandemia. Encontrando-se preso em casa com “muito tempo livre” disponível, Zambrano decidiu criar um bot no Twitter para praticar suas habilidades em JavaScript.

Essas ferramentas de software simples, de utilidade variada, podem ser usadas para realizar uma variedade de ações autônomas no Twitter – seja twittar links para e-books gratuitos na Amazon ou misturando manchetes de notícias para efeito cômico. “Tive muitas ideias”, disse ele. “De um bot que publica uma frase motivacional a cada hora a um bot ‘tradutor de hora’. O objetivo do projeto nunca foi ganhar seguidores. Meu objetivo era apenas criar [algo útil.]”

Nesse ponto, ele se lembrou de um vídeo do YouTube que tinha visto sete meses antes, que detalhava como o aprendizado de máquina pode ser usado para remasterizar fotografias antigas. Zambrano surgiu com o conceito de desenvolver alguns desses recursos de IA. ferramentas, que estavam disponíveis gratuitamente online, e transformando-as em uma ferramenta de coloração. Ele começou no dia 26 de outubro e trabalhou durante um mês, dedicando cerca de três ou quatro horas por dia.

A primeira versão do bot – limitada que só conseguia lidar com uma única imagem por tweet – foi postada em 28 de novembro de 2020.

Como funciona o Colorize_bot

Sempre que um usuário marca Colorize_bot em um tweet, ele é ativado instantaneamente usando um webhook que monitores para convocação 24 horas por dia, 7 dias por semana. Depois que uma menção é capturada, processada e validada, ela reúne as imagens monocromáticas e as passa para outra IA de colorização. ferramenta. Este não foi criado por Zambrano, mas sim um modelo de código aberto desenvolvido pelo pesquisador Jason Antic.

Como descrito no Github, o modelo usa uma variação de uma Rede Adversarial Generativa (GAN), o discriminador e gerador A.I. sistema que foi usado anteriormente para criar tudo, desde código genético humano falso para IA pinturas. A ferramenta NoGAN pode ser usada para colorir imagens estáticas e vídeos, embora este último, sem surpresa, demore um pouco mais. Como Antic explica em um post sobre o modelo, mesmo ele não tem certeza de como ele extrai o tipo de dados que faz para colorir imagens. Ele apenas aprende isso com grandes quantidades de dados, que podem então ser direcionados na direção certa usando os algoritmos adequados.

“Meu melhor palpite é que os modelos estão aprendendo algumas regras interessantes sobre como colorir com base em pistas sutis presentes nas imagens em preto e branco que eu certamente não esperaria que existissem”, Antic escreve. “Esse resultado leva a resultados bem determinísticos e consistentes, e isso significa que você não precisa acompanhar as decisões de colorização do modelo porque elas não são arbitrárias. Além disso, eles parecem extremamente robustos, de modo que mesmo em cenas em movimento as renderizações são muito consistentes.”

A imagem completa é então devolvida ao Colorize_bot para postagem no Twitter. Todo o sistema de captura de uma menção inicial por meio da resposta a um tweet leva apenas 10 segundos em termos de processamento. No entanto, o bot está programado para responder apenas a cada 30 segundos para não quebrar as regras do Twitter sobre spam. Também responde apenas a uma menção por hora, por utilizador, como forma de poupar em custos de infraestrutura que, como estudante, Zambrano não consegue suportar facilmente.

“Atualmente, pago cerca de US$ 30 por mês para manter o projeto ativo”, disse ele. “Isso foi financiado por mim mesmo, usando minhas economias. Futuramente quando não puder mais pagar isso, estou pensando em pedir algum tipo de doação ou patrocínio de alguma instituição que tenha interesse.”

Uma medida de sucesso

O bot não é perfeito e nem faz milagres. Imagens de baixa resolução, por exemplo, fornecem resultados de baixa resolução. Mais notavelmente, disse Zambrano, o Colorize_bot se sai mal quando se trata de colorir imagens de mangá, o que as pessoas frequentemente pedem para fazer. “Isso, a nível técnico, se deve ao fato do modelo de colorização ter sido treinado com imagens reais”, disse. Quando é solicitado a colorir imagens de um tipo diferente daquelas nas quais foi treinado, os resultados não são perfeitos.

No entanto, provou-se impressionantemente preciso em muitos casos, o suficiente para que o Colorize_Bot já tenha conquistado mais de 30.000 seguidores no Twitter em apenas alguns meses. Uma rápida pesquisa por pessoas que estão ligando para o serviço revela que ele está sendo solicitado pelo menos a cada dois minutos.

“As melhores histórias que tenho como resultado do desenvolvimento deste projeto são as das pessoas que me escrevem, agradecendo-me por colorir fotos antigas de seus parentes”, disse Zambrano. Uma pessoa até lhe enviou uma foto de sua mãe, segurando uma foto emoldurada de uma imagem colorida de um ancestral. É difícil calcular o valor de um projeto como este em termos monetários. Mas em termos de sensação de que aqueles meses de codificação foram bem gastos? Essas histórias são um indicador de que ele era um vencedor.

“Que momento vivi naquela noite, foi um sentimento de satisfação, alegria e otimismo”, disse. “Ver aquela linda mãe segurando seu impresso me fez saber que, muitas vezes, as coisas que fazemos simplesmente com o propósito de ajudar outras pessoas podem ter um grande impacto.”

Recomendações dos Editores

• IA normalmente não esquece nada, mas o novo sistema do Facebook sim. Aqui está o porquê
• IA atingiu alguns marcos importantes em 2020. Aqui está uma recapitulação