Ce robot Twitter colorisera n'importe quelle photo en noir et blanc

La coloration de photographies monochromes est une pratique qui remonte aux premiers jours de la photographie. La photographie couleur étant inaccessible à la plupart des consommateurs jusque dans les années 1940, les membres du public souhaitant améliorer la réalité des photos ont souvent expérimenté la coloration manuelle comme alternative. C'était un effort incroyablement long impliquant des aquarelles, des huiles ou des pastels - et les résultats, bien que certainement distinctifs, ils ne semblent pas nécessairement aussi réalistes que leurs créateurs espéré.

Aujourd’hui, transformer des images en noir et blanc en photographies en couleur est beaucoup plus facile – et les résultats sont bien meilleurs. C'est facile? Tout ce que vous avez à faire est de publier ou de repérer une image monochrome sur Twitter et d'y répondre avec @colorize_bot. Comme pour invoquer un Captain Planet colorisant, Colorize_bot — comme on l'appelle — entrera instantanément en action avec ses Crayolas numériques, laissant à l'utilisateur une image fraîchement multicolore et un joyeux "Bien sûr, ravi de vous aider!" Tout cela se produit en l'espace de quelques secondes.

Et vous avez un étudiant équatorien en informatique et en ingénierie de 21 ans – et quelques astucieux IA. outils — pour le remercier.

Un projet de pandémie

"Colorize_bot est sans aucun doute mon meilleur projet", a déclaré le créateur Geovanny Zambrano à Digital Trends.

Comme pour de nombreux projets en cours, Colorize_bot est passé à la vie numérique à la suite de la pandémie. Se retrouvant coincé à la maison avec « beaucoup de temps libre », Zambrano a décidé de créer un robot Twitter pour mettre en pratique ses compétences en JavaScript.

Ces outils logiciels simples, d'utilité variable, peuvent être utilisés pour effectuer une série d'actions autonomes sur Twitter, qu'il s'agisse de tweeter des liens vers des livres électroniques gratuits sur Amazon ou mélanger les gros titres de l'actualité pour un effet comique. «J'avais beaucoup d'idées», dit-il. « D'un robot qui publie une phrase de motivation toutes les heures à un robot « traducteur horaire ». L'objectif du projet n'a jamais été de gagner des abonnés. Mon objectif était simplement de créer [quelque chose d’utile.] »

À ce stade, il s'est souvenu d'une vidéo YouTube qu'il avait vue sept mois plus tôt et qui expliquait comment l'apprentissage automatique pouvait être utilisé pour remasteriser d'anciennes photographies. Zambrano a eu l'idée de s'appuyer sur certains de ces outils d'IA. outils, disponibles gratuitement en ligne, et en les transformant en un outil de colorisation. Il a commencé le 26 octobre et a travaillé pendant un mois, à raison de trois ou quatre heures par jour.

La première version du bot – une version limitée qui ne pouvait gérer qu'une seule image par tweet – a été publiée le 28 novembre 2020.

Comment fonctionne Colorize_bot

Chaque fois qu'un utilisateur marque Colorize_bot dans un tweet, il est activé instantanément à l'aide d'un webhook qui moniteurs pour convocation 24h/24 et 7j/7. Une fois qu'une mention est capturée, traitée et validée, elle rassemble ensuite les images monochromes et les transmet à une autre IA de colorisation. outil. Celui-ci n'a pas été créé par Zambrano, mais est plutôt un modèle open source développé par le chercheur Jason Antic.

Comme décrit sur Github, le modèle utilise une variante d'un réseau contradictoire génératif (GAN), le discriminateur et générateur A.I. système qui a déjà été utilisé pour tout créer, de faux code génétique humain à I.A. peintures. L'outil NoGAN peut être utilisé pour coloriser à la fois des images fixes et des vidéos, bien que cette dernière prenne, sans surprise, un peu plus de temps. Comme l'explique Antic dans un article sur le modèle, même lui n'est pas totalement sûr de la manière dont il extrait le type de données qu'il utilise pour coloriser les images. Il apprend simplement cela à partir d’énormes quantités de données, qui peuvent ensuite être poussées dans la bonne direction en utilisant les algorithmes appropriés.

« Ma meilleure hypothèse est que les modèles apprennent des règles intéressantes sur la façon de coloriser en fonction de des indices subtils présents dans les images en noir et blanc et auxquels je ne m'attendrais certainement pas à exister », Antic écrit. « Ce résultat conduit à des résultats bien déterministes et cohérents, ce qui signifie que vous n’avez pas à prendre de décisions en matière de colorisation du modèle de piste, car elles ne sont pas arbitraires. De plus, ils semblent remarquablement robustes, de sorte que même dans les scènes en mouvement, les rendus sont très cohérents.

L'image terminée est ensuite renvoyée à Colorize_bot pour être publiée sur Twitter. L'ensemble du système de capture d'une mention initiale en répondant à un tweet ne prend que 10 secondes en termes de traitement. Cependant, le robot est programmé pour répondre uniquement toutes les 30 secondes afin de ne pas enfreindre les règles de Twitter en matière de spam. Il ne répond également qu’à une seule mention par heure et par utilisateur afin d’économiser sur les coûts d’infrastructure que Zambrano, en tant qu’étudiant, ne peut pas facilement se permettre.

« Actuellement, je paie environ 30 dollars par mois pour maintenir le projet actif », a-t-il déclaré. « Cela a été financé par moi-même, avec mes économies. À l’avenir, lorsque je ne pourrai plus payer cela, j’envisage de demander une forme de don ou de parrainage à une institution intéressée.

Une mesure de réussite

Le bot n’est pas parfait et n’est pas non plus un faiseur de miracles. Les images basse résolution, par exemple, donnent des résultats basse résolution. Plus particulièrement, a déclaré Zambrano, Colorize_bot s'en sort mal lorsqu'il s'agit de colorier des images de mangas, ce que les gens lui demandent fréquemment de faire. "Cela, au niveau technique, est dû au fait que le modèle de colorisation a été formé avec des images réelles", a-t-il déclaré. Lorsqu’on lui demande de colorier des images d’un type différent de celles sur lesquelles il a été formé, les résultats sont loin d’être parfaits.

Néanmoins, sa précision s’est révélée impressionnante dans de nombreux cas, à tel point que Colorize_Bot a déjà rassemblé plus de 30 000 abonnés sur Twitter en quelques mois seulement. Une recherche rapide des personnes qui l’appellent en service révèle qu’elle est demandée au moins toutes les deux minutes.

"Les meilleures histoires que j'ai eues grâce au développement de ce projet sont celles des gens qui m'écrivent pour me remercier d'avoir colorié de vieilles photos de leurs proches", a déclaré Zambrano. Une personne lui a même envoyé une photo de sa mère, tenant une photo encadrée d’une image colorisée d’un ancêtre. Il est difficile d’évaluer la valeur monétaire d’un tel projet. Mais en termes de sentiment que ces mois de codage ont été bien dépensés? Ces histoires sont un indicateur qu’il était sur la bonne voie.

"Quel moment j'ai vécu cette nuit-là, c'était un sentiment de satisfaction, de joie et d'optimisme", a-t-il déclaré. "Voir cette belle mère tenir son imprimé m'a fait comprendre que, bien souvent, les choses que nous faisons simplement dans le but d'aider les autres peuvent avoir un grand impact."

Recommandations des rédacteurs

• I.A. n’oublie généralement rien, contrairement au nouveau système de Facebook. Voici pourquoi
• I.A. a franchi des étapes majeures en 2020. Voici un récapitulatif