Dieser Twitter-Bot koloriert jedes Schwarzweißfoto

Das Kolorieren monochromer Fotografien ist eine Praxis, die bis in die Anfänge der Fotografie zurückreicht. Da die Farbfotografie den meisten Verbrauchern bis in die 1940er Jahre nicht zur Verfügung stand, experimentierten Bürger, die die Realität von Fotos verbessern wollten, häufig mit der Handkolorierung als Alternative. Es war ein unglaublich zeitaufwändiger Aufwand, Aquarell-, Öl- oder Pastellfarben zu verwenden – und die Ergebnisse, Obwohl sie sicherlich unverwechselbar sind, sehen sie nicht unbedingt ganz so realistisch aus, wie es ihre Schöpfer vielleicht getan haben gehofft.

Heutzutage ist es viel einfacher, Schwarzweißbilder in Vollfarbfotos umzuwandeln – und die Ergebnisse sind viel, viel besser. Wie einfach? Alles, was Sie tun müssen, ist, ein monochromes Bild auf Twitter zu posten oder zu entdecken und darauf mit zu antworten @colorize_bot. Als würde man einen kolorierenden Captain Planet herbeirufen, wird Colorize_bot – wie es genannt wird – mit seinen digitalen Crayolas sofort in Aktion treten. Der Benutzer erhält ein frisches, farbenfrohes Bild und ein fröhliches „Natürlich, schön, Ihnen zu helfen!“ Dies alles geschieht innerhalb weniger Minuten Sekunden.

Und Sie haben einen 21-jährigen Informatik- und Ingenieurstudenten aus Ecuador – und eine raffinierte KI. Werkzeuge – dafür zu danken.

Ein Pandemieprojekt

„Colorize_bot ist ohne Zweifel mein bestes Projekt“, sagte Schöpfer Geovanny Zambrano gegenüber Digital Trends.

Wie viele Projekte, die derzeit die Runde machen, erwachte auch Colorize_bot infolge der Pandemie zum digitalen Leben. Da Zambrano zu Hause festsaß und „viel Freizeit“ hatte, beschloss er, einen Twitter-Bot zu erstellen, um seine JavaScript-Kenntnisse zu üben.

Diese einfachen Softwaretools mit unterschiedlichem Nutzen können aufgerufen werden, um eine Reihe autonomer Aktionen auf Twitter auszuführen – sei es das Twittern von Links zu kostenlosen E-Books auf Amazon oder Schlagzeilen zusammenfügen für komische Wirkung. „Ich hatte viele Ideen“, sagte er. „Von einem Bot, der stündlich einen motivierenden Satz veröffentlicht, zu einem Bot-„Stundenübersetzer“. Das Ziel des Projekts bestand nie darin, Follower zu gewinnen. Mein Ziel war es einfach, [etwas Nützliches] zu schaffen.“

Zu diesem Zeitpunkt erinnerte er sich an ein YouTube-Video, das er sieben Monate zuvor gesehen hatte und in dem detailliert beschrieben wurde, wie maschinelles Lernen zum Remastern alter Fotos eingesetzt werden kann. Zambrano entwickelte das Konzept, auf einigen dieser KIs aufzubauen. Werkzeuge, die online frei verfügbar waren, und wandelte sie in ein Kolorierungswerkzeug um. Er begann am 26. Oktober und arbeitete einen Monat lang, wobei er jeden Tag etwa drei bis vier Stunden investierte.

Die erste Version des Bots – eine limitierte Version, die nur ein einziges Bild pro Tweet verarbeiten konnte – wurde am 28. November 2020 veröffentlicht.

So funktioniert Colorize_bot

Immer wenn ein Benutzer Colorize_bot in einem Tweet markiert, wird er sofort über einen Webhook aktiviert Monitore für Vorladungen rund um die Uhr. Sobald eine Erwähnung erfasst, verarbeitet und validiert ist, werden die monochromen Bilder gesammelt und an eine andere Kolorierungs-KI weitergeleitet. Werkzeug. Dieses wurde nicht von Zambrano erstellt, sondern ist ein Open-Source-Modell, das vom Forscher Jason Antic entwickelt wurde.

Als beschrieben auf GithubDas Modell verwendet eine Variation eines Generative Adversarial Network (GAN), des Diskriminators und Generators A.I. System, aus dem zuvor alles erstellt wurde gefälschter menschlicher genetischer Code Zu K.I. Gemälde. Mit dem NoGAN-Tool können sowohl Standbilder als auch Videos koloriert werden, wobei letzteres wenig überraschend etwas länger dauert. Wie Antic in einem Beitrag über das Modell erklärt, ist sich selbst er nicht ganz sicher, wie es die Art von Daten extrahiert, die es zum Kolorieren von Bildern benötigt. Dies lernt es einfach aus riesigen Datenmengen, die dann mithilfe der richtigen Algorithmen in die richtige Richtung gelenkt werden können.

„Meine beste Vermutung ist, dass die Modelle einige interessante Regeln zum Kolorieren lernen „In den Schwarz-Weiß-Bildern sind subtile Hinweise vorhanden, deren Existenz ich sicherlich nicht erwartet hätte“, sagt Antic schreibt. „Dieses Ergebnis führt zu schön deterministischen und konsistenten Ergebnissen, und das bedeutet, dass Sie keine Entscheidungen über die Farbgebung des Gleismodells treffen müssen, weil diese nicht willkürlich sind. Darüber hinaus wirken sie bemerkenswert robust, sodass die Darstellungen selbst in bewegten Szenen sehr konsistent sind.“

Das fertige Bild wird dann an Colorize_bot zurückgegeben, um es auf Twitter zu veröffentlichen. Das gesamte System der Erfassung einer ersten Erwähnung durch die Beantwortung eines Tweets dauert von der Verarbeitung her nur 10 Sekunden. Allerdings ist der Bot so programmiert, dass er nur alle 30 Sekunden antwortet, um nicht gegen die Spam-Regeln von Twitter zu verstoßen. Außerdem antwortet es nur auf eine Erwähnung pro Stunde und pro Benutzer, um Infrastrukturkosten zu sparen, die sich Zambrano als Student nicht ohne weiteres leisten kann.

„Derzeit zahle ich etwa 30 US-Dollar im Monat, um das Projekt am Laufen zu halten“, sagte er. „Das habe ich selbst finanziert, aus meinen Ersparnissen. Wenn ich das in Zukunft nicht mehr bezahlen kann, denke ich darüber nach, bei einer interessierten Institution um eine Art Spende oder Sponsoring zu bitten.“

Ein Maßstab für den Erfolg

Der Bot ist weder perfekt noch ein Wundertäter. Bilder mit niedriger Auflösung führen beispielsweise zu Ergebnissen mit niedriger Auflösung. Noch bemerkenswerter sei, so Zambrano, dass Colorize_bot beim Färben von Manga-Bildern schlecht abschneide, was die Leute häufig von ihm verlangen. „Auf technischer Ebene ist dies auf die Tatsache zurückzuführen, dass das Kolorierungsmodell mit realen Bildern trainiert wurde“, sagte er. Wenn es aufgefordert wird, Bilder eines anderen Typs als diejenigen einzufärben, auf denen es trainiert wurde, sind die Ergebnisse nicht perfekt.

Dennoch hat es sich in vielen Fällen als beeindruckend genau erwiesen, so dass Colorize_Bot in nur wenigen Monaten bereits mehr als 30.000 Follower auf Twitter gewonnen hat. Eine schnelle Suche nach Personen, die es in Betrieb nehmen, zeigt, dass es mindestens alle paar Minuten angefordert wird.

„Die besten Geschichten, die ich als Ergebnis der Entwicklung dieses Projekts habe, sind die Menschen, die mir schreiben und sich dafür bedanken, dass ich alte Fotos ihrer Verwandten ausgemalt habe“, sagte Zambrano. Eine Person schickte ihm sogar ein Foto ihrer Mutter, die ein gerahmtes Foto eines kolorierten Bildes eines Vorfahren in der Hand hielt. Es ist schwierig, den monetären Wert eines solchen Projekts zu beziffern. Aber haben Sie das Gefühl, dass diese Monate des Programmierens gut angelegt waren? Diese Geschichten sind ein Indikator dafür, dass er auf der Gewinnerseite stand.

„Was für einen Moment ich in dieser Nacht erlebt habe, es war ein Gefühl der Zufriedenheit, Freude und des Optimismus“, sagte er. „Als ich diese wunderschöne Mutter sah, die ihren Ausdruck in der Hand hielt, wurde mir klar, dass die Dinge, die wir einfach tun, um anderen Menschen zu helfen, oft eine große Wirkung haben können.“

Empfehlungen der Redaktion

• K.I. vergisst normalerweise nichts, aber das neue System von Facebook schon. Hier ist der Grund
• K.I. hat im Jahr 2020 einige wichtige Meilensteine ​​erreicht. Hier ist eine Zusammenfassung