Deze Twitter-bot kan elke zwart-witfoto inkleuren

Het kleuren van monochrome foto's is een praktijk die teruggaat tot de vroegste dagen van de fotografie. Omdat kleurenfotografie tot de jaren veertig voor de meeste consumenten niet beschikbaar was, experimenteerden leden van het publiek die de realiteit van foto's wilden benadrukken vaak met handkleuren als alternatief. Het was een ongelooflijk tijdrovende inspanning waarbij waterverf, olieverf of pastelkrijt nodig was – en de resultaten, Hoewel ze zeker onderscheidend zijn, zien ze er niet per se zo realistisch uit als hun makers hebben gedaan hoopte.

Tegenwoordig is het een stuk eenvoudiger om zwart-witafbeeldingen om te zetten in kleurenfoto’s – en de resultaten zijn veel, veel beter. Hoe makkelijk? Het enige dat u hoeft te doen, is een monochrome afbeelding op Twitter plaatsen of spotten en erop reageren @colorize_bot. Net als het oproepen van een inkleurende Captain Planet, zal Colorize_bot – zoals het bekend staat – onmiddellijk in actie komen met zijn digitale Crayolas, de gebruiker krijgt een fris veelkleurig beeld en een vrolijk 'Natuurlijk, leuk om je te helpen!' Dit alles gebeurt in de ruimte van slechts een paar mensen seconden.

En je hebt een 21-jarige student computerwetenschappen en techniek uit Ecuador – en een paar handige A.I. gereedschap – om ervoor te bedanken.

Een pandemieproject

“Colorize_bot is zonder twijfel mijn beste project”, vertelde maker Geovanny Zambrano aan Digital Trends.

Zoals bij veel projecten die nu de ronde doen, is Colorize_bot als gevolg van de pandemie het digitale leven ingegaan. Zambrano merkte dat hij thuis zat met “veel vrije tijd” en besloot een Twitter-bot te maken om zijn JavaScript-vaardigheden te oefenen.

Deze eenvoudige softwaretools, van wisselend nut, kunnen worden gebruikt om een ​​reeks autonome acties op Twitter uit te voeren – of het nu gaat om het tweeten van links naar gratis e-boeken op Amazon of nieuwskoppen samenvoegen voor komisch effect. ‘Ik had veel ideeën’, ​​zei hij. “Van een bot die elk uur een motiverende zin publiceert tot een bot ‘uurvertaler’. Het doel van het project was nooit om volgers te krijgen. Mijn doel was gewoon om [iets nuttigs] te creëren.”

Op dat moment herinnerde hij zich een YouTube-video die hij zeven maanden eerder had gezien, waarin werd beschreven hoe machinaal leren kan worden gebruikt om oude foto's te remasteren. Zambrano kwam met het concept om voort te bouwen op enkele van deze A.I. tools, die gratis online beschikbaar waren, en transformeerden ze in een inkleurtool. Hij begon op 26 oktober en werkte een maand, waarbij hij elke dag ongeveer drie tot vier uur besteedde.

De eerste versie van de bot – een beperkte versie die slechts één afbeelding per tweet aankon – werd op 28 november 2020 geplaatst.

Hoe Colorize_bot werkt

Telkens wanneer een gebruiker Colorize_bot in een tweet tagt, wordt deze onmiddellijk geactiveerd met behulp van een webhook monitoren voor dagvaarding 24/7. Zodra een vermelding is vastgelegd, verwerkt en gevalideerd, worden de monochrome afbeeldingen verzameld en doorgegeven aan een andere inkleurings-A.I. hulpmiddel. Deze is niet gemaakt door Zambrano, maar is eerder een open-sourcemodel ontwikkeld door onderzoeker Jason Antic.

Als beschreven op Github, maakt het model gebruik van een variant van een Generative Adversarial Network (GAN), de discriminator en generator A.I. systeem dat eerder is gebruikt om alles van te maken valse menselijke genetische code naar AI schilderijen. De NoGAN-tool kan worden gebruikt om zowel stilstaande beelden als video in te kleuren, hoewel dit laatste uiteraard wat langer duurt. Zoals Antic uitlegt in een bericht over het model, weet zelfs hij niet helemaal zeker hoe het het soort gegevens extraheert dat nodig is voor het inkleuren van afbeeldingen. Het leert dit eenvoudigweg uit enorme hoeveelheden gegevens, die vervolgens in de goede richting kunnen worden gestuurd door de juiste algoritmen te gebruiken.

“Mijn beste gok is dat de modellen een aantal interessante regels leren over hoe ze moeten inkleuren op basis van Er zijn subtiele signalen aanwezig in de zwart-witbeelden waarvan ik zeker niet zou verwachten dat ze zouden bestaan”, Antic schrijft. “Dit resultaat leidt tot mooie deterministische en consistente resultaten, en dat betekent dat je geen beslissingen hoeft te nemen over de kleuring van het trackmodel, omdat deze niet willekeurig zijn. Bovendien lijken ze opmerkelijk robuust, zodat zelfs in bewegende scènes de weergaven zeer consistent zijn.”

De voltooide afbeelding wordt vervolgens teruggestuurd naar Colorize_bot om op Twitter te plaatsen. Het hele systeem voor het vastleggen van een eerste vermelding door te reageren op een tweet neemt qua verwerking slechts 10 seconden in beslag. De bot is echter geprogrammeerd om slechts elke 30 seconden te reageren om de regels van Twitter over spammen niet te overtreden. Het reageert ook slechts op één vermelding per uur, per gebruiker, als een manier om te besparen op infrastructuurkosten die Zambrano als student niet gemakkelijk kan betalen.

“Momenteel betaal ik ongeveer $30 per maand om het project actief te houden,” zei hij. “Dit heb ik zelf gefinancierd, met mijn spaargeld. Als ik dit in de toekomst niet meer kan betalen, denk ik erover om een ​​donatie of sponsoring te vragen aan een instelling die geïnteresseerd is.”

Een maatstaf voor succes

De bot is niet perfect, en het is ook geen wonderdoener. Afbeeldingen met een lage resolutie geven bijvoorbeeld resultaten met een lage resolutie. Meer in het bijzonder, zei Zambrano, doet Colorize_bot het slecht als het gaat om het inkleuren van manga-afbeeldingen, wat mensen vaak vragen om te doen. "Dit is op technisch niveau te danken aan het feit dat het inkleuringsmodel is getraind met echte afbeeldingen", zei hij. Wanneer wordt gevraagd om afbeeldingen in te kleuren van een ander type dan de afbeeldingen waarop het is getraind, zijn de resultaten niet bepaald perfect.

Desalniettemin is het in veel gevallen indrukwekkend accuraat gebleken, genoeg zodat Colorize_Bot in slechts een paar maanden tijd al meer dan 30.000 volgers op Twitter heeft verzameld. Een snelle zoektocht naar mensen die het in gebruik nemen, leert dat er minstens om de paar minuten om wordt gevraagd.

“De beste verhalen die ik heb als resultaat van de ontwikkeling van dit project zijn de mensen die mij schrijven en mij bedanken voor het inkleuren van oude foto’s van hun familieleden,” zei Zambrano. Eén persoon stuurde hem zelfs een foto van zijn moeder, met een ingelijste foto van een ingekleurde afbeelding van een voorouder in de hand. Het is moeilijk om de waarde van een project als dit in geld uit te drukken. Maar in termen van het gevoel dat die maanden van coderen goed besteed zijn? Deze verhalen zijn een indicatie dat hij op weg was naar een winnaar.

“Wat een moment beleefde ik die nacht, het was een gevoel van voldoening, vreugde en optimisme”, zei hij. ‘Toen ik die mooie moeder haar afdruk in de hand zag, besefte ik dat de dingen die we doen, simpelweg met het doel andere mensen te helpen, vaak een grote impact kunnen hebben.’

Aanbevelingen van de redactie

• AI normaal gesproken niets vergeet, maar het nieuwe systeem van Facebook wel. Dit is waarom
• AI in 2020 een aantal belangrijke mijlpalen bereikt. Hier is een samenvatting