Denne Twitter-boten vil fargelegge alle svart-hvitt-bilder

Fargelegging av monokrome fotografier er en praksis som dateres tilbake til fotograferingens tidligste dager. Med fargefotografering utilgjengelig for de fleste forbrukere frem til 1940-tallet, eksperimenterte medlemmer av publikum som ønsket å forbedre virkeligheten til bilder ofte med håndfarging som et alternativ. Det var en utrolig tidkrevende innsats som involverte akvareller, oljer eller pasteller - og resultatene, Selv om de absolutt er særegne, ser de ikke nødvendigvis like realistiske ut som skaperne deres kan ha håpet.

I dag er det mye enklere å gjøre svart-hvitt-bilder til fullfargefotografier – og resultatene langt, langt bedre. Hvor lett? Alt du trenger å gjøre er å legge ut, eller se, et monokromt bilde på Twitter og svare på det med @colorize_bot. Som å tilkalle en fargegivende Captain Planet, vil Colorize_bot – som det er kjent – ​​umiddelbart komme i gang med sine digitale Crayolas, etterlater brukeren med et ferskt flerfarget bilde og et muntert, "Selvfølgelig hyggelig å hjelpe deg!" Alt dette skjer i løpet av bare noen få sekunder.

Og du har en 21 år gammel informatikk- og ingeniørstudent fra Ecuador – og noen smarte A.I. verktøy - å takke for det.

Et pandemiprosjekt

"Colorize_bot er uten tvil mitt beste prosjekt," sa skaperen Geovanny Zambrano til Digital Trends.

Som med mange prosjekter som nå går rundt, sprang Colorize_bot til digitalt liv som et resultat av pandemien. Da han ble sittende fast hjemme med "mye fritid" på hendene, bestemte Zambrano seg for å lage en Twitter-bot for å øve på JavaScript-ferdighetene sine.

Disse enkle programvareverktøyene, av varierende nytte, kan brukes til å utføre et utvalg av autonome handlinger på Twitter - enten det er å tweete lenker til gratis e-bøker på Amazon eller blande sammen nyhetsoverskrifter for komisk effekt. "Jeg hadde mange ideer," sa han. "Fra en bot som publiserer en motiverende setning hver time til en bot"timeoversetter. Målet med prosjektet var aldri å få følgere. Målet mitt var bare å skape [noe nyttig.]»

På dette tidspunktet husket han en YouTube-video han hadde sett syv måneder tidligere som beskrev hvordan maskinlæring kan brukes til å remastere gamle fotografier. Zambrano kom opp med konseptet med å bygge på noen av disse A.I. verktøy, som var fritt tilgjengelig på nettet, og transformerer dem til et fargeverktøy. Han begynte 26. oktober og jobbet i en måned, og la ned omtrent tre eller fire timer hver dag.

Den første versjonen av boten – en begrenset en som bare kunne takle ett enkelt bilde per tweet – ble lagt ut 28. november 2020.

Hvordan Colorize_bot fungerer

Når en bruker tagger Colorize_bot i en tweet, aktiveres den umiddelbart ved hjelp av en webhook som monitorer for innkalling 24/7. Når en omtale er fanget, behandlet og validert, samler den de monokrome bildene og sender dem til en annen fargelegging A.I. verktøy. Denne ble ikke laget av Zambrano, men er snarere en åpen kildekode-modell utviklet av forskeren Jason Antic.

Som beskrevet på Github, bruker modellen en variant av et Generative Adversarial Network (GAN), diskriminatoren og generatoren A.I. system som tidligere har blitt brukt til å lage alt fra falsk menneskelig genetisk kode til A.I. malerier. NoGAN-verktøyet kan brukes til å fargelegge både stillbilder og video, selv om sistnevnte ikke overraskende tar litt lengre tid. Som Antic forklarer i et innlegg om modellen, er selv han ikke helt sikker på hvordan den trekker ut den typen data den gjør for å fargelegge bilder. Den lærer bare dette fra enorme mengder data, som deretter kan føres i riktig retning ved å bruke de riktige algoritmene.

"Min beste gjetning er at modellene lærer noen interessante regler om hvordan de skal fargelegge basert på subtile signaler til stede i svart-hvitt-bildene som jeg absolutt ikke ville forvente å eksistere,» Antic skriver. "Dette resultatet fører til pent deterministiske og konsistente resultater, og det betyr at du ikke har sporingsmodellfargingsbeslutninger fordi de ikke er vilkårlige. I tillegg virker de bemerkelsesverdig robuste, slik at selv i bevegelige scener er gjengivelsene veldig konsistente.»

Det ferdige bildet sendes deretter tilbake til Colorize_bot for å legges ut på Twitter. Hele systemet med å fange en første omtale gjennom å svare på en tweet tar bare 10 sekunder når det gjelder behandling. Boten er imidlertid programmert til å svare bare hvert 30. sekund for ikke å bryte Twitters regler om spamming. Den svarer også bare på én omtale per time, per bruker som en måte å spare på infrastrukturkostnader som Zambrano som student ikke lett har råd til.

"For øyeblikket betaler jeg rundt $30 i måneden for å holde prosjektet aktivt," sa han. «Dette har jeg finansiert ved å bruke sparepengene mine. Når jeg i fremtiden ikke lenger kan betale dette, tenker jeg å be om en form for donasjon eller sponsing fra en institusjon som er interessert.»

Et mål på suksess

Boten er ikke perfekt, og den er heller ikke en mirakelarbeider. Bilder med lav oppløsning gir for eksempel resultater med lav oppløsning. Mer spesielt, sa Zambrano, Colorize_bot klarer seg dårlig når det kommer til å fargelegge mangabilder, noe folk ofte ber den om å gjøre. "Dette, på et teknisk nivå, skyldes det faktum at fargeleggingsmodellen ble trent med ekte bilder," sa han. Når den blir bedt om å fargelegge bilder av en annen type enn de den ble trent på, er resultatene mindre enn perfekte.

Ikke desto mindre har det vist seg å være imponerende nøyaktig i mange tilfeller, nok til at Colorize_Bot allerede har plukket opp mer enn 30 000 følgere på Twitter på bare noen få måneder. Et raskt søk etter folk som kaller det i bruk avslører at det blir spurt minst hvert par minutter.

"De beste historiene jeg har som et resultat av utviklingen av dette prosjektet har vært folkene som skriver til meg og takker meg for å fargelegge gamle bilder av slektningene deres," sa Zambrano. En person sendte ham til og med et bilde av moren deres, med et innrammet bilde av et farget bilde av en forfar. Det er vanskelig å regne ut verdien av et prosjekt som dette i økonomiske termer. Men når det gjelder følelsen av at de månedene med koding var godt brukt? Disse historiene er en indikator på at han var på vei til en vinner.

"For et øyeblikk jeg levde den natten, det var en følelse av tilfredshet, glede og optimisme," sa han. "Å se den vakre moren som holdt utskriften sin, fikk meg til å vite at mange ganger kan de tingene vi gjør bare for å hjelpe andre mennesker ha stor innvirkning."

Redaktørenes anbefalinger

• A.I. glemmer vanligvis ikke noe, men Facebooks nye system gjør det. Her er hvorfor
• A.I. nå noen store milepæler i 2020. Her er en oppsummering