Ez a Twitter Bot minden fekete-fehér fotót kiszínez

A monokróm fényképek színezése olyan gyakorlat, amely a fotózás legkorábbi napjaira nyúlik vissza. Mivel a színes fényképezés az 1940-es évekig a legtöbb fogyasztó számára nem volt elérhető, a nyilvánosság azon tagjai, akik a fotók valóságát akarták javítani, gyakran kísérleteztek a kézi színezéssel, mint alternatíva. Hihetetlenül időigényes munka volt, vízfestékekkel, olajokkal vagy pasztellekkel – és az eredmények, noha minden bizonnyal jellegzetesek, nem feltétlenül tűnnek olyan valósághűnek, mint az alkotóik remélte.

Manapság sokkal egyszerűbb fekete-fehér képeket színes fényképekké alakítani – és az eredmények sokkal-sokkal jobbak. Milyen könnyű? Csak annyit kell tennie, hogy közzétesz vagy kiszúr egy monokróm képet a Twitteren, és válaszol rá @colorize_bot. Mint egy színező bolygó kapitány megidézése, a Colorize_bot – mint ismeretes – azonnal akcióba lendül digitális Crayolákkal, frissen színes képpel és vidáman hagyva a felhasználót: „Persze, örülök, hogy segíthetek!” Mindez csak néhány ember lelkében történik másodpercig.

És van egy 21 éves informatikus és mérnökhallgató Ecuadorból – és néhány ügyes A.I. eszközöket – köszönetet mondani érte.

Egy pandémiás projekt

„A Colorize_bot kétségtelenül a legjobb projektem” – mondta Geovanny Zambrano alkotója a Digital Trendsnek.

Mint sok most zajló projektnél, a Colorize_bot is a világjárvány következtében vált digitális életre. Mivel Zambrano otthon ragadt „sok szabadidővel” a kezében, úgy döntött, létrehoz egy Twitter botot, hogy gyakorolhassa JavaScript-készségeit.

Ezek az egyszerű, változó hasznosságú szoftvereszközök számos önálló művelet végrehajtására használhatók a Twitteren – legyen szó ingyenes e-könyvekre mutató linkek tweeteléséről az Amazonon, vagy a hírek főcímeinek összedolgozása komikus hatás érdekében. „Sok ötletem volt” – mondta. „Olyan robottól, amely óránként tesz közzé egy-egy motivációs kifejezést, a bot „óra fordítójáig”. A projekt célja soha nem az volt, hogy követőket szerezzen. Célom csak az volt, hogy [valami hasznosat] alkossak.”

Ezen a ponton eszébe jutott egy YouTube-videó, amelyet hét hónappal korábban látott, és amely részletesen bemutatta, hogyan lehet a gépi tanulást felhasználni régi fényképek remasterálására. Zambrano előállt azzal a koncepcióval, hogy néhány ilyen A.I. eszközöket, amelyek szabadon elérhetőek voltak az interneten, és színező eszközzé alakították őket. Október 26-án kezdte, és egy hónapig dolgozott, naponta három-négy órát áldozva.

A bot első verziója – egy korlátozott verzió, amely tweetenként csak egyetlen képpel tudott megbirkózni – 2020. november 28-án került közzétételre.

Hogyan működik a Colorize_bot

Amikor egy felhasználó megcímkézi a Colorize_botot egy tweetben, az azonnal aktiválódik egy webhook segítségével, amely monitorok idézésre 24/7. Az említés rögzítése, feldolgozása és érvényesítése után összegyűjti a monokróm képeket, és átadja őket egy másik színezési A.I-nek. eszköz. Ezt nem Zambrano készítette, hanem egy nyílt forráskódú modell, amelyet Jason Antic kutató fejlesztett ki.

Mint leírva a Githubon, a modell a Generatív Adversarial Network (GAN) változatát, a megkülönböztető és generátor A.I. rendszer, amelyből korábban mindent létrehoztak hamis emberi genetikai kód nak nek A.I. festmények. A NoGAN eszközzel állóképeket és videókat is lehet színezni, bár ez utóbbi nem meglepő módon kicsit tovább tart. Amint azt Antic a modellről szóló bejegyzésében kifejti, még ő sem teljesen biztos abban, hogyan nyeri ki a képek színezéséhez szükséges adatokat. Ezt csak hatalmas mennyiségű adatból tanulja meg, amelyet aztán a megfelelő algoritmusok segítségével a megfelelő irányba terelhet.

„A legjobb tippem az, hogy a modellek érdekes szabályokat tanulnak a színezésről olyan finom jelek jelennek meg a fekete-fehér képeken, amelyek létezésére biztosan nem számítottam” – Antic írja. „Ez az eredmény szépen determinisztikus és konzisztens eredményekhez vezet, és ez azt jelenti, hogy nincs nyomkövetési modell színezési döntése, mivel azok nem önkényesek. Ráadásul rendkívül robusztusnak tűnnek, így még mozgó jelenetekben is nagyon konzisztens a renderelés.”

Az elkészült képet ezután visszaküldik a Colorize_bot-nak, hogy közzétegyék a Twitteren. A kezdeti említés rögzítésének teljes rendszere a tweetre adott válaszon keresztül mindössze 10 másodpercet vesz igénybe a feldolgozás szempontjából. A bot azonban úgy van programozva, hogy csak 30 másodpercenként válaszoljon, hogy ne sértse meg a Twitter spamelésre vonatkozó szabályait. Ezenkívül óránként, felhasználónként csak egy említésre válaszol, hogy megtakarítsa az infrastrukturális költségeket, amelyeket Zambrano diákként nem engedhet meg magának.

„Jelenleg havonta körülbelül 30 dollárt fizetek azért, hogy a projekt aktív maradjon” – mondta. „Ezt én finanszíroztam, a megtakarításaimból. A jövőben, amikor már nem tudom ezt kifizetni, azon gondolkodom, hogy valamilyen adományt vagy szponzorációt kérjek egy érdeklődő intézménytől.”

A siker mércéje

A bot nem tökéletes, és nem is csodatevő. Az alacsony felbontású képek például alacsony felbontású eredményeket adnak. Zambrano elmondta, hogy a Colorize_bot gyengén teljesít a mangaképek színezésével kapcsolatban, amit az emberek gyakran kérnek tőle. "Ez technikai szinten annak köszönhető, hogy a színezési modellt valós képekkel képezték ki" - mondta. Ha arra kérik, hogy színezzen más típusú képeket, mint amelyekre betanították, az eredmény nem tökéletes.

Ennek ellenére sok esetben lenyűgözően pontosnak bizonyult, elég ahhoz, hogy a Colorize_Bot néhány rövid hónap alatt már több mint 30 000 követőt gyűjtött össze a Twitteren. A szolgáltatást igénybe vevők gyors keresése azt mutatja, hogy legalább pár percenként kérik.

„A projekt fejlesztésének eredményeként a legjobb történeteim azok voltak, akik írnak nekem, megköszönve, hogy kiszíneztem a rokonaik régi fotóit” – mondta Zambrano. Egy ember még egy fényképet is küldött neki édesanyjáról, a kezében egy bekeretezett fotóval, amelyen egy őse színezett képe látható. Nehéz meghatározni egy ilyen projekt értékét pénzben kifejezve. De ami azt illeti, jól teltek a kódolási hónapok? Ezek a történetek azt jelzik, hogy győztes volt.

„Milyen pillanatot éltem meg azon az éjszakán, az elégedettség, az öröm és az optimizmus érzése volt” – mondta. „Amint láttam azt a gyönyörű anyát, aki kezében tartja a kinyomtatott példányát, rájöttem, hogy sokszor nagy hatással lehetnek azok a dolgok, amelyeket pusztán azért teszünk, hogy segítsünk másokon.”

Szerkesztői ajánlások

• A.I. általában nem felejt el semmit, de a Facebook új rendszere igen. Íme, miért
• A.I. 2020-ban elért néhány fontos mérföldkövet. Íme egy összefoglaló