Ten bot na Twitterze pokoloruje każde czarno-białe zdjęcie

Kolorowanie fotografii monochromatycznych to praktyka, która sięga początków fotografii. Ponieważ fotografia kolorowa była niedostępna dla większości konsumentów aż do lat czterdziestych XX wieku, obywatele chcący uwypuklić rzeczywistość zdjęć często eksperymentowali z alternatywnym kolorowaniem ręcznym. Była to niezwykle czasochłonna praca z użyciem akwareli, olejów i pasteli – a rezultaty były, choć z pewnością charakterystyczne, niekoniecznie wyglądają tak realistycznie, jak mogliby mieć ich twórcy miał nadzieję.

Obecnie zamiana czarno-białych obrazów w pełnokolorowe fotografie jest o wiele łatwiejsza, a rezultaty są o wiele, wiele lepsze. Jak łatwo? Wszystko, co musisz zrobić, to opublikować lub znaleźć monochromatyczny obraz na Twitterze i odpowiedzieć na niego @colorize_bot. Podobnie jak przywoływanie kolorującego Kapitana Planety, Colorize_bot — jak jest znany — natychmiast wkroczy do akcji ze swoimi cyfrowymi kredkami, pozostawiając użytkownika ze świeżo wielobarwnym obrazem i wesołym komunikatem: „Oczywiście, miło jest pomóc!” To wszystko dzieje się w ciągu zaledwie kilku sekundy.

I masz 21-letniego studenta informatyki i inżynierii z Ekwadoru – i sprytnego AI. narzędzia — aby za to podziękować.

Projekt pandemiczny

„Colorize_bot to bez wątpienia mój najlepszy projekt” – powiedział Digital Trends twórca Geovanny Zambrano.

Podobnie jak w przypadku wielu projektów, które obecnie się krążą, Colorize_bot w wyniku pandemii wkroczył w życie cyfrowe. Ponieważ został w domu i miał „dużo wolnego czasu”, Zambrano postanowił stworzyć bota na Twitterze, aby ćwiczyć swoje umiejętności JavaScript.

Te proste narzędzia programowe o różnej przydatności można wykorzystać do wykonywania szeregu autonomicznych działań na Twitterze — niezależnie od tego, czy będzie to tweetowanie linków do bezpłatnych e-booków na Amazon, czy mieszając nagłówki wiadomości dla efektu komicznego. „Miałem wiele pomysłów” – powiedział. „Od bota, który co godzinę publikuje motywacyjną frazę, do bota „godzinnego tłumacza”. Celem projektu nigdy nie było zdobycie obserwujących. Moim celem było po prostu stworzenie [czegoś użytecznego.]”.

W tym momencie przypomniał sobie film na YouTube, który widział siedem miesięcy wcześniej, w którym szczegółowo opisano, jak można wykorzystać uczenie maszynowe do remasteringu starych zdjęć. Zambrano wpadł na pomysł wykorzystania niektórych z tych rozwiązań AI. narzędzi, które były swobodnie dostępne w Internecie, i przekształcenie ich w narzędzie do kolorowania. Zaczął 26 października i pracował przez miesiąc, poświęcając około trzech lub czterech godzin dziennie.

Pierwsza wersja bota – ograniczona, która mogła obsłużyć tylko jeden obraz na tweet – została opublikowana 28 listopada 2020 r.

Jak działa Colorize_bot

Ilekroć użytkownik oznaczy Colorize_bot w tweecie, zostanie on natychmiast aktywowany za pomocą webhooka, który monitory na wezwania 24 godziny na dobę, 7 dni w tygodniu. Gdy wzmianka zostanie przechwycona, przetworzona i zatwierdzona, zbiera monochromatyczne obrazy i przekazuje je innej sztucznej inteligencji koloryzującej. narzędzie. Ten nie został stworzony przez Zambrano, ale jest raczej modelem open source opracowanym przez badacza Jasona Antica.

Jak opisane na Githubie, model wykorzystuje odmianę generatywnej sieci kontradyktoryjnej (GAN), dyskryminatora i generatora A.I. system, z którego wcześniej wszystko było tworzone fałszywy ludzki kod genetyczny Do sztuczna inteligencja obrazy. Narzędzia NoGAN można używać do kolorowania zarówno obrazów nieruchomych, jak i wideo, chociaż to drugie, co nie jest zaskoczeniem, zajmuje nieco więcej czasu. Jak wyjaśnia Antic w poście na temat modelu, nawet on nie jest do końca pewien, w jaki sposób wyodrębnia on dane potrzebne do kolorowania obrazów. Po prostu uczy się tego na podstawie ogromnych ilości danych, które można następnie popchnąć we właściwym kierunku, stosując odpowiednie algorytmy.

„Przypuszczam, że modelki uczą się kilku interesujących zasad dotyczących kolorowania subtelne wskazówki obecne w czarno-białych obrazach, których istnienia na pewno bym się nie spodziewał” – Antic pisze. „Ten wynik prowadzi do ładnie deterministycznych i spójnych wyników, co oznacza, że ​​nie musisz śledzić decyzji dotyczących kolorowania modelu, ponieważ nie są one arbitralne. Ponadto wydają się niezwykle wytrzymałe, dzięki czemu nawet w ruchomych scenach renderowanie jest bardzo spójne”.

Gotowy obraz jest następnie przekazywany z powrotem do Colorize_bot w celu opublikowania go na Twitterze. Cały system przechwytywania pierwszej wzmianki poprzez odpowiedź na tweeta zajmuje tylko 10 sekund. Jednak bot jest zaprogramowany tak, aby odpowiadać tylko co 30 sekund, aby nie łamać zasad Twittera dotyczących spamowania. Odpowiada także tylko na jedną wzmiankę na godzinę na użytkownika, co pozwala zaoszczędzić na kosztach infrastruktury, na które jako student Zambrano nie może sobie łatwo pozwolić.

„Obecnie płacę około 30 dolarów miesięcznie za utrzymanie projektu” – powiedział. „Zostałem sfinansowany przeze mnie, korzystając z moich oszczędności. W przyszłości, kiedy nie będę już mógł tego zapłacić, zastanawiam się, czy poprosić o jakąś darowiznę lub sponsoring ze strony zainteresowanej instytucji”.

Miarą sukcesu

Bot nie jest doskonały i nie jest też cudotwórcą. Na przykład obrazy o niskiej rozdzielczości dają wyniki o niskiej rozdzielczości. Co więcej, Zambrano powiedział, że Colorize_bot radzi sobie słabo, jeśli chodzi o kolorowanie obrazów mangi, o co ludzie często go proszą. „Na poziomie technicznym wynika to z faktu, że model koloryzacji został przeszkolony na podstawie prawdziwych obrazów” – powiedział. Kiedy zostaje poproszony o pokolorowanie obrazów innego typu niż te, na których był trenowany, wyniki nie są doskonałe.

Niemniej jednak w wielu przypadkach okazało się to imponująco dokładne, na tyle, że Colorize_Bot zdobył już ponad 30 000 obserwujących na Twitterze w ciągu zaledwie kilku krótkich miesięcy. Szybkie wyszukiwanie osób wzywających go do serwisu pokazuje, że jest o to proszony przynajmniej co kilka minut.

„Najlepsze historie, jakie usłyszałam w wyniku rozwoju tego projektu, to ludzie, którzy do mnie piszą i dziękują za pokolorowanie starych zdjęć ich bliskich” – powiedziała Zambrano. Jedna osoba wysłała mu nawet zdjęcie swojej mamy, trzymającej w ręku oprawione w ramkę zdjęcie kolorowego wizerunku przodka. Trudno jest określić wartość takiego projektu w kategoriach pieniężnych. Ale jeśli chodzi o poczucie, że te miesiące kodowania były dobrze wydane? Te historie są wskaźnikiem, że był zwycięzcą.

„Co za moment przeżyłem tej nocy. To było uczucie satysfakcji, radości i optymizmu” – powiedział. „Widząc tę ​​piękną matkę trzymającą wydruk, uświadomiłam sobie, że wiele razy rzeczy, które robimy po prostu po to, by pomóc innym ludziom, mogą mieć ogromny wpływ”.

Zalecenia redaktorów

• sztuczna inteligencja zazwyczaj niczego nie zapomina, ale nowy system Facebooka tak. Dlatego
• sztuczna inteligencja osiągnęła kilka kluczowych kamieni milowych w 2020 r. Oto podsumowanie