Этот Twitter-бот раскрасит любую черно-белую фотографию

Раскрашивание монохромных фотографий — это практика, зародившаяся еще на заре фотографии. Поскольку цветная фотография была недоступна для большинства потребителей до 1940-х годов, представители общественности, которые хотели повысить реалистичность фотографий, часто экспериментировали с раскрашиванием вручную в качестве альтернативы. Это была невероятно трудоемкая работа с акварелью, маслом или пастелью — и результаты, хотя они, безусловно, своеобразны, они не обязательно выглядят настолько реалистично, как могли бы представить их создатели. надеялся.

Сегодня превратить черно-белые изображения в полноцветные стало намного проще, а результаты намного лучше. Как легко? Все, что вам нужно сделать, это опубликовать или найти монохромное изображение в Твиттере и ответить на него сообщением @colorize_bot. Подобно вызову раскрашивающего Капитана Планеты, Colorize_bot, как его называют, мгновенно приступит к работе со своими цифровыми мелками. оставляя пользователю свежее разноцветное изображение и радостное: «Конечно, рад помочь вам!» Все это происходит в течение нескольких секунды.

И у вас есть 21-летний студент, изучающий информатику и инженерное дело из Эквадора, и какой-то изящный искусственный интеллект. инструменты — спасибо за это.

Пандемический проект

«Colorize_bot, без сомнения, мой лучший проект», — рассказал Digital Trends создатель Джованни Замбрано.

Как и многие другие проекты, находящиеся в настоящее время в разработке, Colorize_bot перешел в цифровую жизнь в результате пандемии. Оказавшись дома с «кучей свободного времени», Замбрано решил создать бота для Твиттера, чтобы практиковать свои навыки JavaScript.

Эти простые программные инструменты разной полезности можно использовать для выполнения ряда автономных действий в Твиттере — будь то размещение в Твиттере ссылок на бесплатные электронные книги на Amazon или смешивание заголовков новостей для комического эффекта. «У меня было много идей», — сказал он. «От бота, публикующего мотивационную фразу каждый час, до бота-часового переводчика. Целью проекта никогда не было набрать подписчиков. Моей целью было просто создать [что-то полезное]».

В этот момент он вспомнил видео на YouTube, которое он видел семь месяцев назад, в котором подробно рассказывалось, как машинное обучение можно использовать для ремастеринга старых фотографий. Самбрано придумал концепцию использования некоторых из этих ИИ. инструменты, которые были свободно доступны в Интернете, и превратили их в инструмент для раскрашивания. Он приступил к работе 26 октября и проработал месяц, работая по три-четыре часа каждый день.

Первая версия бота — ограниченная, которая могла обрабатывать только одно изображение на твит — была опубликована 28 ноября 2020 года.

Как работает Colorize_bot

Каждый раз, когда пользователь отмечает Colorize_bot в твите, он мгновенно активируется с помощью веб-перехватчика, который мониторы на вызов 24/7. После того, как упоминание захвачено, обработано и проверено, оно собирает монохромные изображения и передает их другому искусственному интеллекту для раскрашивания. инструмент. Эта модель не была создана Замбрано, а представляет собой модель с открытым исходным кодом, разработанную исследователем Джейсоном Античем.

Как описано на GithubВ модели используется разновидность генеративно-состязательной сети (GAN), дискриминатор и генератор искусственного интеллекта. система, которая ранее использовалась для создания всего из поддельный генетический код человека к А.И. картины. Инструмент NoGAN можно использовать для раскрашивания как неподвижных изображений, так и видео, хотя последнее, что неудивительно, занимает немного больше времени. Как объясняет Антич в сообщении о модели, даже он не совсем уверен в том, как она извлекает те данные, которые используются для раскрашивания изображений. Он просто учится этому на огромных объемах данных, которые затем можно направить в правильном направлении с помощью соответствующих алгоритмов.

«Мое предположение состоит в том, что модели изучают некоторые интересные правила раскрашивания на основе тонкие намеки, присутствующие в черно-белых изображениях, существования которых я, конечно, не ожидал», — Антик пишет. «Этот результат приводит к хорошо детерминированным и последовательным результатам, а это означает, что вам не нужно принимать решения по раскрашиванию модели отслеживания, поскольку они не являются произвольными. Кроме того, они кажутся удивительно прочными, поэтому даже в движущихся сценах рендеринг очень последовательный».

Готовое изображение затем передается обратно в Colorize_bot для публикации в Twitter. Вся система регистрации первоначального упоминания посредством ответа на твит занимает всего 10 секунд с точки зрения обработки. Однако бот запрограммирован отвечать только каждые 30 секунд, чтобы не нарушать правила Twitter относительно рассылки спама. Он также реагирует только на одно упоминание в час на каждого пользователя, что позволяет сэкономить на расходах на инфраструктуру, которые Замбрано, будучи студентом, не может себе позволить.

«В настоящее время я плачу около 30 долларов в месяц за поддержание активности проекта», — сказал он. «Это было профинансировано мной за счет моих сбережений. В будущем, когда я больше не смогу платить эту сумму, я подумываю попросить какое-нибудь пожертвование или спонсорство у заинтересованного учреждения».

Мера успеха

Бот не идеален и не творит чудеса. Например, изображения с низким разрешением дают результаты с низким разрешением. В частности, по словам Замбрано, Colorize_bot плохо справляется с раскрашиванием изображений манги, о чем его часто просят люди. «На техническом уровне это связано с тем, что модель раскрашивания обучалась на реальных изображениях», — сказал он. Когда его просят раскрасить изображения другого типа, чем те, на которых он обучался, результаты оказываются далеко не идеальными.

Тем не менее, во многих случаях он оказался впечатляюще точным, настолько, что Colorize_Bot уже собрал более 30 000 подписчиков в Твиттере всего за несколько коротких месяцев. Быстрый поиск людей, вызывающих его в сервис, показывает, что его запрашивают как минимум каждые пару минут.

«Лучшие истории, которые я получил в результате разработки этого проекта, — это люди, которые пишут мне и благодарят меня за раскрашивание старых фотографий их родственников», — сказал Самбрано. Один человек даже прислал ему фотографию своей мамы, держащей в рамке раскрашенное изображение предка. Трудно оценить стоимость такого проекта в денежном выражении. Но с точки зрения ощущения, что эти месяцы программирования были потрачены не зря? Эти истории являются показателем того, что он оказался победителем.

«Какой момент я прожил той ночью, это было чувство удовлетворения, радости и оптимизма», — сказал он. «Увидев эту прекрасную мать, держащую в руках свою распечатку, я понял, что зачастую то, что мы делаем просто с целью помочь другим людям, может иметь огромное влияние».

Рекомендации редакции

• А.И. обычно ничего не забывает, но новая система Facebook умеет. Вот почему
• А.И. достигли некоторых важных вех в 2020 году. Вот резюме