Цей Twitter-бот розфарбує будь-яку чорно-білу фотографію

Розфарбовування монохромних фотографій — це практика, яка сягає перших днів фотографії. Оскільки кольорова фотографія була недоступна для більшості споживачів до 1940-х років, представники громадськості, які хотіли підвищити реальність фотографій, часто експериментували з ручним розфарбуванням як альтернативою. Це була неймовірно трудомістка робота, пов’язана з аквареллю, олією чи пастеллю — і результати, незважаючи на те, що вони відрізняються, вони не обов’язково виглядають настільки реалістично, як могли виглядати їхні творці сподівався.

Сьогодні перетворювати чорно-білі зображення на повнокольорові фотографії набагато простіше — і результати набагато, набагато кращі. Як легко? Все, що вам потрібно зробити, це опублікувати або помітити монохромне зображення в Twitter і відповісти на нього @colorize_bot. Наче виклик планети-капітана, який розфарбовує, Colorize_bot — як його називають — миттєво починає діяти за допомогою своїх цифрових Crayola, залишаючи користувачеві свіже різнокольорове зображення та веселе: «Звичайно, приємно тобі допомогти!» Все це відбувається в межах лише кількох секунд.

І у вас є 21-річний студент інформатики та інженерії з Еквадору — і якийсь чудовий ШІ. інструменти — подякувати за це.

Пандемічний проект

«Colorize_bot, безсумнівно, мій найкращий проект», — сказав творець Geovani Zambrano Digital Trends.

Як і багато інших проектів, які зараз працюють, Colorize_bot почав цифрове життя в результаті пандемії. Застрягши вдома з «багато вільного часу», Замбрано вирішив створити Twitter-бота, щоб попрактикувати свої навички JavaScript.

Ці прості програмні інструменти різної користі можуть бути використані для виконання ряду автономних дій у Twitter — чи то розміщувати посилання на безкоштовні електронні книги на Amazon чи поєднання заголовків новин для комічного ефекту. «У мене було багато ідей, — сказав він. «Від бота, який щогодини публікує мотиваційну фразу, до бота «годинного перекладача». Мета проекту ніколи не полягала в тому, щоб отримати підписників. Моєю метою було просто створити [щось корисне].»

У цей момент він згадав відео на YouTube, яке він бачив сім місяців тому, в якому детально описано, як машинне навчання можна використовувати для ремастерингу старих фотографій. Самбрано виступив із концепцією створення на основі деяких із цих ШІ. інструменти, які були у вільному доступі в Інтернеті, і перетворивши їх на інструмент для розфарбовування. Він почав 26 жовтня і працював протягом місяця, приділяючи приблизно три-чотири години щодня.

Перша версія бота — обмежена, яка могла працювати лише з одним зображенням на твіт — була опублікована 28 листопада 2020 року.

Як працює Colorize_bot

Щоразу, коли користувач позначає Colorize_bot у твіті, він миттєво активується за допомогою веб-хуку, який монітори для виклику 24/7. Після того, як згадка зафіксована, оброблена та підтверджена, вона збирає монохромні зображення та передає їх до іншого розфарбовування A.I. інструмент. Це не була створена Zambrano, це скоріше модель з відкритим кодом, розроблена дослідником Джейсоном Антиком.

як описано на Github, модель використовує варіацію Generative Adversarial Network (GAN), дискримінатора та генератора A.I. система, яка раніше використовувалася для створення всього підроблений генетичний код людини до А.І. картини. Інструмент NoGAN можна використовувати для розфарбовування як фото, так і відео, хоча останнє, як не дивно, займає трохи більше часу. Як пояснює Антик у дописі про модель, навіть він не зовсім впевнений у тому, як вона витягує ті дані, які вона робить для розфарбовування зображень. Він просто дізнається про це з величезних обсягів даних, які потім можуть бути спрямовані в правильному напрямку за допомогою відповідних алгоритмів.

«Я припускаю, що моделі вивчають деякі цікаві правила, як розфарбовувати на основі тонкі ознаки, присутні в чорно-білих зображеннях, яких я б точно не очікував», – Антіч. пише. «Цей результат призводить до гарно детермінованих і послідовних результатів, а це означає, що у вас немає рішень про розфарбовування моделі відстеження, оскільки вони не є довільними. Крім того, вони здаються надзвичайно міцними, тому навіть у рухомих сценах рендери є дуже послідовними».

Готове зображення потім передається назад Colorize_bot для публікації в Twitter. Вся система фіксації початкової згадки через відповідь на твіт займає лише 10 секунд з точки зору обробки. Однак бот запрограмований відповідати лише кожні 30 секунд, щоб не порушувати правила Twitter щодо спаму. Він також реагує лише на одну згадку на годину для кожного користувача, щоб заощадити на витратах на інфраструктуру, які, будучи студентом, Zambrano не може собі дозволити.

«Зараз я плачу близько 30 доларів на місяць, щоб підтримувати проект активним», — сказав він. «Це фінансував я сам, за рахунок своїх заощаджень. У майбутньому, коли я більше не зможу це платити, я думаю про те, щоб попросити якусь пожертву чи спонсорство від зацікавленої установи».

Міра успіху

Бот не ідеальний і не чудотворець. Зображення з низькою роздільною здатністю, наприклад, дають результати з низькою роздільною здатністю. Більш того, за словами Замбрано, Colorize_bot погано працює, коли справа доходить до розфарбовування зображень манги, про що люди часто просять його зробити. «На технічному рівні це пов’язано з тим, що модель розфарбовування була навчена реальними зображеннями», — сказав він. Коли його просять розфарбувати зображення іншого типу, ніж ті, на яких він навчався, результати виявляються далеко не ідеальними.

Тим не менш, він виявився вражаюче точним у багатьох випадках, настільки, що Colorize_Bot вже зібрав понад 30 000 підписників у Twitter лише за кілька місяців. Швидкий пошук людей, які викликають його в службу, показує, що його запитують принаймні кожні пару хвилин.

«Найкращі історії, які я маю в результаті розвитку цього проекту, — це люди, які пишуть мені, дякуючи за розфарбовування старих фотографій їхніх родичів», — сказав Замбрано. Одна людина навіть надіслала йому фотографію своєї мами з розфарбованим зображенням предка в рамці. Важко оцінити вартість такого проекту в грошовому еквіваленті. Але з точки зору відчуття, що ці місяці кодування були витрачені добре? Ці історії є показником того, що він був на шляху до переможця.

«Який момент я пережив тієї ночі, це було відчуття задоволення, радості та оптимізму», — сказав він. «Побачивши цю прекрасну матір, яка тримає роздруківку, я зрозумів, що часто те, що ми робимо просто заради того, щоб допомогти іншим людям, може мати великий вплив».

Рекомендації редакції

• А.І. зазвичай нічого не забуває, але нова система Facebook забуває. Ось чому
• А.І. у 2020 році вдалося досягти кількох важливих віх. Ось підсумок