Цей крихітний датчик збирається назавжди змінити камеру вашого телефону

«Ми віримо, що є реальна можливість розробити та використовувати спектральний тепловізор у смартфоні. Попри весь прогрес, досягнутий із різними камерами та обчислювальною потужністю смартфона, ніхто не може насправді визначити справжній колір зображення».

Ось як видовищність Генеральний директор Вінсент Муре в нещодавньому інтерв’ю Digital Trends описав місію компанії, а також причину, чому вона створює мініатюрний спектральний датчик зображення, готовий до використання в смартфон. Але що таке спектральний датчик і як він працює? Виявляється, він може робити набагато більше, ніж просто знімати гарні кольори.

Ви коли-небудь бачили цей колір?

Перш ніж перейти до всього цього, давайте поговоримо про те, що мультиспектральний датчик зображення Spectricity S1 робить для камер. У більшості телефонних камер використовуються триколірні датчики RGB (червоний, зелений і синій), але датчик Spectricity S1 дивиться далі в видиме світло та ближній інфрачервоний діапазон для відтворення більш природних, послідовніших кольорів разом із значно покращеним білим баланс.

«Стандартна камера, вбудована в смартфон, має датчик RGB, який розпізнає червоний, зелений і синій», — сказав Муре. «Ми додаємо фільтри, щоб створити до 16 різних зображень з різними кольорами та різними довжинами хвиль світло, світло, що надходить від різних джерел, і відбите світло, що надходить від об’єкта сцена. Ви можете ідентифікувати багато різних властивостей завдяки цим зображенням, які відрізняються від стандартного RGB».

Це означає, що незалежно від умов освітлення зображення, зроблені телефоном із датчиком S1, матимуть більш узгоджені кольори, як ви можете бачити на прикладі зображення нижче. Під час нашої розмови я бачив живу демонстрацію, яка повторювала відтворення кольорів і послідовність видно в прикладі, але варто зазначити, що датчиком керував ПК, а не смартфон.

«Ви побачите, що на камерах Xiaomi, Samsung, Apple і Huawei кольори дуже відрізняються в різних умовах освітлення. У тій же сцені, знятій нашим спектральним фотокамерою, є невеликі відмінності, але незначні. Кольори на зображеннях – це кольори, які ми бачимо неозброєним оком. Ви бачите, що всі смартфони мають дуже різні кольори».

Ця точність кольору також покращить здатність камер смартфонів краще відтворювати різні відтінки шкіри. На іншому прикладі зображення датчик S1, здавалося, також демонструє значні покращення.

«Ви бачите, що відтінки шкіри абсолютно різні залежно від умов освітлення», — зазначив Муре. «Рішення полягає в тому, щоб використовувати спектральний тепловізор для аналізу умов освітлення, щоб справді дати правильний тон. Це єдиний шлях. Ви можете використовувати багато ШІ, але цього недостатньо. Вам потрібно мати додаткове обладнання».

На жаль, у Муре не було Google Pixel телефон під рукою, щоб порівняти датчик S1 Обчислювальна технологія Google Real Tone, яка обіцяє зробити щось подібне, тільки автором за допомогою вдосконалень програмного забезпечення.

Це датчик чи камера?

Переваги такого спектрального датчика зображення, як S1, здається, очевидні, і хто не хоче мати більш ефективний баланс білого та природні стабільні кольори на своїх фотографіях? Але те, як Муре описав можливості S1, нагадує більше камеру, ніж датчик. що це? Чи справді він поміститься всередині смартфона? Якщо так, то які зміни будуть потрібні?

Інженер Spectricity Майкл Джейкобс, який запустив демонстрацію, яку я дивився, пояснив, що таке S1 насправді.

«Це справді допоміжний датчик, дуже схожий на датчик глибини або 3D-датчик, який використовується з камерою RGB», — підтвердив він.

Однак це робить технічно робити фотографії, а не ті, які ви хотіли б використовувати окремо, як пояснив Муре:

«Наш датчик зображення має роздільну здатність VGA 800 x 600 пікселів. Вам потрібно поєднати це менше спектральне зображення із зображенням RGB. Сам модуль дійсно дуже маленький. Він був розроблений для інтеграції в смартфон. Отже, це 5 мм на 5 мм на 6 мм», — сказав мені Муре, перш ніж розповісти більше про те, як побудований датчик. «Це непросто, але я б сказав, що це не дуже складно», — пояснив він, сказавши, що модуль побудовано за тими ж методами, що й звичайні датчики CMOS. «З точки зору загальної вартості повний модуль коштуватиме таку саму вартість, як і стандартна камера великого обсягу».

На даний момент датчик буде інтегрований зі стандартним процесором сигналу зображення (ISP), який використовується в процесорах смартфонів від Qualcomm і MediaTek, але для роботи буде потрібно додаткове програмне забезпечення.

Мультиспектральний датчик зображення S1 — це не один трюк, він насправді має інтригуючу другу функцію, яка полягає в тому, що він може розпізнавати та аналізувати біомаркери шкіри. Це означає, що він здатний визначити, чи «бачить» реальну людину, що може бути використано для програм безпеки — наприклад, він знає якщо хтось носить маску, щоб приховати свою особу — догляд за шкірою, і навіть у додатках для здоров’я в поєднанні з ШІ та іншими програмне забезпечення. Його також можна використовувати для покращення фотографій у портретному режимі.

Коли він буде використовуватися в телефоні?

Виробники деякий час працювали над покращенням відтворення кольорів на телефонах, повертаючись до LG G5 у 2016 році, який використовував спеціальний датчик колірного спектру разом із лазерним датчиком автофокусування для покращення якості кольору. Huawei застосував інший підхід і відмовився від RGB-датчика P30 Pro на користь датчика RYYB, оскільки він намагається краще відтворювати кольори та покращувати продуктивність при слабкому освітленні. Олімп і Imec також експериментували з датчиками RGB ближнього інфрачервоного діапазону для різних застосувань.

Сенсор Spectricity S1 є першим у світі датчиком, який розвивається в іншому напрямку, ніж у цих прикладах. Судячи з демонстрації та прикладів зображень, це багатообіцяюче, але коли ми очікуємо побачити це на телефоні?

«Спочатку це буде представлено на телефонах високого класу», — сказав Муре. «Це буде невеликий обсяг у 2024 році, більший обсяг у 2025 році, а потім, починаючи з 2026 року, він буде більш поширеним».

Муре також очікує, що перші приклади надійдуть від китайських виробників смартфонів, а не від таких компаній, як Samsung і Apple. Однак Муре очікує, що це зміниться в майбутньому і в Прес-реліз CES 2023 для датчика S1 він не стримався від своїх очікувань, сказавши:

«Ми очікуємо, що перші моделі смартфонів із S1 будуть випущені у 2024 році, і ми очікуємо, що всі смартфони включатимуть нашу технологію протягом наступних років».

так, всі смартфони. Це велика мета, але якщо продуктивність, яку ми побачили в демонстрації, буде такою, якою ми зрештою побачимо камеру телефону з S1 поруч із нею, небагато виробників захочуть залишитися позаду.

Рекомендації редакції

• Чи може телефон за 450 доларів перевершити камери Samsung Galaxy S23? Це близько
• Ви не готові до цього Galaxy S23 vs. Тест камери iPhone 14 Pro
• Новий телефон Xiaomi має 200-мегапіксельну камеру — і його фотографії приголомшливі
• Apple Ceramic Shield може змінити вашу думку щодо захисної плівки для екрана iPhone 14
• OnePlus 10T проти. Бій із камерою Nothing Phone 1 не повинен бути таким близьким