Этот крошечный сенсор навсегда изменит камеру вашего телефона

«Мы считаем, что существует реальная возможность разработать и использовать спектральный формирователь изображения в смартфоне. Несмотря на весь прогресс, достигнутый с использованием различных камер и вычислительной мощности смартфона, ни одна из них не может по-настоящему определить истинный цвет изображения».

Вот как Спектричность Генеральный директор Винсент Муре описал миссию компании Digital Trends в недавнем интервью, а также причину, по которой она создает миниатюрный спектральный датчик изображения, готовый к использованию в смартфон. Но что такое спектральный датчик и как он работает? Оказывается, он может делать гораздо больше, чем просто снимать красивые цвета.

Вы когда-нибудь видели этот цвет?

Прежде чем мы перейдем ко всему этому, давайте поговорим о том, что делает для камер мультиспектральный датчик изображения Spectricity S1. В большинстве телефонных камер используются трехцветные датчики RGB (красный, зеленый и синий), но датчик Spectricity S1 смотрит дальше. видимый свет и ближний инфракрасный диапазон для воспроизведения более естественных и последовательных цветов, а также значительно улучшенного белого цвета. баланс.

«Стандартная камера, встроенная в смартфон, оснащена датчиком RGB, который видит красный, зеленый и синий цвета», — сказал Муре. «Мы добавляем фильтры для создания до 16 различных изображений с разными цветами и длинами волн. свет, свет, исходящий от разных источников, и отраженный свет, исходящий от объекта освещения. сцена. Благодаря этим изображениям, отличающимся от стандартного RGB, вы можете идентифицировать множество различных свойств».

Это означает, что независимо от условий освещения изображения, сделанные телефоном с датчиком S1, будут иметь более однородные цвета, как вы можете видеть на примере изображения ниже. Во время нашей беседы я увидел живую демонстрацию, воспроизводящую цветопередачу и согласованность показана в примере, но стоит отметить, что датчик управлялся ПК, а не компьютером. смартфон.

«На камерах Xiaomi, Samsung, Apple и Huawei вы увидите, что цвета сильно различаются в разных условиях освещения. В той же сцене, снятой нашим спектральным имидж-сканером, есть небольшие различия, но незначительные. Цвета изображений — это цвета, которые мы видим невооруженным глазом. Вы можете видеть, что все смартфоны воспроизводят очень разные цвета».

Такая точность цветопередачи также улучшит способность камер смартфонов лучше воспроизводить различные оттенки кожи. В другом примере изображения датчик S1, похоже, также показал значительные улучшения.

«Вы можете видеть, что оттенки кожи совершенно разные в зависимости от условий освещения», — отметил Муре. «Решение состоит в том, чтобы использовать спектральный имидж-сканер для анализа условий освещения, чтобы действительно дать правильный тон. Это единственный путь. Вы можете использовать много ИИ, но этого недостаточно. Вам нужно иметь дополнительное оборудование».

К сожалению, у Муре не было Google Пиксель телефон под рукой, чтобы сравнить сенсор S1 с Вычислительная технология Google Real Tone, который обещает сделать нечто подобное, только использование усовершенствований программного обеспечения.

Это датчик или камера?

Преимущества спектрального датчика изображения, такого как S1, кажутся очевидными, и кто не хочет более эффективного баланса белого и естественных, последовательных цветов на своих фотографиях? Но то, как Муре описал возможности S1, напоминало скорее камеру, чем сенсор. Что он? Действительно ли он поместится в смартфон? Если да, то какие изменения потребуются?

Инженер по приложениям Spectricity Майкл Джейкобс, который запускал демонстрацию, которую я смотрел, объяснил, что на самом деле представляет собой S1.

«Это действительно дополнительный датчик, очень похожий на датчик глубины или 3D-датчик, используемый с камерой RGB», — подтвердил он.

Тем не менее, это делает технически делайте фотографии, но не те, которые вы хотели бы использовать индивидуально, как объяснил Муре:

«Наш датчик изображения имеет разрешение VGA 800 x 600 пикселей. Вам необходимо объединить это меньшее спектральное изображение с изображением RGB. Сам модуль действительно очень маленький. Он был разработан для интеграции в смартфон. Итак, это 5 мм на 5 мм на 6 мм», — сказал мне Муре, прежде чем рассказать подробнее о том, как устроен датчик. «Это непросто, но я бы сказал, что в этом нет ничего сложного», — пояснил он, заявив, что модуль построен с использованием тех же методов, что и обычные CMOS-сенсоры. «С точки зрения общей стоимости, полный модуль будет стоить столько же, сколько стандартная камера большого объема».

На данный момент датчик будет интегрирован со стандартным процессором сигналов изображения (ISP), используемым процессорами смартфонов от Qualcomm и MediaTek, но для его работы потребуется дополнительное программное обеспечение.

Мультиспектральный датчик изображения S1 — это не одноразовое устройство, у него на самом деле есть интригующая вторая функция: он может распознавать и анализировать биомаркеры кожи. Это означает, что он может определить, «видит» ли он реального человека, что может быть использовано в приложениях безопасности — например, он знает, если кто-то носит маску, чтобы скрыть свою личность — уход за кожей и даже в медицинских целях в сочетании с искусственным интеллектом и другими программное обеспечение. Его также можно использовать для улучшения фотографий в портретном режиме.

Когда он будет использоваться в телефоне?

Производители уже некоторое время работают над улучшением цветопередачи на телефонах, начиная с LG G5 в 2016 году компания использовала специальный датчик цветового спектра вместе с лазерным датчиком автофокусировки для улучшения цветопередачи. Компания Huawei пошла по другому пути и отказалась от RGB-датчика на своем смартфоне. Р30 Про в пользу датчика RYYB, чтобы лучше воспроизводить цвета и улучшить характеристики при слабом освещении. Олимп и Имек также экспериментировали с датчиками RGB ближнего инфракрасного диапазона для различных приложений.

Датчик Spectricity S1 является первым в мире и работает в другом направлении, чем эти примеры. Судя по демо-версии и изображениям-примерам, он выглядит многообещающим — но когда нам следует ожидать его появления на телефоне?

«Вначале он будет представлен на телефонах высокого класса», — сказал Муре. «В 2024 году объем будет небольшим, в 2025 году — большим, а затем, начиная с 2026 года, он станет более распространенным».

Муре также ожидает, что первые образцы поступят от китайских производителей смартфонов, а не от таких компаний, как Samsung и Apple. Однако Муре ожидает, что в будущем ситуация изменится. Пресс-релиз CES 2023 что касается датчика S1, он не сдержал своих ожиданий, сказав:

«Мы ожидаем, что первые модели смартфонов с S1 будут выпущены в 2024 году, и мы ожидаем, что все смартфоны будут включать нашу технологию в ближайшие годы».

Да, все смартфоны. Это большая цель, но если производительность, которую мы видели в демо-версии, будет такой же, как у камеры телефона с S1 рядом с ней, немногие производители захотят остаться позади.

Рекомендации редакции

• Сможет ли телефон за 450 долларов превзойти камеры Samsung Galaxy S23? Это близко
• Вы не готовы к противостоянию Galaxy S23 и Galaxy S23. Тест камеры iPhone 14 Pro
• Новый телефон Xiaomi оснащен 200-мегапиксельной камерой — и его фотографии потрясающие
• Керамический щит Apple может изменить ваше мнение о защитной пленке для экрана iPhone 14
• OnePlus 10T против. Ничто Битва камер Phone 1 не должна быть такой близкой