Този малък сензор е на път да промени камерата на вашия телефон завинаги

„Ние вярваме, че има реална възможност за разработване и използване на спектрална камера в смартфон. Въпреки целия напредък, постигнат с различни камери и изчислителната мощност на смартфон, никой не може наистина да идентифицира истинския цвят на снимката.

Ето как Призрачност Главният изпълнителен директор Винсент Муре описа мисията на компанията пред Digital Trends в скорошно интервю, както и причината, поради която прави миниатюрен спектрален сензор за изображения, който е готов за използване в смартфон. Но какво точно е спектрален сензор и как работи? Оказва се, че може да направи много повече от просто да улови красиви цветове.

Виждали ли сте някога този цвят?

Преди да стигнем до всичко това, нека поговорим какво прави мултиспектралният сензор за изображения S1 на Spectricity за камерите. Повечето телефонни камери използват трицветни RGB (червено, зелено и синьо) сензори, но сензорът Spectricity S1 гледа по-навътре видима светлина и близък инфрачервен диапазон за възпроизвеждане на по-естествени, по-постоянни цветове, заедно със значително подобрено бяло баланс.

„Стандартна камера, интегрирана в смартфон, има RGB сензор, който вижда червено, зелено и синьо“, каза Муре. „Добавяме филтри, за да създадем до 16 различни изображения с различни цветове, различни дължини на вълната светлина, светлина, идваща от различни източници, и отразена светлина, идваща от обекта на сцена. Можете да идентифицирате много различни свойства благодарение на тези различни изображения в сравнение със стандартен RGB.”

Това означава, че независимо от условията на осветеност, изображенията, направени от телефон със сензор S1, ще имат по-постоянни цветове навсякъде, както можете да видите в примерното изображение по-долу. По време на нашия разговор видях демонстрация на живо, която възпроизвежда възпроизвеждането на цветовете и последователност, наблюдавана в примера, но си струва да се отбележи, че сензорът е управляван от компютър, а не от смартфон.

„Ще видите при камерите на Xiaomi, Samsung, Apple и Huawei цветовете са много различни при различни условия на осветление. В същата сцена, заснета с нашата спектрална камера, има малки разлики, но незначителни. Цветовете от изображенията са цветовете, които се виждат с просто око. Можете да видите, че всички смартфони произвеждат много различни цветове.

Тази точност на цветовете също ще подобри способността на камерите на смартфоните да възпроизвеждат по-добре различни тонове на кожата. В друго примерно изображение сензорът S1 изглежда показва значителни подобрения и тук.

„Можете да видите, че тоновете на кожата са напълно различни в зависимост от условията на осветление“, посочи Муре. „Решението е да се използва спектрална камера за анализиране на светлинните условия, за да се даде наистина правилният тон. Това е единственият начин. Можете да поставите много AI зад него, но това не е достатъчно. Трябва да имате допълнителен хардуер.

За съжаление, Муре нямаше Google Pixel телефон под ръка, за да сравните сензора S1 Изчислителната технология Real Tone на Google, който обещава да направи нещо подобно, само че от използване на софтуерни подобрения.

Сензор ли е, или камера?

Предимствата на спектрален сензор за изображения като S1 изглеждат ясни и кой не иска по-ефективен баланс на бялото и естествени, постоянни цветове в своите снимки? Но начинът, по който Муре описва възможностите на S1, го кара да звучи повече като камера, отколкото като сензор. коя е тя Може ли наистина да се побере в смартфон? Ако е така, какви модификации ще са необходими?

Инженерът по приложения Spectricity Майкъл Джейкъбс, който пусна демонстрацията, която гледах, обясни какво всъщност представлява S1.

„Това наистина е придружаващ сензор, много подобен на сензор за дълбочина или 3D сензор, използван с RGB камера“, потвърди той.

Въпреки това го прави технически правете снимки, но не такива, които бихте искали да използвате поотделно, както Mouret обясни:

„Нашият сензор за изображения има VGA резолюция, 800 x 600 пиксела. Трябва да комбинирате това по-малко спектрално изображение с RGB изображение. Самият модул наистина е много малък. Той е проектиран да бъде интегриран в смартфон. Така че е 5 mm на 5 mm на 6 mm,” каза ми Mouret, преди да каже повече за това как е изграден сензорът. „Не е лесно, но не е нищо особено сложно, бих казал“, обясни той, като каза, че модулът е изграден по същите методи като обикновените CMOS сензори. „По отношение на общата цена, пълният модул ще бъде на същата цена като стандартна камера с голям обем.“

В момента сензорът ще се интегрира със стандартен процесор за сигнали на изображения (ISP), използван от процесори за смартфони от Qualcomm и MediaTek, но ще изисква допълнителен софтуер, за да работи.

Мултиспектралният сензор за изображения S1 не е пони с един трик и всъщност има интригуваща втора функция, в която може да разпознава и анализира кожни биомаркери. Това означава, че е в състояние да разбере дали „вижда“ реален човек, което може да се използва за приложения за сигурност – например, той знае ако някой носи маска, за да прикрие самоличността си — грижа за кожата и дори в здравни приложения, когато се комбинира с AI и други софтуер. Може да се използва и за подобряване на снимки в портретен режим.

Кога ще се използва в телефон?

Производителите работят за подобряване на възпроизвеждането на цветовете на телефоните от известно време, връщайки се към LG G5 през 2016 г., който използва специален сензор за цветен спектър заедно със своя лазерен сензор за автоматично фокусиране, за да подобри представянето на цветовете. Huawei предприе различен подход и изостави RGB сензор на P30 Pro в полза на сензор RYYB, в усилията му да възпроизвежда по-добре цветовете и да подобри производителността при слаба светлина. Олимп и Imec също са експериментирали с близки до инфрачервените RGB сензори за различни приложения.

Сензорът Spectricity S1 е първият в света и върви в различна посока от тези примери. Въз основа на демонстрацията и примерните изображения, той показва значителни обещания – но кога да очакваме да го видим на телефон?

„В началото ще бъде представен на телефони от висок клас“, каза Муре. „Ще бъде малък обем през 2024 г., по-голям обем през 2025 г. и след това, започвайки от 2026 г., ще бъде по-широко разпространен.“

Mouret също така очаква първите примери да дойдат от китайски производители на смартфони, а не от компании като Samsung и Apple. Mouret обаче очаква това да се промени в бъдеще и в Прессъобщение за CES 2023 за сензора S1, той не сдържа очакванията си, като каза:

„Очакваме първите модели смартфони с S1 да бъдат пуснати през 2024 г. и очакваме всички смартфони да включват нашата технология през следващите години.“

да всички смартфони. Това е голяма цел, но ако представянето, което видяхме в демонстрацията, е това, което в крайна сметка ще видим от камерата на телефона с S1 до нея, малко производители ще искат да изоставят.

Препоръки на редакторите

• Може ли телефон за $450 да победи камерите на Samsung Galaxy S23? Близо е
• Не сте готови за тази Galaxy S23 vs. Тест на камерата на iPhone 14 Pro
• Новият телефон на Xiaomi има 200MP камера — и снимките му са зашеметяващи
• Ceramic Shield на Apple може да промени мнението ви за протектор за екрана на iPhone 14
• OnePlus 10T срещу. Нищо, битката с камерата на Phone 1 не трябва да е толкова близка