Tento malý senzor se chystá navždy změnit fotoaparát vašeho telefonu

„Věříme, že existuje skutečná příležitost vyvinout a použít spektrální snímač v chytrém telefonu. Navzdory veškerému pokroku, kterého bylo dosaženo s různými fotoaparáty a výpočetním výkonem smartphonu, nikdo nedokáže identifikovat skutečnou barvu obrázku.“

Takto Spectricita Generální ředitel Vincent Mouret v nedávném rozhovoru popsal misi společnosti Digital Trends a také důvod, proč vyrábí miniaturizovaný spektrální obrazový snímač, který je připraven k použití v chytrý telefon. Ale co to vlastně spektrální senzor je a jak funguje? Ukázalo se, že dokáže mnohem víc než jen zachytit hezké barvy.

Už jste někdy viděli tuto barvu?

Než se k tomu všemu dostaneme, promluvme si o tom, co dělá multispektrální obrazový snímač Spectricity S1 pro fotoaparáty. Většina fotoaparátů telefonů používá tříbarevné snímače RGB (červený, zelený a modrý), ale snímač Spectricity S1 se dívá hlouběji do viditelné světlo a blízký infračervený rozsah pro reprodukci přirozenějších, konzistentnějších barev spolu s výrazně vylepšenou bílou Zůstatek.

"Standardní fotoaparát integrovaný do smartphonu má RGB senzor, který vidí červenou, zelenou a modrou barvu," řekl Mouret. „Přidáváme filtry, abychom vytvořili až 16 různých obrázků s různými barvami a různými vlnovými délkami světlo, světlo přicházející z různých zdrojů a odražené světlo přicházející od objektu scéna. Díky těmto odlišným obrázkům ve srovnání se standardním RGB můžete identifikovat mnoho různých vlastností.“

To znamená, že bez ohledu na světelné podmínky budou mít snímky pořízené telefonem se snímačem S1 konzistentnější barvy, jak můžete vidět na obrázku níže. Během našeho rozhovoru jsem viděl živou ukázku, která replikovala reprodukci barev a konzistence je vidět v příkladu, ale stojí za zmínku, že senzor byl ovládán PC a ne chytrý telefon.

„U fotoaparátů Xiaomi, Samsung, Apple a Huawei uvidíte, že barvy se v různých světelných podmínkách velmi liší. Ve stejné scéně pořízené naším spektrálním snímačem jsou drobné rozdíly, ale drobné. Barvy z obrázků jsou barvy, které vidíme pouhýma očima. Můžete vidět, že všechny smartphony produkují velmi odlišné barvy.“

Tato přesnost barev také zlepší schopnost fotoaparátů smartphonů lépe reprodukovat různé odstíny pleti. Na jiném příkladu obrázku se zdálo, že senzor S1 vykazuje značná zlepšení i zde.

"Můžete vidět, že odstíny pleti jsou zcela odlišné v závislosti na světelných podmínkách," zdůraznil Mouret. „Řešením je použití spektrálního snímače k ​​analýze světelných podmínek, aby byl skutečně poskytnut ten správný tón. Toto je jediný způsob. Můžete za tím dát spoustu umělé inteligence, ale to nestačí. Musíte mít nějaký další hardware."

Bohužel Mouret neměl Google Pixel telefon po ruce pro porovnání senzoru S1 Výpočetní technologie Real Tone společnosti Google, která slibuje udělat něco podobného, ​​pouze tím pomocí softwarových vylepšení.

Je to snímač nebo kamera?

Výhody spektrálního obrazového snímače, jako je S1, se zdají být jasné a kdo by nechtěl efektivnější vyvážení bílé a přirozené, konzistentní barvy na svých fotografiích? Ale způsob, jakým Mouret popsal schopnost S1, způsobil, že to znělo spíše jako fotoaparát než senzor. Který to je? Opravdu se vejde do smartphonu? Pokud ano, jaké úpravy budou potřeba?

Aplikační inženýr Spectricity Michael Jacobs, který spustil demo, které jsem sledoval, vysvětlil, co S1 vlastně je.

„Je to skutečně doprovodný senzor, velmi podobný hloubkovému senzoru nebo 3D senzoru používanému s RGB kamerou,“ potvrdil.

Nicméně ano technicky pořizujte fotografie, jen ne ty, které byste chtěli použít jednotlivě, jak vysvětlil Mouret:

„Náš obrazový snímač má rozlišení VGA, 800 x 600 pixelů. Tento menší spektrální obrázek musíte zkombinovat s obrázkem RGB. Samotný modul je opravdu velmi malý. Byl navržen pro integraci do smartphonu. Takže je to 5 mm x 5 mm x 6 mm,“ řekl mi Mouret, než řekl více o tom, jak je senzor postaven. "Není to snadné, ale řekl bych, že to není nic moc sofistikovaného," vysvětlil s tím, že modul je postaven pomocí stejných metod jako běžné snímače CMOS. "Pokud jde o celkové náklady, bude celý modul stát stejnou cenu jako velkoobjemová standardní kamera."

Právě teď bude senzor integrován se standardním obrazovým signálovým procesorem (ISP) používaným procesory smartphonů od Qualcomm a MediaTek, ale k provozu bude vyžadovat další software.

Multispektrální obrazový snímač S1 není poník na jeden trik a ve skutečnosti má zajímavou druhou funkci v tom, že dokáže rozpoznat a analyzovat biomarkery kůže. To znamená, že je schopen říct, zda „vidí“ skutečnou osobu, což by se dalo použít pro bezpečnostní aplikace – např. pokud někdo nosí masku, aby skryl svou identitu – péče o pleť a dokonce i ve zdravotních aplikacích v kombinaci s umělou inteligencí a dalšími software. Lze jej také použít k vylepšení fotografií v režimu Portrét.

Kdy bude použit v telefonu?

Výrobci už nějakou dobu pracují na zlepšení reprodukce barev na telefonech, vracejí se k LG G5 v roce 2016, který ke zlepšení barevného výkonu používal vedle svého laserového snímače automatického ostření také speciální snímač barevného spektra. Huawei zvolil jiný přístup a opustil RGB senzor P30 Pro ve prospěch RYYB senzoru, v jeho snaze lépe reprodukovat barvy a zlepšit výkon při slabém osvětlení. Olympus a Imec také experimentovali s blízkými infračervenými RGB senzory pro různé aplikace.

Senzor Spectricity S1 je první na světě a jde jiným směrem než tyto příklady. Na základě ukázky a ukázkových obrázků to vypadá slibně – ale kdy bychom to měli očekávat na telefonu?

"Na začátku bude představen na špičkových telefonech," řekl Mouret. "V roce 2024 to bude malý objem, v roce 2025 vyšší objem a od roku 2026 bude rozšířenější."

Mouret také očekává, že první příklady pocházejí od čínských výrobců smartphonů, nikoli od společností jako Samsung a Apple. Mouret však očekává, že se to v budoucnu změní Tisková zpráva CES 2023 u senzoru S1 se nezdržel svých očekávání a řekl:

„Očekáváme, že první modely smartphonů s S1 budou uvedeny na trh v roce 2024 a očekáváme, že všechny smartphony budou v nadcházejících letech zahrnovat naši technologii.“

Ano, všechny smartphony. Je to velký cíl, ale pokud výkon, který jsme viděli v ukázce, je to, co nakonec uvidíme z fotoaparátu telefonu s S1 vedle něj, jen málo výrobců bude chtít zůstat pozadu.

Doporučení redakce

• Dokáže telefon za 450 dolarů porazit fotoaparáty Samsung Galaxy S23? Je to blízko
• Nejste připraveni na tento Galaxy S23 vs. Test fotoaparátu iPhone 14 Pro
• Nový telefon Xiaomi má 200MP fotoaparát – a jeho fotografie jsou úžasné
• Apple Ceramic Shield může změnit váš názor na ochranu obrazovky iPhone 14
• OnePlus 10T vs. Bitva o fotoaparát Nothing Phone 1 by neměla být tak blízko