Tento malý senzor sa chystá navždy zmeniť fotoaparát vášho telefónu

„Veríme, že existuje skutočná príležitosť vyvinúť a použiť spektrálny snímač v smartfóne. Napriek všetkému pokroku, ktorý sa dosiahol s rôznymi fotoaparátmi a výpočtovým výkonom smartfónu, nikto nedokáže skutočne identifikovať skutočnú farbu obrázka.“

To je ako Spectricita Generálny riaditeľ Vincent Mouret opísal v nedávnom rozhovore poslanie spoločnosti pre Digital Trends, ako aj dôvod, prečo vyrába miniaturizovaný spektrálny obrazový snímač, ktorý je pripravený na použitie v smartfón. Ale čo je to vlastne spektrálny senzor a ako funguje? Ukázalo sa, že dokáže oveľa viac, než len zachytiť pekné farby.

Videli ste už túto farbu?

Než sa k tomu všetkému dostaneme, porozprávajme sa o tom, čo robí multispektrálny obrazový snímač Spectricity S1 pre fotoaparáty. Väčšina fotoaparátov telefónov používa trojfarebné snímače RGB (červený, zelený a modrý), ale snímač Spectricity S1 sa pozerá ďalej do viditeľné svetlo a blízke infračervené spektrum na reprodukciu prirodzenejších a konzistentnejších farieb spolu s výrazne zlepšenou bielou rovnováhu.

„Štandardný fotoaparát integrovaný do smartfónu má RGB senzor, ktorý vidí červenú, zelenú a modrú,“ povedal Mouret. „Pridávame filtre, aby sme vytvorili až 16 rôznych obrázkov s rôznymi farbami a rôznymi vlnovými dĺžkami svetlo, svetlo prichádzajúce z rôznych zdrojov a odrazené svetlo pochádzajúce z objektu scéna. Vďaka týmto odlišným obrázkom v porovnaní so štandardným RGB môžete identifikovať mnoho rôznych vlastností.“

To znamená, že bez ohľadu na svetelné podmienky budú mať obrázky nasnímané telefónom so snímačom S1 konzistentnejšie farby, ako môžete vidieť na obrázku nižšie. Počas nášho rozhovoru som videl živú ukážku, ktorá replikovala reprodukciu farieb a konzistenciu vidieť v príklade, ale stojí za zmienku, že snímač bol ovládaný počítačom a nie počítačom a smartfón.

„U kamier Xiaomi, Samsung, Apple a Huawei uvidíte, že farby sa v rôznych svetelných podmienkach veľmi líšia. V tej istej scéne nasnímanej naším spektrálnym snímačom sú malé rozdiely, ale menšie. Farby z obrázkov sú farby, ktoré vidíme voľným okom. Môžete vidieť, že všetky smartfóny produkujú veľmi odlišné farby.“

Táto presnosť farieb tiež zlepší schopnosť fotoaparátov smartfónov lepšie reprodukovať rôzne odtiene pleti. Na inom príklade obrázku sa zdá, že snímač S1 aj tu vykazuje značné vylepšenia.

"Môžete vidieť, že odtiene pokožky sú úplne odlišné v závislosti od svetelných podmienok," zdôraznil Mouret. „Riešením je použiť spektrálny snímač na analýzu svetelných podmienok, aby sa skutočne dodal správny tón. Toto je jediný spôsob. Môžete za to dať veľa AI, ale to nestačí. Potrebujete ďalší hardvér."

Bohužiaľ, Mouret nemal Google Pixel telefón po ruke na porovnanie snímača S1 Výpočtová technológia Real Tone spoločnosti Google, ktorá sľubuje, že urobí niečo podobné, len tým pomocou softvérových vylepšení.

Je to snímač alebo kamera?

Výhody spektrálneho obrazového snímača, akým je S1, sa zdajú byť jasné a kto by nechcel na fotografiách efektívnejšie vyváženie bielej a prirodzené, konzistentné farby? Ale spôsob, akým Mouret opísal schopnosť S1, spôsobil, že to znie skôr ako kamera než senzor. Ktorý to je? Naozaj sa zmestí do smartfónu? Ak áno, aké úpravy budú potrebné?

Aplikačný inžinier Spectricity Michael Jacobs, ktorý spustil demo, ktoré som sledoval, vysvetlil, čo S1 vlastne je.

„Je to skutočne sprievodný senzor, veľmi podobný hĺbkovému senzoru alebo 3D senzoru používanému s RGB kamerou,“ potvrdil.

Avšak, robí technicky fotografujte, ale nie tie, ktoré by ste chceli použiť jednotlivo, ako vysvetlil Mouret:

„Náš obrazový snímač má rozlíšenie VGA, 800 x 600 pixelov. Tento menší spektrálny obrázok musíte skombinovať s obrázkom RGB. Samotný modul je naozaj veľmi malý. Bol navrhnutý tak, aby sa dal integrovať do smartfónu. Takže je to 5 mm x 5 mm x 6 mm,“ povedal mi Mouret predtým, ako povedal viac o tom, ako je snímač vyrobený. "Nie je to ľahké, ale povedal by som, že to nie je nič veľmi sofistikované," vysvetlil s tým, že modul je vytvorený pomocou rovnakých metód ako bežné snímače CMOS. "Pokiaľ ide o celkové náklady, kompletný modul bude mať rovnakú cenu ako veľkoobjemová štandardná kamera."

Práve teraz sa snímač integruje so štandardným obrazovým signálovým procesorom (ISP), ktorý používajú procesory smartfónov od Qualcomm a MediaTek, ale na fungovanie bude potrebný ďalší softvér.

Multispektrálny obrazový snímač S1 nie je jednoduchým poníkom a v skutočnosti má zaujímavú druhú funkciu v tom, že dokáže rozpoznať a analyzovať biomarkery kože. To znamená, že dokáže zistiť, či „vidí“ skutočnú osobu, čo by sa dalo použiť na bezpečnostné aplikácie – napríklad ak niekto nosí masku, aby zakryl svoju identitu – starostlivosť o pleť a dokonca aj pri zdravotných aplikáciách v kombinácii s AI a inými softvér. Dalo by sa použiť aj na vylepšenie fotografií v režime Portrét.

Kedy sa bude používať v telefóne?

Výrobcovia už nejaký čas pracujú na zlepšení reprodukcie farieb na telefónoch a vracajú sa späť k LG G5 v roku 2016, ktorá používala špeciálny snímač farebného spektra spolu s laserovým snímačom automatického zaostrovania na zlepšenie výkonu farieb. Huawei zvolil iný prístup a opustil RGB snímač P30 Pro v prospech RYYB snímača, v jeho snahe lepšie reprodukovať farby a zlepšiť výkon pri slabom osvetlení. Olympus a Imec experimentovali aj s blízkymi infračervenými RGB senzormi pre rôzne aplikácie.

Senzor Spectricity S1 je prvý na svete a ide iným smerom ako tieto príklady. Na základe ukážky a vzorových obrázkov to vyzerá dosť sľubne – ale kedy by sme to mali očakávať na telefóne?

„Na začiatku bude predstavený na špičkových telefónoch,“ povedal Mouret. "V roku 2024 to bude malý objem, v roku 2025 vyšší objem a potom od roku 2026 bude rozšírenejší."

Mouret tiež očakáva, že prvé príklady budú pochádzať od čínskych výrobcov smartfónov, a nie od spoločností ako Samsung a Apple. Mouret však očakáva, že sa to v budúcnosti zmení a v r Tlačová správa CES 2023 pre senzor S1 sa nezdržal svojich očakávaní a povedal:

„Očakávame, že prvé modely smartfónov s modelom S1 budú uvedené na trh v roku 2024 a očakávame, že všetky smartfóny budú v nadchádzajúcich rokoch zahŕňať našu technológiu.“

Áno, všetky smartfóny. Je to veľký cieľ, ale ak výkon, ktorý sme videli v ukážke, je to, čo nakoniec uvidíme z fotoaparátu telefónu s S1 vedľa neho, len málo výrobcov bude chcieť zostať pozadu.

Odporúčania redaktorov

• Dokáže telefón za 450 dolárov poraziť fotoaparáty Samsung Galaxy S23? je to blízko
• Nie ste pripravení na tento Galaxy S23 vs. Test fotoaparátu iPhone 14 Pro
• Nový telefón Xiaomi má 200MP fotoaparát – a jeho fotografie sú úžasné
• Ceramic Shield od spoločnosti Apple môže zmeniť váš názor na ochranu obrazovky iPhone 14
• OnePlus 10T vs. Nič, súboj o fotoaparát telefónu 1 by nemal byť taký blízky