Ez az apró érzékelő örökre megváltoztatja a telefon kameráját

„Hiszünk abban, hogy valódi lehetőség rejlik egy spektrális képalkotó okostelefonban való kifejlesztésére és használatára. A különféle kamerákkal elért haladás és az okostelefonok számítási teljesítménye ellenére egyik sem tudja igazán azonosítani a kép valódi színét.”

Így Spektricitás Vincent Mouret vezérigazgató egy nemrégiben adott interjúban ismertette a vállalat küldetését a Digital Trends felé, valamint azt, hogy miért készít egy miniatürizált spektrális képérzékelőt, amely készen áll a használatra okostelefon. De mi is pontosan a spektrális érzékelő, és hogyan működik? Kiderült, hogy sokkal többet tud, mint csak szép színeket rögzíteni.

Láttad már ezt a színt?

Mielőtt minderre rátérnénk, beszéljünk arról, hogy a Spectricity S1 multispektrális képérzékelője mit tesz a fényképezőgépekkel. A legtöbb telefon kamerája háromszínű RGB (piros, zöld és kék) érzékelőket használ, de a Spectricity S1 érzékelő tovább néz a látható fény és közeli infravörös tartomány a természetesebb, konzisztensebb színek reprodukálásához, valamint a jelentősen javított fehérség egyensúly.

"Az okostelefonba integrált szabványos kamera RGB érzékelővel rendelkezik, amely vöröset, zöldet és kéket lát" - mondta Mouret. „Szűrőket adunk hozzá, hogy akár 16 különböző képet hozzunk létre, különböző színekkel és különböző hullámhosszakkal fény, a különböző forrásokból érkező fény és a tárgyról érkező visszavert fény színhely. A szabványos RGB-hez képest sokféle tulajdonságot azonosíthat ezeknek a különböző képeknek köszönhetően.”

Ez azt jelenti, hogy a fényviszonyoktól függetlenül az S1 szenzorral ellátott telefonnal készített képek egységesebb színekkel rendelkeznek, amint az az alábbi példaképen is látható. Beszélgetésünk során láttam egy élő bemutatót, amely megismételte a színvisszaadást és konzisztencia látható a példában, de érdemes megjegyezni, hogy az érzékelőt PC üzemeltette, és nem a okostelefon.

„Látni fogja, hogy a Xiaomi, a Samsung, az Apple és a Huawei kameráknál a színek nagyon eltérőek a különböző fényviszonyok között. Ugyanabban a jelenetben, amelyet a mi spektrális képalkotónkkal készítettünk, vannak kisebb eltérések, de kisebbek. A képek színei azok a színek, amelyeket szabad szemünk lát. Láthatja, hogy az összes okostelefon nagyon különböző színeket produkál.”

Ez a színpontosság javítja az okostelefonok kameráinak azon képességét is, hogy jobban reprodukálják a különböző bőrtónusokat. Egy másik példaképen az S1 érzékelő itt is jelentős fejlődést mutatott.

„Látható, hogy a bőrtónusok teljesen eltérőek a fényviszonyoktól függően” – mutatott rá Mouret. „A megoldás az, hogy egy spektrális képalkotó segítségével elemezzük a fényviszonyokat, hogy valóban a megfelelő hangot adjuk. Ez az egyetlen módja. Sok mesterséges intelligencia mögé helyezhető, de ez nem elég. Szüksége van néhány további hardverre."

Sajnos Mouret-nak nem volt a Google Pixel telefon, hogy összehasonlítsa az S1 érzékelővel A Google Real Tone számítási technológiája, amely valami hasonlót ígér, csak a szoftverfejlesztések használatával.

Szenzor vagy kamera?

Az S1-hez hasonló spektrális képérzékelő előnyei egyértelműnek tűnnek, és ki ne szeretne hatékonyabb fehéregyensúlyt és természetes, egyenletes színeket a fényképein? De ahogy Mouret leírta az S1 képességét, inkább úgy hangzott, mint egy kamera, mint egy érzékelő. Ami azt? Tényleg belefér egy okostelefonba? Ha igen, milyen módosításokra lesz szükség?

A Spectricity alkalmazásmérnök, Michael Jacobs, aki lefuttatta a demót, amit néztem, elmagyarázta, mi is az S1 valójában.

"Ez valóban egy társérzékelő, nagyon hasonlít egy mélységérzékelőhöz vagy egy RGB kamerával használt 3D érzékelőhöz" - erősítette meg.

Azonban megteszi technikailag készítsen fényképeket, csak ne olyanokat, amelyeket külön-külön szeretne használni, ahogy Mouret elmagyarázta:

„A képérzékelőnk VGA felbontású, 800 x 600 pixeles. Ezt a kisebb spektrális képet össze kell kapcsolni egy RGB képpel. Maga a modul valóban nagyon kicsi. Úgy tervezték, hogy okostelefonba integrálható legyen. Tehát 5 mm x 5 mm x 6 mm” – mondta Mouret, mielőtt többet mondott az érzékelő felépítéséről. „Nem könnyű, de azt mondanám, hogy nem túl kifinomult” – magyarázta, mondván, a modult ugyanazokkal a módszerekkel építik, mint a hagyományos CMOS-érzékelőket. "Az összköltséget tekintve a teljes modul költsége megegyezik egy nagy volumenű szabványos kamera költségével."

Jelenleg az érzékelő integrálható lesz a Qualcomm és a MediaTek okostelefon-processzorai által használt szabványos képjel-processzorral (ISP), de a működéséhez további szoftverre lesz szükség.

Az S1 multispektrális képérzékelő nem egy trükkös póni, és valójában van egy érdekes második funkciója, mivel képes felismerni és elemezni a bőr biomarkereit. Ez azt jelenti, hogy képes megmondani, hogy egy valós személyt "lát"-e, ami használható biztonsági alkalmazásokhoz – például tudja ha valaki maszkot visel, hogy elrejtse személyazonosságát – bőrápolás, és még egészségügyi alkalmazásokban is, ha mesterséges intelligenciával és egyéb szoftver. A portré módban készült fényképek javítására is használható.

Mikor lesz használható telefonban?

A gyártók egy ideje dolgoznak a telefonok színreprodukciójának javításán, visszatérve a LG G5 2016-ban, amely egy dedikált színspektrum-érzékelőt használt a lézeres autofókusz-érzékelője mellett a színteljesítmény javítása érdekében. A Huawei más megközelítést alkalmazott, és elhagyta az RGB-érzékelőt P30 Pro az RYYB érzékelőt részesíti előnyben a színek jobb visszaadására és gyenge fényviszonyok melletti teljesítmény javítására irányuló törekvésében. Olympus és Imec közel infravörös RGB érzékelőkkel is kísérleteztek különböző alkalmazásokhoz.

A Spectricity S1 érzékelő a világon az első, és ezektől a példáktól eltérő irányba halad. A demó és a példaképek alapján komoly ígéretet mutat – de mikorra számíthatunk rá, hogy telefonon láthatjuk?

„Kezdetben a csúcskategóriás telefonokon lesz bevezetve” – mondta Mouret. „2024-ben kis volumenű lesz, 2025-ben nagyobb mennyiségben, majd 2026-tól szélesebb körben elterjedt.”

Mouret arra is számít, hogy az első példák a kínai okostelefon-gyártóktól származnak, és nem olyan cégektől, mint a Samsung és az Apple. Mouret azonban arra számít, hogy ez változni fog a jövőben, és a CES 2023 sajtóközlemény az S1 érzékelővel kapcsolatban nem tartotta vissza elvárásait, mondván:

„Arra számítunk, hogy az első S1-es okostelefon-modellek 2024-ben fognak megjelenni, és azt várjuk, hogy az elkövetkező években minden okostelefon tartalmazni fogja a mi technológiánkat.”

Igen, minden okostelefon. Ez egy nagy cél, de ha a demóban látott teljesítmény az, amit végül egy telefonkameráról fogunk látni, az S1 mellett, akkor kevés gyártó akar majd lemaradni.

Szerkesztői ajánlások

• Egy 450 dolláros telefon legyőzheti a Samsung Galaxy S23 kameráit? közel van
• Még nem áll készen erre a Galaxy S23 vs. iPhone 14 Pro kamera teszt
• A Xiaomi új telefonja 200 MP-es kamerával rendelkezik – a fotói pedig lenyűgözőek
• Az Apple Ceramic Shield meggondolhatja magát egy iPhone 14 képernyővédő fóliával kapcsolatban
• OnePlus 10T vs. Semmi A Phone 1 kameracsata ne legyen olyan közel