Ta majhen senzor bo za vedno spremenil fotoaparat vašega telefona

»Verjamemo, da obstaja prava priložnost za razvoj in uporabo spektralne slikovne naprave v pametnem telefonu. Kljub vsemu napredku, ki je bil dosežen z različnimi kamerami in računalniško močjo pametnega telefona, nobeden ne more zares prepoznati prave barve slike.«

Tako je Spektričnost Izvršni direktor Vincent Mouret je v nedavnem intervjuju za Digital Trends opisal poslanstvo podjetja in razlog, zakaj izdeluje miniaturni spektralni slikovni senzor, ki je pripravljen za uporabo v pametni telefon. Toda kaj točno je spektralni senzor in kako deluje? Izkazalo se je, da lahko naredi veliko več kot le zajema lepe barve.

Ste že kdaj videli to barvo?

Preden preidemo na vse to, se pogovorimo o tem, kaj Spectricityjev multispektralni slikovni senzor S1 naredi za kamere. Večina telefonskih kamer uporablja tribarvne RGB (rdeče, zelene in modre) senzorje, vendar senzor Spectricity S1 gleda dlje v vidna svetloba in bližnje infrardeče območje za reprodukcijo bolj naravnih, bolj doslednih barv, skupaj s precej izboljšano belo barvo ravnovesje.

"Standardna kamera, integrirana v pametni telefon, ima senzor RGB, ki vidi rdečo, zeleno in modro," je dejal Mouret. »Dodamo filtre za ustvarjanje do 16 različnih slik z različnimi barvami, različnimi valovnimi dolžinami svetloba, svetloba, ki prihaja iz različnih virov, in odbita svetloba, ki prihaja od predmeta scena. Zahvaljujoč tem drugačnim slikam lahko prepoznate veliko različnih lastnosti v primerjavi s standardnim RGB.«

To pomeni, da bodo slike, posnete s telefonom s senzorjem S1, ne glede na svetlobne pogoje imele bolj dosledne barve, kot lahko vidite na spodnji sliki. Med najinim pogovorom sem videl demonstracijo v živo, ki je ponovila barvno reprodukcijo in doslednost, vidno v primeru, vendar je treba omeniti, da je senzor upravljal osebni računalnik in ne pametni telefon.

»Pri kamerah Xiaomi, Samsung, Apple in Huawei boste videli, da so barve zelo različne v različnih svetlobnih pogojih. V istem prizoru, posnetem z našo spektralno slikovno napravo, so manjše razlike, a manjše. Barve iz slik so barve, ki jih vidimo s prostim očesom. Vidite lahko, da vsi pametni telefoni proizvajajo zelo različne barve.«

Ta barvna natančnost bo tudi izboljšala sposobnost kamer pametnih telefonov za boljšo reprodukcijo različnih odtenkov kože. Na drugi vzorčni sliki se zdi, da senzor S1 tudi tukaj kaže znatne izboljšave.

"Lahko vidite, da se odtenki kože popolnoma razlikujejo glede na svetlobne pogoje," je poudaril Mouret. »Rešitev je, da uporabimo spektralno slikovno napravo za analizo svetlobnih pogojev, da resnično damo pravi ton. To je edini način. Za njim lahko postavite veliko AI, vendar to ni dovolj. Potrebujete nekaj dodatne strojne opreme."

Na žalost Mouret ni imel Google Pixel telefon pri roki za primerjavo senzorja S1 Googlova računalniška tehnologija Real Tone, ki obljublja, da naredila nekaj podobnega, le do z uporabo izboljšav programske opreme.

Je to senzor ali kamera?

Zdi se, da so prednosti spektralnega slikovnega senzorja, kot je S1, jasne in kdo si ne želi učinkovitejšega ravnovesja beline in naravnih, doslednih barv na svojih fotografijah? Toda način, kako je Mouret opisal sposobnost S1, je zvenel bolj kot kamera kot senzor. Kateri je? Se res prilega v pametni telefon? Če da, kakšne spremembe bodo potrebne?

Inženir aplikacije Spectricity Michael Jacobs, ki je vodil demo, ki sem ga gledal, je pojasnil, kaj S1 pravzaprav je.

"To je v resnici spremljevalni senzor, zelo podoben senzorju globine ali senzorju 3D, ki se uporablja s kamero RGB," je potrdil.

Vendar pa se tehnično fotografirajte, samo ne tistih, ki bi jih želeli uporabiti posamično, kot je pojasnil Mouret:

»Naš slikovni senzor ima ločljivost VGA, 800 x 600 slikovnih pik. To manjšo spektralno sliko morate združiti s sliko RGB. Sam modul je res zelo majhen. Zasnovan je bil za vgradnjo v pametni telefon. Torej je 5 mm x 5 mm x 6 mm,« mi je povedal Mouret, preden je povedal več o tem, kako je senzor zgrajen. "Ni lahko, vendar ni nič zelo sofisticiranega, bi rekel," je pojasnil in rekel, da je modul zgrajen z enakimi metodami kot običajni senzorji CMOS. "Glede skupnih stroškov bo celoten modul enak strošku kot standardna kamera velike količine."

Trenutno se bo senzor integriral s standardnim procesorjem slikovnih signalov (ISP), ki ga uporabljajo procesorji pametnih telefonov Qualcomm in MediaTek, vendar bo za delovanje potreboval dodatno programsko opremo.

Multispektralni slikovni senzor S1 ni poni z enim trikom in ima dejansko zanimivo drugo funkcijo, saj lahko prepozna in analizira biomarkerje kože. To pomeni, da lahko ugotovi, ali "vidi" resnično osebo, kar bi lahko uporabili za varnostne aplikacije - na primer, ve če nekdo nosi masko, da prikrije svojo identiteto — nega kože in celo v zdravstvenih aplikacijah v kombinaciji z umetno inteligenco in drugimi programsko opremo. Uporabite ga lahko tudi za izboljšanje fotografij v portretnem načinu.

Kdaj bo uporabljen v telefonu?

Proizvajalci si že nekaj časa prizadevajo izboljšati barvno reprodukcijo na telefonih in se vračajo k LG G5 leta 2016, ki je poleg laserskega senzorja za samodejno ostrenje uporabil namenski senzor barvnega spektra za izboljšanje barvne učinkovitosti. Huawei je ubral drugačen pristop in opustil senzor RGB na P30 Pro v korist senzorja RYYB v prizadevanjih za boljšo reprodukcijo barv in izboljšanje delovanja pri šibki svetlobi. Olimp in Imec so tudi eksperimentirali s senzorji RGB v bližnjem infrardečem območju za različne aplikacije.

Senzor Spectricity S1 je prvi na svetu in gre v drugačno smer od teh primerov. Glede na predstavitev in primere slik kaže veliko obetav - toda kdaj naj pričakujemo, da ga bomo videli na telefonu?

"Na začetku bo uveden na telefonih višjega razreda," je dejal Mouret. "Leta 2024 bo obseg majhen, leta 2025 večji, nato pa bo od leta 2026 bolj razširjen."

Mouret tudi pričakuje, da bodo prvi primerki prišli od kitajskih proizvajalcev pametnih telefonov in ne od podjetij, kot sta Samsung in Apple. Vendar Mouret pričakuje, da se bo to v prihodnosti spremenilo in v Sporočilo za javnost CES 2023 za senzor S1 ni okleval svojih pričakovanj in rekel:

"Pričakujemo, da bodo prvi modeli pametnih telefonov s S1 izdani leta 2024 in pričakujemo, da bodo vsi pametni telefoni v prihodnjih letih vključevali našo tehnologijo."

ja vse pametne telefone. To je velika tarča, toda če je zmogljivost, ki smo jo videli v predstavitvi, takšna, kot jo bomo sčasoma videli s kamero telefona s S1 poleg nje, bo le malo proizvajalcev želelo zaostajati.

Priporočila urednikov

• Ali lahko telefon za 450 $ premaga kamere Samsung Galaxy S23? Blizu je
• Niste pripravljeni na to Galaxy S23 vs. Test kamere iPhone 14 Pro
• Xiaomijev novi telefon ima kamero z 200 milijoni slikovnih pik in njegove fotografije so osupljive
• Appleov Ceramic Shield vam bo morda premislil glede zaščite zaslona za iPhone 14
• OnePlus 10T proti. Nothing Phone 1 camera bitka ne bi smela biti tako tesna