Ovaj maleni senzor će zauvijek promijeniti kameru vašeg telefona

“Vjerujemo da postoji stvarna prilika za razvoj i korištenje spektralne slike u pametnom telefonu. Unatoč svom napretku koji je postignut s različitim kamerama i računalnom snagom pametnog telefona, nitko ne može doista identificirati pravu boju slike.”

Ovo je kako Spektričnost Izvršni direktor Vincent Mouret opisao je misiju tvrtke za Digital Trends u nedavnom intervjuu, kao i razlog zašto proizvodi minijaturizirani senzor spektralne slike koji je spreman za upotrebu u pametni telefon. Ali što je točno spektralni senzor i kako radi? Ispostavilo se da može učiniti puno više od pukog snimanja lijepih boja.

Jeste li ikada vidjeli ovu boju?

Prije nego što dođemo do svega toga, razgovarajmo o tome što Spectricityjev S1 multispektralni senzor slike radi za kamere. Većina telefonskih kamera koristi trobojne RGB (crvena, zelena i plava) senzore, ali senzor Spectricity S1 gleda dalje u vidljivo svjetlo i bliski infracrveni raspon za reprodukciju prirodnijih, konzistentnijih boja, zajedno sa znatno poboljšanom bijelom bojom ravnoteža.

"Standardna kamera integrirana u pametni telefon ima RGB senzor koji vidi crvenu, zelenu i plavu", rekao je Mouret. “Dodajemo filtre za stvaranje do 16 različitih slika s različitim bojama, različitim valnim duljinama svjetlost, svjetlost koja dolazi iz različitih izvora i reflektirana svjetlost koja dolazi od objekta scena. Možete identificirati mnogo različitih svojstava zahvaljujući ovim različitim slikama u usporedbi sa standardnim RGB-om.”

To znači da će, bez obzira na uvjete osvjetljenja, slike snimljene telefonom sa S1 senzorom imati konzistentnije boje, kao što možete vidjeti na primjeru slike ispod. Tijekom našeg razgovora vidio sam demonstraciju uživo koja je replicirala reprodukciju boja i dosljednost vidljiva u primjeru, ali vrijedi napomenuti da je senzorom upravljalo računalo, a ne pametni telefon.

“Vidjet ćete da se kod kamera Xiaomi, Samsung, Apple i Huawei boje vrlo razlikuju u različitim uvjetima osvjetljenja. U istoj sceni snimljenoj našom spektralnom kamerom postoje male razlike, ali manje. Boje na slikama su boje koje vidimo golim okom. Možete vidjeti da svi pametni telefoni proizvode vrlo različite boje.”

Ova točnost boja također će poboljšati sposobnost kamera pametnih telefona da bolje reproduciraju različite tonove kože. Na drugoj slici primjera, čini se da senzor S1 i ovdje pokazuje znatna poboljšanja.

"Možete vidjeti da su tonovi kože potpuno različiti ovisno o uvjetima osvjetljenja", istaknuo je Mouret. “Rješenje je korištenje spektralnog slikovnog uređaja za analizu svjetlosnih uvjeta, kako bismo zaista dali pravi ton. Ovo je jedini način. Možete staviti puno umjetne inteligencije iza toga, ali to nije dovoljno. Morate imati dodatni hardver.”

Nažalost, Mouret nije imao Google Pixel telefon pri ruci za usporedbu senzora S1 Googleova računalna tehnologija Real Tone, koji obećava napraviti nešto slično, samo do koristeći softverska poboljšanja.

Je li to senzor ili kamera?

Čini se da su prednosti spektralnog senzora slike kao što je S1 jasne, a tko ne želi učinkovitiju ravnotežu bijele boje i prirodne, dosljedne boje na svojim fotografijama? Ali način na koji je Mouret opisao sposobnost S1 više je zvučao kao kamera nego kao senzor. Koji je? Može li doista stati u pametni telefon? Ako je tako, koje će izmjene biti potrebne?

Spectricity aplikacijski inženjer Michael Jacobs, koji je vodio demo koji sam gledao, objasnio je što je zapravo S1.

"To je zapravo popratni senzor, vrlo sličan senzoru dubine ili 3D senzoru koji se koristi s RGB kamerom", potvrdio je.

Međutim, čini se tehnički snimite fotografije, samo ne one koje biste željeli koristiti zasebno, kao što je Mouret objasnio:

“Naš senzor slike ima VGA rezoluciju, 800 x 600 piksela. Morate kombinirati ovu manju spektralnu sliku s RGB slikom. Sam modul je stvarno vrlo malen. Dizajniran je za integraciju u pametni telefon. Dakle, to je 5 mm x 5 mm x 6 mm,” rekao mi je Mouret prije nego što je rekao više o tome kako je senzor napravljen. "Nije lako, ali nije ništa vrlo sofisticirano, rekao bih", objasnio je, rekavši da je modul izgrađen korištenjem istih metoda kao i obični CMOS senzori. "U smislu ukupne cijene, kompletan modul će biti isti trošak kao standardna kamera velike količine."

Trenutačno će se senzor integrirati sa standardnim procesorom signala slike (ISP) koji koriste procesori pametnih telefona iz Qualcomma i MediaTeka, ali će za rad biti potreban dodatni softver.

Multispektralni senzor slike S1 nije poni s jednim trikom i zapravo ima intrigantnu drugu funkciju, a to je da može prepoznati i analizirati biomarkere kože. To znači da je u stanju reći "vidi" stvarnu osobu, što bi se moglo koristiti za sigurnosne aplikacije - na primjer, zna ako netko nosi masku kako bi sakrio svoj identitet — njega kože, pa čak i u zdravstvenim aplikacijama u kombinaciji s umjetnom inteligencijom i drugim softver. Također se može koristiti za poboljšanje fotografija u portretnom načinu.

Kada će se koristiti u telefonu?

Proizvođači već neko vrijeme rade na poboljšanju reprodukcije boja na telefonima, vraćajući se na LG G5 u 2016., koji je koristio namjenski senzor spektra boja uz svoj laserski senzor za autofokus za poboljšanje performansi boja. Huawei je uzeo drugačiji pristup i napustio RGB senzor na P30 Pro u korist RYYB senzora, u nastojanju da bolje reproducira boje i poboljša rad pri slabom osvjetljenju. Olimp i Imec također su eksperimentirali s bliskim infracrvenim RGB senzorima za različite primjene.

Senzor Spectricity S1 je prvi na svijetu i ide u drugom smjeru od ovih primjera. Na temelju demonstracije i primjera slika, mnogo obećava - ali kada možemo očekivati ​​da ćemo ga vidjeti na telefonu?

"U početku će biti predstavljen na vrhunskim telefonima", rekao je Mouret. "Bit će mali obujam 2024., veći obujam 2025., a zatim počevši od 2026. bit će rašireniji."

Mouret također očekuje da će prvi primjerci doći od kineskih proizvođača pametnih telefona, a ne od tvrtki poput Samsunga i Applea. Međutim, Mouret očekuje da će se to promijeniti u budućnosti, i to u Priopćenje za javnost CES-a 2023 za S1 senzor, nije se suzdržao od svojih očekivanja, rekavši:

“Očekujemo da će prvi modeli pametnih telefona sa S1 biti objavljeni 2024. godine i očekujemo da će svi pametni telefoni uključivati ​​našu tehnologiju u narednim godinama.”

Da, svi pametni telefoni. To je velika meta, ali ako je izvedba koju smo vidjeli u demou onakva kakvu ćemo na kraju vidjeti na kameri telefona sa S1 uz nju, malo će proizvođača htjeti zaostati.

Preporuke urednika

• Može li telefon od 450 dolara pobijediti kamere Samsung Galaxy S23? Blizu je
• Niste spremni za ovaj Galaxy S23 vs. Test kamere iPhone 14 Pro
• Xiaomijev novi telefon ima kameru od 200MP — a njegove fotografije su zapanjujuće
• Appleov Ceramic Shield bi mogao promijeniti vaše mišljenje o zaštiti zaslona za iPhone 14
• OnePlus 10T vs. Nothing Phone 1 bitka kamere ne bi trebala biti tako blizu