Denne lille sensoren er i ferd med å endre telefonkameraet ditt for alltid

"Vi tror det er en reell mulighet til å utvikle og bruke et spektralt bilde i en smarttelefon. Til tross for all fremgangen som har blitt gjort med forskjellige kameraer og datakraften til en smarttelefon, er det ingen som virkelig kan identifisere den sanne fargen på et bilde.»

Dette er hvordan Spektrisitet Administrerende direktør Vincent Mouret beskrev selskapets oppdrag til Digital Trends i et nylig intervju, samt grunnen til at det lager en miniatyrisert spektral bildesensor som er klar til bruk i en smarttelefon. Men hva er egentlig en spektralsensor, og hvordan fungerer den? Det viser seg at den kan gjøre mye mer enn bare å fange vakre farger.

Har du noen gang sett denne fargen?

Før vi kommer til alt det, la oss snakke om hva Spectricitys S1 multispektrale bildesensor gjør for kameraer. De fleste telefonkameraer bruker RGB-sensorer i tre farger (rød, grønn og blå), men Spectricity S1-sensoren ser nærmere på synlig lys og nær-infrarødt område for å gjengi mer naturlige, mer konsistente farger, sammen med betydelig forbedret hvitt balansere.

"Et standardkamera integrert i en smarttelefon har en RGB-sensor som ser rødt, grønt og blått," sa Mouret. "Vi legger til filtre for å lage opptil 16 forskjellige bilder med forskjellige farger, forskjellige bølgelengder lys, lys som kommer fra forskjellige kilder, og det reflekterte lyset som kommer fra objektet til scene. Du kan identifisere mange forskjellige egenskaper takket være disse forskjellige bildene sammenlignet med en standard RGB."

Hva dette betyr er at uansett lysforhold vil bildene tatt av en telefon med S1-sensoren ha mer konsistente farger gjennom, som du kan se i eksempelbildet nedenfor. Under samtalen vår så jeg en live demonstrasjon som gjenskapte fargegjengivelsen og konsistens sett i eksemplet, men det er verdt å merke seg at sensoren ble operert av en PC og ikke en smarttelefon.

"Du vil se med Xiaomi, Samsung, Apple og Huawei-kameraer at fargene er veldig forskjellige under forskjellige lysforhold. I den samme scenen tatt med spektralkameraet vårt, er det små forskjeller, men mindre. Fargene ut av bilder er fargene sett av våre blotte øyne. Du kan se at alle smarttelefonene produserer veldig forskjellige farger.»

Denne fargenøyaktigheten vil også forbedre muligheten til smarttelefonkameraer til bedre å gjengi forskjellige hudtoner. I et annet eksempelbilde så det ut til at S1-sensoren viste betydelige forbedringer også her.

"Du kan se hudtonene er helt forskjellige avhengig av lysforholdene," påpekte Mouret. "Løsningen er å bruke et spektralt bildeapparat for å analysere lysforholdene, for å virkelig gi den riktige tonen. Dette er den eneste måten. Du kan legge mye AI bak det, men det er ikke nok. Du må ha litt ekstra maskinvare."

Dessverre hadde ikke Mouret en Google Pixel telefon tilgjengelig for å sammenligne S1-sensoren med Googles Real Tone-beregningsteknologi, som lover å gjøre noe lignende, bare ved ved hjelp av programvareforbedringer.

Er det en sensor eller et kamera?

Fordelene med en spektral bildesensor som S1 ser ut til å være klare, og hvem vil ikke ha mer effektiv hvitbalanse og naturlige, konsistente farger i fotografiene sine? Men måten Mouret beskrev S1s evner gjorde at den hørtes mer ut som et kamera enn en sensor. Hvilken er det? Kan det virkelig passe inn i en smarttelefon? Hvis ja, hvilke modifikasjoner vil være nødvendig?

Spectricity-applikasjonsingeniør Michael Jacobs, som kjørte demoen jeg så på, forklarte hva S1 faktisk er.

"Det er virkelig en ledsagersensor, veldig lik en dybdesensor eller en 3D-sensor som brukes med et RGB-kamera," bekreftet han.

Det gjør det imidlertid teknisk sett ta bilder, bare ikke de du vil bruke individuelt, som Mouret forklarte:

«Bildesensoren vår har en VGA-oppløsning, 800 x 600 piksler. Du må kombinere dette mindre spektrale bildet med et RGB-bilde. Selve modulen er egentlig veldig liten. Den er designet for å integreres i en smarttelefon. Så det er 5 mm x 5 mm x 6 mm,” fortalte Mouret meg, før han sa mer om hvordan sensoren er bygget. "Det er ikke lett, men det er ikke noe veldig sofistikert, vil jeg si," forklarte han, og sa at modulen er bygget ved å bruke de samme metodene som vanlige CMOS-sensorer. "Når det gjelder totalkostnad, vil hele modulen være den samme kostnaden som et standardkamera med høyt volum."

Akkurat nå vil sensoren integreres med en standard bildesignalprosessor (ISP) som brukes av smarttelefonprosessorer fra Qualcomm og MediaTek, men den vil kreve ekstra programvare for å fungere.

Den multispektrale bildesensoren S1 er ikke en ett-tricks ponni, og har faktisk en spennende andre funksjon, ved at den kan gjenkjenne og analysere hudbiomarkører. Hva dette betyr er at det er i stand til å fortelle om det "ser" en ekte person, som kan brukes til sikkerhetsapplikasjoner - for eksempel, det vet hvis noen har på seg en maske for å skjule identiteten sin — hudpleie, og til og med i helseapplikasjoner i kombinasjon med kunstig intelligens og andre programvare. Den kan også brukes til å forbedre bilder i portrettmodus.

Når skal den brukes i en telefon?

Produsenter har jobbet med å forbedre fargegjengivelsen på telefoner en stund, og går tilbake til LG G5 i 2016, som brukte en dedikert fargespektrumsensor sammen med laserautofokussensoren for å forbedre fargeytelsen. Huawei tok en annen tilnærming og forlot en RGB-sensor på P30 Pro til fordel for en RYYB-sensor, i sitt forsøk på å gjengi farger bedre og forbedre ytelsen i lite lys. Olympus og Imec har også eksperimentert med nær-infrarøde RGB-sensorer for forskjellige applikasjoner.

Spectricity S1-sensoren er verdens første og går i en annen retning enn disse eksemplene. Basert på demo- og eksempelbildene, viser det betydelig løfte - men når skal vi forvente å se det på en telefon?

"I begynnelsen vil det bli introdusert på avanserte telefoner," sa Mouret. "Det vil være lite volum i 2024, et høyere volum i 2025, og fra og med 2026 vil det være mer utbredt."

Mouret forventer også at de første eksemplene kommer fra kinesiske smarttelefonprodusenter, og ikke fra selskaper som Samsung og Apple. Mouret forventer imidlertid at dette vil endre seg i fremtiden, og i fremtiden CES 2023 pressemelding for S1-sensoren holdt han ikke tilbake på forventningene sine og sa:

"Vi forventer at de første smarttelefonmodellene med S1 vil bli utgitt i 2024, og vi forventer at alle smarttelefoner inkluderer teknologien vår i løpet av de kommende årene."

Ja, alle smarttelefoner. Det er et stort mål, men hvis ytelsen vi så i demoen er det vi til slutt vil se fra et telefonkamera med S1 ved siden av, er det få produsenter som ønsker å bli etterlatt.

Redaktørenes anbefalinger

• Kan en telefon på $450 slå kameraene til Samsung Galaxy S23? Det er nærme
• Du er ikke klar for denne Galaxy S23 vs. iPhone 14 Pro kamera test
• Xiaomis nye telefon har et 200 MP-kamera - og bildene er fantastiske
• Apples keramiske skjold kan endre mening om en iPhone 14-skjermbeskytter
• OnePlus 10T vs. Ingenting Phone 1 kamerakamp bør ikke være så nærme