Denne lille sensor er ved at ændre dit telefonkamera for altid

"Vi tror på, at der er en reel mulighed for at udvikle og bruge et spektralkamera i en smartphone. På trods af alle de fremskridt, der er gjort med forskellige kameraer og computerkraften fra en smartphone, er der ingen, der virkelig kan identificere den sande farve på et billede."

Sådan her Spektricitet CEO Vincent Mouret beskrev virksomhedens mission til Digital Trends i et nyligt interview, samt årsagen til, at det laver en miniaturiseret spektral billedsensor, der er klar til brug i en smartphone. Men hvad er egentlig en spektralsensor, og hvordan fungerer den? Det viser sig, at det kan meget mere end blot at fange smukke farver.

Har du nogensinde set denne farve?

Før vi kommer til alt det, lad os tale om, hvad Spectricitys S1 multispektrale billedsensor gør for kameraer. De fleste telefonkameraer bruger RGB-sensorer i tre farver (rød, grøn og blå), men Spectricity S1-sensoren ser længere ind i synligt lys og nær-infrarødt område for at gengive mere naturlige, mere ensartede farver sammen med betydeligt forbedret hvid balance.

"Et standardkamera integreret i en smartphone har en RGB-sensor, der ser rødt, grønt og blåt," sagde Mouret. “Vi tilføjer filtre for at skabe op til 16 forskellige billeder med forskellige farver, forskellige bølgelængder lys, lys, der kommer fra forskellige kilder, og det reflekterede lys, der kommer fra objektet scene. Du kan identificere mange forskellige egenskaber takket være disse forskellige billeder sammenlignet med en standard RGB."

Hvad dette betyder er, at uanset lysforholdene vil billederne taget af en telefon med S1-sensoren have mere ensartede farver hele vejen igennem, som du kan se på eksempelbilledet nedenfor. Under vores samtale så jeg en live demonstration, der gentog farvegengivelsen og konsistens set i eksemplet, men det er værd at bemærke, at sensoren blev betjent af en pc og ikke en smartphone.

"Du vil se med Xiaomi, Samsung, Apple og Huawei-kameraer, at farverne er meget forskellige under forskellige lysforhold. I den samme scene taget med vores spektrale billedkamera er der små forskelle, men mindre. Farverne ud af billeder er farverne set af vores blotte øjne. Du kan se alle smartphones producere meget forskellige farver."

Denne farvenøjagtighed vil også forbedre smartphone-kameraernes evne til bedre at gengive forskellige hudfarver. I et andet eksempelbillede syntes S1-sensoren også her at vise betydelige forbedringer.

"Du kan se, at hudtonerne er helt forskellige afhængigt af lysforholdene," påpegede Mouret. “Løsningen er at bruge en spektral billedmaskine til at analysere lysforholdene, for virkelig at give den rigtige tone. Dette er den eneste måde. Du kan lægge en masse AI bag det, men det er ikke nok. Du skal have noget ekstra hardware."

Desværre havde Mouret ikke en Google Pixel telefon ved hånden til at sammenligne S1-sensoren med Googles Real Tone-beregningsteknologi, som lover at gøre noget lignende, kun ved ved hjælp af softwareforbedringer.

Er det en sensor eller et kamera?

Fordelene ved en spektral billedsensor som S1 ser ud til at være tydelige, og hvem ønsker ikke mere effektiv hvidbalance og naturlige, ensartede farver i deres fotografier? Men måden Mouret beskrev S1's evne på, fik det til at lyde mere som et kamera end en sensor. Hvilken er det? Kan det virkelig passe ind i en smartphone? Hvis ja, hvilke ændringer vil være nødvendige?

Spectricity-applikationsingeniør Michael Jacobs, som kørte den demo, jeg så, forklarede, hvad S1 egentlig er.

"Det er virkelig en ledsagersensor, meget lig en dybdesensor eller en 3D-sensor brugt med et RGB-kamera," bekræftede han.

Det gør den dog teknisk set tag billeder, bare ikke dem du ønsker at bruge individuelt, som Mouret forklarede:

“Vores billedsensor har en VGA-opløsning på 800 x 600 pixels. Du skal kombinere dette mindre spektrale billede med et RGB-billede. Selve modulet er virkelig meget lille. Den er designet til at blive integreret i en smartphone. Så det er 5 mm gange 5 mm gange 6 mm,” fortalte Mouret mig, før han sagde mere om, hvordan sensoren er bygget. "Det er ikke let, men det er ikke noget meget sofistikeret, vil jeg sige," forklarede han og sagde, at modulet er bygget ved hjælp af de samme metoder som almindelige CMOS-sensorer. "Med hensyn til de samlede omkostninger vil det komplette modul have samme pris som et standardkamera med høj volumen."

Lige nu vil sensoren integreres med en standard Image Signal Processor (ISP), der bruges af smartphone-processorer fra Qualcomm og MediaTek, men det vil kræve yderligere software for at fungere.

S1 multispektral billedsensor er ikke en one-trick pony og har faktisk en spændende anden funktion, idet den kan genkende og analysere hudbiomarkører. Hvad dette betyder, er, at det er i stand til at fortælle, om det "ser" en rigtig person, hvilket kunne bruges til sikkerhedsapplikationer - for eksempel ved det hvis nogen bærer en maske for at skjule deres identitet - hudpleje og endda i sundhedsapplikationer, når de kombineres med AI og andre software. Det kan også bruges til at forbedre billeder i Portrættilstand.

Hvornår vil det blive brugt i en telefon?

Producenter har arbejdet på at forbedre farvegengivelsen på telefoner i et stykke tid, og går tilbage til LG G5 i 2016, som brugte en dedikeret farvespektrumsensor sammen med sin laserautofokussensor for at forbedre farveydeevnen. Huawei tog en anden tilgang og forlod en RGB-sensor på P30 Pro til fordel for en RYYB-sensor i dens bestræbelser på at gengive farver bedre og forbedre ydeevnen i svagt lys. Olympus og Imec har også eksperimenteret med nær-infrarøde RGB-sensorer til forskellige applikationer.

Spectricity S1-sensoren er en verdens første og går i en anden retning end disse eksempler. Baseret på demoen og eksempelbillederne viser det et betydeligt løfte - men hvornår skal vi forvente at se det på en telefon?

"I begyndelsen vil det blive introduceret på avancerede telefoner," sagde Mouret. "Det vil være lille volumen i 2024, et højere volumen i 2025, og så fra 2026 vil det være mere udbredt."

Mouret forventer også, at de første eksempler kommer fra kinesiske smartphone-producenter, og ikke fra virksomheder som Samsung og Apple. Mouret forventer dog, at dette vil ændre sig i fremtiden, og i den CES 2023 pressemeddelelse for S1-sensoren holdt han ikke tilbage på sine forventninger og sagde:

"Vi forventer, at de første smartphone-modeller med S1 frigives i 2024, og vi forventer, at alle smartphones inkluderer vores teknologi inden for de kommende år."

Ja, alle smartphones. Det er et stort mål, men hvis den ydeevne, vi så i demoen, er, hvad vi i sidste ende vil se fra et telefonkamera med S1 ved siden af, vil få producenter ønsker at blive efterladt.

Redaktørens anbefalinger

• Kan en telefon til $450 slå Samsung Galaxy S23s kameraer? Det er tæt på
• Du er ikke klar til denne Galaxy S23 vs. iPhone 14 Pro kamera test
• Xiaomis nye telefon har et 200 MP kamera - og dens billeder er fantastiske
• Apples keramiske skjold kan ændre din mening om en iPhone 14-skærmbeskytter
• OnePlus 10T vs. Intet Telefon 1 kamerakamp bør ikke være så tæt på