Tämä pieni anturi muuttaa puhelimesi kameran pysyvästi

"Uskomme, että älypuhelimessa on todellinen mahdollisuus kehittää ja käyttää spektrikuvantajaa. Huolimatta kaikesta edistyksestä, jota on saavutettu eri kameroilla ja älypuhelimen laskentateholla, mikään ei pysty tunnistamaan kuvan todellista väriä."

Näin Spektrisyys Toimitusjohtaja Vincent Mouret kuvaili äskettäisessä haastattelussa yrityksen missiota Digital Trendsissä sekä syytä, miksi se tekee pienoiskokoisen spektrikuvasensorin, joka on valmis käytettäväksi älypuhelin. Mutta mikä tarkalleen on spektrianturi ja miten se toimii? Osoittautuu, että se voi tehdä paljon enemmän kuin vain vangita kauniita värejä.

Oletko koskaan nähnyt tätä väriä?

Ennen kuin pääsemme tähän kaikkeen, puhutaan siitä, mitä Spectricityn S1-monispektrikuvakenno tekee kameroille. Useimmat puhelimen kamerat käyttävät kolmivärisiä RGB-antureita (punainen, vihreä ja sininen), mutta Spectricity S1 -sensori katsoo tarkemmin näkyvä valo ja lähi-infrapuna-alue toistaa luonnollisempia, yhtenäisempiä värejä sekä huomattavasti parempaa valkoista saldo.

"Älypuhelimeen integroidussa vakiokamerassa on RGB-anturi, joka näkee punaisen, vihreän ja sinisen", Mouret sanoi. "Lisäämme suodattimia, jotta voimme luoda jopa 16 erilaista kuvaa eri väreillä ja eri aallonpituuksilla valo, eri lähteistä tuleva valo ja kohteen kohteesta tuleva heijastunut valo näkymä. Voit tunnistaa monia erilaisia ​​ominaisuuksia näiden eri kuvien ansiosta verrattuna tavalliseen RGB: hen."

Tämä tarkoittaa, että valaistusolosuhteista riippumatta S1-sensorilla varustetulla puhelimella otetuissa kuvissa on tasaisemmat värit kauttaaltaan, kuten alla olevasta esimerkkikuvasta näkyy. Keskustelumme aikana näin live-esittelyn, joka toisti värien toiston ja johdonmukaisuus näkyy esimerkissä, mutta on syytä huomata, että anturia käytti tietokone, ei a älypuhelin.

"Xiaomin, Samsungin, Applen ja Huawein kameroiden värit ovat hyvin erilaisia ​​eri valaistusolosuhteissa. Samassa spektrikamerallamme otetussa kohtauksessa on pieniä eroja, mutta pieniä. Kuvien värit ovat paljain silmin näkemiä värejä. Näet, että kaikki älypuhelimet tuottavat hyvin erilaisia ​​värejä."

Tämä väritarkkuus parantaa myös älypuhelimien kameroiden kykyä toistaa paremmin erilaisia ​​ihon sävyjä. Toisessa esimerkkikuvassa S1-anturi näytti osoittavan huomattavia parannuksia myös tässä.

"Voit nähdä, että ihon sävyt ovat täysin erilaisia ​​​​valaistusolosuhteiden mukaan", Mouret huomautti. ”Ratkaisu on käyttää spektrikuvantajaa valaistusolosuhteiden analysointiin, jotta saadaan todella oikea sävy. Tämä on ainoa tapa. Voit laittaa sen taakse paljon tekoälyä, mutta se ei riitä. Tarvitset lisälaitteita."

Valitettavasti Mouretilla ei ollut Google Pixel puhelin, jossa voit verrata S1-anturia Googlen Real Tone -laskentatekniikka, joka lupaa tehdä jotain vastaavaa, vain käyttämällä ohjelmiston parannuksia.

Onko se anturi vai kamera?

S1:n kaltaisen spektrikuvakennon edut näyttävät olevan selvät, ja kukapa ei haluaisi tehokkaampaa valkotasapainoa ja luonnollisia, yhtenäisiä värejä valokuviinsa? Mutta tapa, jolla Mouret kuvaili S1:n kykyä, sai sen kuulostamaan enemmän kameralta kuin anturilta. Kumpi se on? Mahtuuko se todella älypuhelimen sisään? Jos on, mitä muutoksia tarvitaan?

Spectricity-sovellusinsinööri Michael Jacobs, joka juoksi demon, jonka katsoin, selitti, mitä S1 oikeastaan ​​on.

"Se on todella seuralainen anturi, hyvin samanlainen kuin RGB-kameran kanssa käytettävä syvyysanturi tai 3D-anturi", hän vahvisti.

Se kuitenkin tekee teknisesti ota valokuvia, vain sellaisia, joita et halua käyttää erikseen, kuten Mouret selitti:

”Kuvakennossamme on VGA-resoluutio, 800 x 600 pikseliä. Sinun on yhdistettävä tämä pienempi spektrikuva RGB-kuvaan. Itse moduuli on todella pieni. Se on suunniteltu integroitavaksi älypuhelimeen. Joten se on 5 mm x 5 mm x 6 mm”, Mouret kertoi minulle ennen kuin kertoi lisää anturin rakentamisesta. "Se ei ole helppoa, mutta se ei ole mitään kovin hienostunutta, sanoisin", hän selitti ja sanoi, että moduuli on rakennettu samoilla menetelmillä kuin tavalliset CMOS-anturit. "Koko moduulin kokonaiskustannukset ovat samat kuin suuren volyymin vakiokamera."

Tällä hetkellä anturi integroituu Qualcommin ja MediaTekin älypuhelinprosessorien käyttämään tavalliseen kuvasignaaliprosessoriin (ISP), mutta se vaatii lisäohjelmiston toimiakseen.

S1-monispektrinen kuvasensori ei ole yhden tempun poni, ja sillä on itse asiassa kiehtova toinen toiminto, koska se voi tunnistaa ja analysoida ihon biomarkkereita. Tämä tarkoittaa, että se pystyy kertomaan, onko se "näkemässä" todellista henkilöä, jota voitaisiin käyttää tietoturvasovelluksiin - esimerkiksi se tietää jos joku käyttää maskia salatakseen henkilöllisyytensä – ihonhoitoon ja jopa terveyssovelluksiin yhdistettynä tekoälyyn ja muihin ohjelmisto. Sitä voidaan käyttää myös muotokuvatilan valokuvien parantamiseen.

Milloin sitä käytetään puhelimessa?

Valmistajat ovat työskennelleet parantaakseen värien toistoa puhelimissa jo jonkin aikaa ja ovat palanneet asiaan LG G5 vuonna 2016, joka käytti omaa värispektrianturia laserautomaattitarkennusanturin rinnalla värien suorituskyvyn parantamiseksi. Huawei otti toisenlaisen lähestymistavan ja hylkäsi RGB-anturin P30 Pro RYYB-sensorin hyväksi pyrkiessään toistamaan värejä paremmin ja parantamaan hämärässä olevaa suorituskykyä. Olympus ja Imec ovat myös kokeilleet lähi-infrapuna-RGB-antureita eri sovelluksiin.

Spectricity S1 -anturi on maailman ensimmäinen ja kulkee eri suuntaan kuin näistä esimerkeistä. Demon ja esimerkkikuvien perusteella se näyttää lupaavalta – mutta milloin meidän pitäisi odottaa näkevämme sen puhelimessa?

"Alussa se otetaan käyttöön huippuluokan puhelimissa", Mouret sanoi. "Se on pieni volyymi vuonna 2024, suurempi volyymi vuonna 2025, ja sitten vuodesta 2026 alkaen se on laajempi."

Mouret odottaa myös ensimmäisten esimerkkien tulevan kiinalaisista älypuhelinvalmistajista, ei Samsungin ja Applen kaltaisista yrityksistä. Mouret kuitenkin odottaa tämän muuttuvan tulevaisuudessa ja tulevaisuudessa CES 2023 lehdistötiedote S1-anturin osalta hän ei pidättäytynyt odotuksistaan ​​ja sanoi:

"Odotamme ensimmäisten S1-älypuhelinmallien julkaisun vuonna 2024, ja odotamme kaikkien älypuhelimien sisältävän teknologiamme tulevina vuosina."

Joo, kaikki älypuhelimet. Se on iso tavoite, mutta jos demossa näkemämme suorituskyky on se, mitä näemme lopulta puhelimen kamerasta, jonka vieressä on S1, harvat valmistajat haluavat jäädä jälkeen.

Toimittajien suositukset

• Voiko 450 dollarin puhelin voittaa Samsung Galaxy S23:n kamerat? Se on lähellä
• Et ole valmis tähän Galaxy S23 vs. iPhone 14 Pro -kameratesti
• Xiaomin uudessa puhelimessa on 200 megapikselin kamera – ja sen valokuvat ovat upeita
• Applen Ceramic Shield voi muuttaa mieltäsi iPhone 14 -näytönsuojasta
• OnePlus 10T vs. Nothing Phone 1 -kamerataistelun ei pitäisi olla niin lähellä