Šis mazais sensors uz visiem laikiem mainīs jūsu tālruņa kameru

"Mēs uzskatām, ka ir reāla iespēja viedtālrunī izstrādāt un izmantot spektrālo attēlu veidotāju. Neskatoties uz progresu, kas panākts ar dažādām kamerām un viedtālruņa skaitļošanas jaudu, neviens nevar īsti noteikt attēla patieso krāsu.

Lūk, kā Spektritāte Izpilddirektors Vincents Mourets nesenā intervijā aprakstīja uzņēmuma misiju Digital Trends, kā arī iemeslu, kāpēc tas izgatavo miniaturizētu spektrālā attēla sensoru, kas ir gatavs lietošanai viedtālrunis. Bet kas īsti ir spektrālais sensors un kā tas darbojas? Izrādās, tas var darīt daudz vairāk, nekā tikai uztvert skaistas krāsas.

Vai esat kādreiz redzējuši šo krāsu?

Pirms tam visam, parunāsim par to, ko Spectricity S1 multispektrālais attēla sensors dara kamerām. Lielākajā daļā tālruņu kameru tiek izmantoti trīs krāsu RGB (sarkans, zaļš un zils) sensori, bet Spectricity S1 sensors skatās tālāk redzamā gaisma un gandrīz infrasarkanais diapazons, lai reproducētu dabiskākas, konsekventākas krāsas, kā arī ievērojami uzlabota baltā krāsa līdzsvaru.

"Standarta kamerai, kas integrēta viedtālrunī, ir RGB sensors, kas redz sarkanu, zaļu un zilu," sacīja Mouret. “Mēs pievienojam filtrus, lai izveidotu līdz pat 16 dažādiem attēliem ar dažādām krāsām, dažādiem viļņu garumiem gaisma, gaisma, kas nāk no dažādiem avotiem, un atstarotā gaisma, kas nāk no objekta ainas. Pateicoties šiem dažādajiem attēliem salīdzinājumā ar standarta RGB, varat identificēt daudzas dažādas īpašības.

Tas nozīmē, ka neatkarīgi no apgaismojuma apstākļiem attēliem, kas uzņemti ar tālruni ar S1 sensoru, būs vienmērīgākas krāsas, kā redzams tālāk esošajā attēla piemērā. Mūsu sarunas laikā es redzēju dzīvu demonstrāciju, kas atkārtoja krāsu atveidi un piemērā redzamā konsekvence, taču ir vērts atzīmēt, ka sensoru darbināja dators, nevis a viedtālrunis.

“Jūs redzēsiet, ka Xiaomi, Samsung, Apple un Huawei kamerās krāsas ir ļoti atšķirīgas dažādos apgaismojuma apstākļos. Tajā pašā ainā, kas uzņemta ar mūsu spektrālo attēlu, ir nelielas atšķirības, taču nelielas. Attēlu krāsas ir krāsas, kuras redz mūsu neapbruņotas acis. Jūs varat redzēt, ka visi viedtālruņi rada ļoti dažādas krāsas.

Šāda krāsu precizitāte uzlabos arī viedtālruņu kameru spēju labāk atveidot dažādus ādas toņus. Citā attēla piemērā S1 sensors arī šeit parādīja ievērojamus uzlabojumus.

"Var redzēt, ka ādas toņi ir pilnīgi atšķirīgi atkarībā no apgaismojuma stāvokļa," norādīja Mouret. “Risinājums ir izmantot spektrālo attēlu, lai analizētu apgaismojuma apstākļus, lai patiešām piešķirtu pareizo toni. Tas ir vienīgais veids. Aiz tā var likt daudz AI, taču ar to nepietiek. Jums ir nepieciešama papildu aparatūra."

Diemžēl Mouret nebija Google Pixel tālrunis, lai salīdzinātu S1 sensoru ar Google Real Tone skaitļošanas tehnoloģija, kas sola kaut ko līdzīgu izdarīt, tikai līdz izmantojot programmatūras uzlabojumus.

Vai tas ir sensors vai kamera?

Šķiet, ka S1 spektrālā attēla sensora priekšrocības ir skaidras, un kurš gan nevēlas efektīvāku baltā balansu un dabiskas, konsekventas krāsas savās fotogrāfijās? Taču tas, kā Mouret aprakstīja S1 spējas, lika tam vairāk izklausīties pēc kameras, nevis pēc sensora. Kurš tas ir? Vai tas tiešām var ietilpt viedtālrunī? Ja jā, kādas izmaiņas būs nepieciešamas?

Spectricity lietojumprogrammu inženieris Maikls Džeikobss, kurš vadīja demonstrāciju, kuru es noskatījos, paskaidroja, kas patiesībā ir S1.

"Tas patiešām ir pavadošais sensors, ļoti līdzīgs dziļuma sensoram vai 3D sensoram, ko izmanto ar RGB kameru," viņš apstiprināja.

Tomēr tā dara tehniski uzņemiet fotoattēlus, tikai ne tos, kurus vēlaties izmantot atsevišķi, kā paskaidroja Mouret:

“Mūsu attēla sensoram ir VGA izšķirtspēja, 800 x 600 pikseļi. Šis mazākais spektrālais attēls ir jāapvieno ar RGB attēlu. Pats modulis patiešām ir ļoti mazs. Tas ir paredzēts integrēšanai viedtālrunī. Tātad tas ir 5 mm reiz 5 mm reizes 6 mm, ”sacīja Mouret, pirms pastāstīja vairāk par sensora uzbūvi. "Tas nav viegli, taču, es teiktu, tas nav nekas ļoti sarežģīts," viņš paskaidroja, sakot, ka modulis ir veidots, izmantojot tādas pašas metodes kā parastie CMOS sensori. "Runājot par kopējām izmaksām, visam modulim būs tādas pašas izmaksas kā liela apjoma standarta kamerai."

Šobrīd sensors tiks integrēts ar standarta attēla signālu procesoru (ISP), ko izmanto viedtālruņu procesori no Qualcomm un MediaTek, taču tā darbībai būs nepieciešama papildu programmatūra.

S1 multispektrālais attēla sensors nav viena trika ponijs, un tam faktiski ir intriģējoša otrā funkcija, jo tas var atpazīt un analizēt ādas biomarķierus. Tas nozīmē, ka tas spēj noteikt, vai tas "redz" reālu personu, ko varētu izmantot drošības lietojumprogrammām, piemēram, tas zina ja kāds valkā masku, lai slēptu savu identitāti — ādas kopšanai un pat veselības aplikācijās, kombinējot ar AI un citām programmatūra. To var izmantot arī portreta režīma fotoattēlu uzlabošanai.

Kad tas tiks izmantots tālrunī?

Ražotāji kādu laiku ir strādājuši, lai uzlabotu krāsu atveidi tālruņos, atgriežoties pie LG G5 2016. gadā, kas izmantoja īpašu krāsu spektra sensoru līdzās lāzera autofokusa sensoram, lai uzlabotu krāsu veiktspēju. Huawei izvēlējās citu pieeju un atteicās no RGB sensora P30 Pro par labu RYYB sensoram, cenšoties labāk reproducēt krāsas un uzlabot veiktspēju vājā apgaismojumā. Olimps un Imec ir arī eksperimentējuši ar gandrīz infrasarkanajiem RGB sensoriem dažādiem lietojumiem.

Spectricity S1 sensors ir pasaulē pirmais, un tas atšķiras no šiem piemēriem. Pamatojoties uz demonstrāciju un piemēru attēliem, tas ir daudzsološs — bet kad mums vajadzētu to redzēt tālrunī?

"Sākumā tas tiks ieviests augstākās klases tālruņos," sacīja Mouret. "2024. gadā tas būs mazs apjoms, 2025. gadā lielāks apjoms, un pēc tam, sākot ar 2026. gadu, tas būs plašāk izplatīts."

Mouret arī sagaida, ka pirmie piemēri nāks no Ķīnas viedtālruņu ražotājiem, nevis no tādiem uzņēmumiem kā Samsung un Apple. Tomēr Mouret sagaida, ka tas mainīsies nākotnē un nākotnē CES 2023 paziņojums presei attiecībā uz S1 sensoru viņš neapturēja savas cerības, sakot:

"Mēs sagaidām, ka pirmie viedtālruņu modeļi ar S1 tiks izlaisti 2024. gadā, un mēs sagaidām, ka tuvāko gadu laikā visi viedtālruņi iekļaus mūsu tehnoloģiju."

Jā, visi viedtālruņi. Tas ir liels mērķis, taču, ja veiktspēja, ko redzējām demonstrācijā, ir tāda, kādu mēs galu galā redzēsim no tālruņa kameras, kurai līdzās ir S1, daži ražotāji vēlēsies atpalikt.

Redaktoru ieteikumi

• Vai tālrunis par 450 $ var pārspēt Samsung Galaxy S23 kameras? Tas ir tuvu
• Jūs neesat gatavs šim Galaxy S23 vs. iPhone 14 Pro kameras tests
• Xiaomi jaunajam tālrunim ir 200 MP kamera, un tā fotoattēli ir satriecoši
• Apple Ceramic Shield var mainīt jūsu domas par iPhone 14 ekrāna aizsargu
• OnePlus 10T vs. Nekas Phone 1 kameru cīņai nevajadzētu būt tik tuvu