이 작은 센서가 휴대폰 카메라를 영원히 바꿔 놓을 것입니다.

“우리는 스마트폰에서 스펙트럼 이미저를 개발하고 사용할 수 있는 진정한 기회가 있다고 믿습니다. 다양한 카메라와 스마트폰의 컴퓨팅 성능으로 이루어진 모든 발전에도 불구하고 실제로 사진의 실제 색상을 식별할 수 있는 사람은 아무도 없습니다.”

이것이 방법이다 분광도 CEO Vincent Mouret는 최근 인터뷰에서 디지털 트렌드에 대한 회사의 사명과 함께 사용할 수 있는 소형 스펙트럼 이미지 센서를 만드는 이유를 설명했습니다. 스마트 폰. 그렇다면 스펙트럼 센서란 정확히 무엇이며 어떻게 작동합니까? 단순히 예쁜 색상을 포착하는 것보다 훨씬 더 많은 일을 할 수 있다는 것이 밝혀졌습니다.

이런 색상 본 적 있나요?

모든 내용을 다루기 전에 Spectricity의 S1 다중 스펙트럼 이미지 센서가 카메라에 어떤 역할을 하는지 이야기해 보겠습니다. 대부분의 휴대폰 카메라는 3색 RGB(빨간색, 녹색, 파란색) 센서를 사용하지만 Spectricity S1 센서는 가시광선 및 근적외선 범위를 통해 더욱 자연스럽고 일관된 색상을 재현하며 흰색도 상당히 개선되었습니다. 균형.

“스마트폰에 통합된 표준 카메라에는 빨간색, 녹색, 파란색을 인식하는 RGB 센서가 있습니다.”라고 Mouret는 말했습니다. “우리는 필터를 추가하여 다양한 색상, 다양한 파장의 이미지를 최대 16개까지 생성합니다. 빛, 다양한 광원에서 나오는 빛, 물체에서 나오는 반사광 장면. 표준 RGB와 비교한 이러한 다양한 이미지 덕분에 다양한 속성을 식별할 수 있습니다.”

이것이 의미하는 바는 아래 예시 이미지에서 볼 수 있듯이 조명 조건에 관계없이 S1 센서가 장착된 휴대폰으로 촬영한 이미지는 전체적으로 더 일관된 색상을 갖게 된다는 것입니다. 대화 중에 색 재현을 재현한 라이브 시연을 보았습니다. 예에서 일관성을 볼 수 있지만 센서가 PC가 아닌 PC에 의해 작동되었다는 점은 주목할 가치가 있습니다. 스마트 폰.

“샤오미, 삼성, 애플, 화웨이 카메라의 색상은 조명 조건에 따라 매우 다릅니다. 스펙트럼 이미저로 촬영한 동일한 장면에는 약간의 차이가 있지만 사소한 차이가 있습니다. 이미지에 나오는 색상은 우리가 육안으로 볼 수 있는 색상입니다. 모든 스마트폰이 매우 다른 색상을 생성하는 것을 볼 수 있습니다.”

이러한 색상 정확도는 다양한 피부색을 더 잘 재현하는 스마트폰 카메라의 능력도 향상시킵니다. 또 다른 예시 이미지에서는 S1 센서가 여기서도 상당한 개선을 보이는 것으로 나타났습니다.

무레는 “조명 상태에 따라 피부 톤이 전혀 달라지는 것을 볼 수 있다”고 지적했다. “해결책은 스펙트럼 이미저를 사용하여 조명 조건을 분석하고 실제로 올바른 톤을 제공하는 것입니다. 이것이 유일한 방법입니다. 그 뒤에 많은 AI를 배치할 수 있지만 그것만으로는 충분하지 않습니다. 추가 하드웨어가 필요합니다.”

불행하게도 무레는 구글 픽셀 S1 센서를 비교하기 위해 휴대전화를 보유하고 있습니다. Google의 Real Tone 계산 기술, 이는 유사한 작업을 약속합니다. 소프트웨어 개선 사항 사용.

센서인가요, 카메라인가요?

S1과 같은 스펙트럼 이미지 센서의 이점은 분명한 것 같습니다. 사진에서 더 효과적인 화이트 밸런스와 자연스럽고 일관된 색상을 원하지 않는 사람이 있을까요? 그러나 Mouret가 S1의 기능을 설명하는 방식을 보면 S1이 센서라기보다는 카메라처럼 들립니다. 무엇 이니? 정말 스마트폰에 들어갈 수 있을까? 그렇다면 어떤 수정이 필요할까요?

내가 본 데모를 실행한 Spectricity 애플리케이션 엔지니어인 Michael Jacobs는 S1이 실제로 무엇인지 설명했습니다.

“이것은 RGB 카메라와 함께 사용되는 깊이 센서나 3D 센서와 매우 유사한 보조 센서입니다.”라고 그는 확인했습니다.

그러나 그것은 기술적으로 Mouret가 설명했듯이, 개별적으로 사용하고 싶은 사진이 아닌 사진을 찍으세요.

“우리 이미지 센서의 VGA 해상도는 800 x 600픽셀입니다. 이 작은 스펙트럼 이미지를 RGB 이미지와 결합해야 합니다. 모듈 자체는 정말 작습니다. 스마트폰에 통합되도록 설계되었습니다. 따라서 5mm x 5mm x 6mm입니다.”라고 Mouret은 센서 제작 방법에 대해 자세히 설명하기 전에 말했습니다. "쉽지는 않지만 매우 정교한 것은 아닙니다."라고 그는 모듈이 일반 CMOS 센서와 동일한 방법을 사용하여 제작되었다고 설명했습니다. "전체 비용 측면에서 전체 모듈의 비용은 대용량 표준 카메라와 동일합니다."

현재 이 센서는 Qualcomm 및 MediaTek의 스마트폰 프로세서에서 사용되는 표준 이미지 신호 프로세서(ISP)와 통합되지만 작동하려면 추가 소프트웨어가 필요합니다.

S1 다중 스펙트럼 이미지 센서는 단일 트릭이 아니며 실제로 피부 바이오마커를 인식하고 분석할 수 있다는 점에서 흥미로운 두 번째 기능을 가지고 있습니다. 이것이 의미하는 바는 보안 애플리케이션에 사용될 수 있는 실제 사람을 "보고 있는지" 알 수 있다는 것입니다. 누군가 자신의 신원을 숨기기 위해 마스크를 쓰고 있는 경우 — 피부 관리, 심지어 AI 및 기타와 결합된 건강 애플리케이션에서도 소프트웨어. 인물 모드 사진을 향상시키는 데에도 사용할 수 있습니다.

휴대폰에는 언제 사용되나요?

제조업체는 한동안 휴대폰의 색 재현을 개선하기 위해 노력해 왔습니다. LG G5 2016년에는 레이저 자동 초점 센서와 함께 전용 색상 스펙트럼 센서를 사용하여 색상 성능을 향상시켰습니다. Huawei는 다른 접근 방식을 취하여 RGB 센서를 포기했습니다. P30 프로 더 나은 색상 재현과 저조도 성능 개선을 위해 RYYB 센서를 선호합니다. 올림포스 산 그리고 아이멕 또한 다양한 애플리케이션을 위해 근적외선 RGB 센서를 실험했습니다.

Spectricity S1 센서는 세계 최초이며 이러한 예와는 다른 방향으로 나아갑니다. 데모와 예시 이미지를 바탕으로 상당한 가능성을 보여주고 있습니다. 그런데 언제 휴대폰에서 볼 수 있을까요?

“처음에는 고급 휴대폰에 도입될 것입니다.”라고 Mouret는 말했습니다. “2024년에는 소량으로, 2025년에는 대량으로, 2026년부터는 더욱 널리 보급될 것입니다.”

Mouret는 또한 첫 번째 사례가 삼성이나 Apple과 같은 회사가 아닌 중국 스마트폰 제조업체에서 나올 것으로 기대하고 있습니다. 그러나 Mouret는 이것이 미래에는 바뀔 것으로 예상하며, CES 2023 보도자료 S1 센서에 대해 그는 기대를 저버리지 않고 다음과 같이 말했습니다.

"우리는 S1이 탑재된 최초의 스마트폰 모델이 2024년에 출시될 것으로 예상하고 있으며, 앞으로 몇 년 안에 모든 스마트폰에 우리 기술이 포함될 것으로 기대합니다."

예, 모든 스마트폰. 큰 목표이지만, 데모에서 본 성능이 결국 S1이 장착된 휴대폰 카메라에서 보게 될 성능이라면 뒤처지고 싶어하는 제조업체는 거의 없을 것입니다.

편집자의 추천

• 450달러짜리 휴대폰이 삼성 갤럭시 S23의 카메라를 이길 수 있을까? 가까워요
• 당신은 아직 갤럭시 S23과 갤럭시 S23을 맞을 준비가 되어 있지 않습니다. iPhone 14 Pro 카메라 테스트
• Xiaomi의 새 휴대폰에는 200MP 카메라가 있으며 사진은 놀랍습니다.
• Apple의 Ceramic Shield로 인해 iPhone 14 화면 보호기에 대한 마음이 바뀔 수 있습니다.
• 원플러스 10T와 비교 Phone 1 카메라 전투가 너무 가까워서는 안됩니다