Este pequeño sensor está a punto de cambiar la cámara de tu teléfono para siempre

“Creemos que existe una oportunidad real de desarrollar y utilizar un generador de imágenes espectrales en un teléfono inteligente. A pesar de todos los avances que se han logrado con diferentes cámaras y la potencia informática de un teléfono inteligente, nadie puede identificar realmente el verdadero color de una imagen”.

Contenido

  • ¿Alguna vez has visto este color?
  • ¿Es un sensor o una cámara?
  • ¿Cuándo se usará en un teléfono?

Así es como Espectricidad El director ejecutivo Vincent Mouret describió la misión de la empresa en Digital Trends en una entrevista reciente, así como la razón por la que está fabricando un sensor de imagen espectral miniaturizado que está listo para usar en un teléfono inteligente. Pero ¿qué es exactamente un sensor espectral y cómo funciona? Resulta que puede hacer mucho más que simplemente capturar colores bonitos.

Vídeos recomendados

¿Alguna vez has visto este color?

Una foto de la cabeza que muestra al director ejecutivo de Spectricity, Vincent Mouret, y al ingeniero de aplicaciones Michael Jacobs.
Vincent Mouret, director ejecutivo de Spectricity (desde la izquierda) y Michael Jacobs, ingeniero de aplicacionesEspectricidad

Antes de llegar a todo eso, hablemos de lo que hace el sensor de imagen multiespectral S1 de Spectricity por las cámaras. La mayoría de las cámaras de los teléfonos utilizan sensores RGB de tres colores (rojo, verde y azul), pero el sensor Spectricity S1 mira más allá luz visible y rango de infrarrojo cercano para reproducir colores más naturales y consistentes, junto con un blanco considerablemente mejorado balance.

Relacionado

  • Esto es lo que sucede cuando comparas 4 teléfonos en una prueba de cámara de 800MP
  • Probé las cámaras del Galaxy S23 Ultra y del iPhone 14 Pro. Sólo uno es un ganador
  • El futuro del control del oxígeno en sangre está en la cámara de su teléfono

"Una cámara estándar integrada en un teléfono inteligente tiene un sensor RGB que ve rojo, verde y azul", dijo Mouret. “Agregamos filtros para crear hasta 16 imágenes diferentes con diferentes colores, diferentes longitudes de onda de luz, la luz proveniente de diferentes fuentes y la luz reflejada proveniente del objeto de la escena. Puedes identificar muchas propiedades diferentes gracias a estas imágenes diferentes en comparación con un RGB estándar”.

Lo que esto significa es que sin importar las condiciones de iluminación, las imágenes tomadas por un teléfono con el sensor S1 tendrán colores más consistentes, como puede ver en la imagen de ejemplo a continuación. Durante nuestra conversación, vi una demostración en vivo que replicaba la reproducción del color y consistencia vista en el ejemplo, pero vale la pena señalar que el sensor fue operado por una PC y no por una teléfono inteligente.

Un ejemplo de en qué se diferencia el sensor Spectricity S1 de las cámaras de los teléfonos inteligentes.
Un gráfico que muestra en qué se diferencia el sensor Spectricity S1 de las cámaras de los teléfonos inteligentes.Espectricidad

“Verás que con las cámaras de Xiaomi, Samsung, Apple y Huawei los colores son muy diferentes en diferentes condiciones de iluminación. En la misma escena tomada con nuestra cámara espectral, hay ligeras diferencias, pero menores. Los colores de las imágenes son los colores que vemos a simple vista. Puedes ver que todos los teléfonos inteligentes producen colores muy diferentes”.

Esta precisión del color también mejorará la capacidad de las cámaras de los teléfonos inteligentes para reproducir mejor diferentes tonos de piel. En otra imagen de ejemplo, el sensor S1 también parecía mostrar mejoras considerables.

"Se puede ver que los tonos de piel son totalmente diferentes dependiendo de las condiciones de iluminación", señaló Mouret. “La solución es utilizar un generador de imágenes espectrales para analizar las condiciones de iluminación y dar realmente el tono correcto. Esta es la única manera. Se puede poner mucha IA detrás, pero no es suficiente. Necesitas tener algún hardware adicional”.

Desafortunadamente, Mouret no tenía Google Píxel teléfono a mano para comparar el sensor S1 con La tecnología computacional Real Tone de Google, que promete hacer algo similar, sólo que mediante usando mejoras de software.

¿Es un sensor o una cámara?

Sensor de imagen espectral S1 de Spectricity.
Espectricidad

Los beneficios de un sensor de imagen espectral como el S1 parecen claros, y ¿quién no quiere un balance de blancos más efectivo y colores naturales y consistentes en sus fotografías? Pero la forma en que Mouret describió la capacidad del S1 hizo que pareciera más una cámara que un sensor. ¿Cuál es? ¿Puede realmente caber dentro de un teléfono inteligente? Si es así, ¿qué modificaciones serán necesarias?

El ingeniero de aplicaciones Spectricity, Michael Jacobs, quien realizó la demostración que vi, explicó qué es realmente el S1.

"Es realmente un sensor complementario, muy similar a un sensor de profundidad o un sensor 3D utilizado con una cámara RGB", confirmó.

Sin embargo, lo hace técnicamente tome fotografías, pero no aquellas que le gustaría usar individualmente, como explicó Mouret:

“Nuestro sensor de imagen tiene una resolución VGA, 800 x 600 píxeles. Debe combinar esta imagen espectral más pequeña con una imagen RGB. El módulo en sí es realmente muy pequeño. Ha sido diseñado para integrarse en un smartphone. Entonces son 5 mm por 5 mm por 6 mm”, me dijo Mouret, antes de decir más sobre cómo está construido el sensor. "No es fácil, pero yo diría que no es nada muy sofisticado", explicó, diciendo que el módulo se construye utilizando los mismos métodos que los sensores CMOS normales. "En términos de costo total, el módulo completo tendrá el mismo costo que una cámara estándar de gran volumen".

Ejemplo de las diferencias entre un sensor RGB y el sensor S1 de Spectricity.
Un gráfico que muestra la diferencia entre un sensor RGB y el generador de imágenes espectral Spectricity S1.Espectricidad

En este momento, el sensor se integrará con un procesador de señal de imagen (ISP) estándar utilizado por los procesadores de teléfonos inteligentes de Qualcomm y MediaTek, pero requerirá software adicional para funcionar.

El sensor de imagen multiespectral S1 no es un truco de un solo truco y, de hecho, tiene una segunda función intrigante: puede reconocer y analizar biomarcadores de la piel. Lo que esto significa es que es capaz de saber si está "viendo" a una persona real, lo que podría usarse para aplicaciones de seguridad; por ejemplo, sabe si alguien usa una máscara para ocultar su identidad: cuidado de la piel e incluso en aplicaciones de salud cuando se combina con IA y otros software. También podría usarse para mejorar las fotografías en modo retrato.

¿Cuándo se usará en un teléfono?

Módulo de cámara del Oppo Find N2.
Andy Boxall/Tendencias digitales

Los fabricantes llevan un tiempo trabajando para mejorar la reproducción del color en los teléfonos, volviendo a la LG G5 en 2016, que utilizó un sensor de espectro de color dedicado junto con su sensor de enfoque automático láser para mejorar el rendimiento del color. Huawei adoptó un enfoque diferente y abandonó un sensor RGB en el P30 Pro a favor de un sensor RYYB, en su esfuerzo por reproducir mejor los colores y mejorar el rendimiento con poca luz. Olimpo y Imec También han experimentado con sensores RGB de infrarrojo cercano para diferentes aplicaciones.

El sensor Spectricity S1 es el primero en el mundo y va en una dirección diferente a la de estos ejemplos. Según la demostración y las imágenes de ejemplo, parece bastante prometedor, pero ¿cuándo deberíamos esperar verlo en un teléfono?

"Al principio, se introducirá en teléfonos de gama alta", dijo Mouret. "Será un volumen pequeño en 2024, un volumen mayor en 2025 y luego, a partir de 2026, estará más extendido".

Los módulos de cámara del Huawei Mate 50 Pro y Apple iPhone 14 Pro.
Andy Boxall/Tendencias digitales

Mouret también espera que los primeros ejemplos procedan de los fabricantes chinos de teléfonos inteligentes, y no de empresas como Samsung y Apple. Sin embargo, Mouret espera que esto cambie en el futuro, y en el futuro Comunicado de prensa de CES 2023 Para el sensor S1, no se limitó a sus expectativas y dijo:

"Esperamos que los primeros modelos de teléfonos inteligentes con el S1 se lancen en 2024, y esperamos que todos los teléfonos inteligentes incluyan nuestra tecnología en los próximos años".

Sí, todos los teléfonos inteligentes. Es un gran objetivo, pero si el rendimiento que vimos en la demostración es lo que eventualmente veremos en la cámara de un teléfono con el S1 al lado, pocos fabricantes querrán quedarse atrás.

Recomendaciones de los editores

  • ¿Puede un teléfono de 450 dólares superar las cámaras del Samsung Galaxy S23? Está cerca
  • No estás listo para este Galaxy S23 vs. Prueba de cámara del iPhone 14 Pro
  • El nuevo teléfono de Xiaomi tiene una cámara de 200MP y sus fotografías son impresionantes
  • Ceramic Shield de Apple puede hacerte cambiar de opinión sobre un protector de pantalla para iPhone 14
  • OnePlus 10T frente a La batalla de cámaras del Nothing Phone 1 no debería estar tan reñida