“Acreditamos que existe uma oportunidade real de desenvolver e usar um gerador de imagens espectrais em um smartphone. Apesar de todo o progresso feito com diferentes câmeras e com o poder computacional de um smartphone, ninguém consegue realmente identificar a verdadeira cor de uma imagem.”
Conteúdo
- Você já viu essa cor?
- É um sensor ou uma câmera?
- Quando será usado em um telefone?
É assim Espectricidade O CEO Vincent Mouret descreveu a missão da empresa para o Digital Trends em uma entrevista recente, bem como o motivo pelo qual está fabricando um sensor de imagem espectral miniaturizado que está pronto para uso em um Smartphone. Mas o que é exatamente um sensor espectral e como funciona? Acontece que ele pode fazer muito mais do que apenas capturar cores bonitas.
Vídeos recomendados
Você já viu essa cor?
Antes de chegarmos a tudo isso, vamos falar sobre o que o sensor de imagem multiespectral S1 da Spectricity faz para as câmeras. A maioria das câmeras de telefone usa sensores RGB de três cores (vermelho, verde e azul), mas o sensor Spectricity S1 analisa mais profundamente o luz visível e faixa do infravermelho próximo para reproduzir cores mais naturais e consistentes, juntamente com branco consideravelmente melhorado equilíbrio.
Relacionado
- Isto é o que acontece quando você compara 4 telefones em um teste de câmera de 800MP
- Testei as câmeras do Galaxy S23 Ultra e do iPhone 14 Pro. Apenas um é vencedor
- O futuro do monitoramento de oxigênio no sangue está na câmera do seu telefone
“Uma câmera padrão integrada em um smartphone possui um sensor RGB que vê vermelho, verde e azul”, disse Mouret. “Adicionamos filtros para criar até 16 imagens diferentes com cores diferentes, diferentes comprimentos de onda de luz, luz proveniente de diferentes fontes e a luz refletida proveniente do objeto do cena. Você pode identificar muitas propriedades diferentes graças a essas imagens diferentes em comparação com um RGB padrão.”
O que isso significa é que não importa as condições de iluminação, as imagens tiradas por um telefone com sensor S1 terão cores mais consistentes, como você pode ver na imagem de exemplo abaixo. Durante nossa conversa, vi uma demonstração ao vivo que reproduzia a reprodução de cores e consistência vista no exemplo, mas vale a pena notar que o sensor foi operado por um PC e não por um Smartphone.
“Você verá que nas câmeras Xiaomi, Samsung, Apple e Huawei as cores são muito diferentes em diferentes condições de iluminação. Na mesma cena tirada com nosso gerador de imagens espectral, há pequenas diferenças, mas pequenas. As cores das imagens são as cores vistas a olho nu. Você pode ver que todos os smartphones produzem cores muito diferentes.”
Essa precisão de cores também melhorará a capacidade das câmeras dos smartphones de reproduzir melhor diferentes tons de pele. Em outra imagem de exemplo, o sensor S1 também pareceu mostrar melhorias consideráveis.
“Você pode ver que os tons de pele são totalmente diferentes dependendo das condições de iluminação”, destacou Mouret. “A solução é usar um gerador de imagens espectrais para analisar as condições de iluminação, para realmente dar o tom certo. Este é o único caminho. Você pode colocar muita IA por trás disso, mas não é suficiente. Você precisa de algum hardware adicional.”
Infelizmente, Mouret não tinha Google Pixel telefone em mãos para comparar o sensor S1 com Tecnologia computacional Real Tone do Google, que promete fazer algo semelhante, apenas ao usando melhorias de software.
É um sensor ou uma câmera?
Os benefícios de um sensor de imagem espectral como o S1 parecem claros, e quem não quer um equilíbrio de branco mais eficaz e cores naturais e consistentes em suas fotografias? Mas a forma como Mouret descreveu a capacidade do S1 fez com que parecesse mais uma câmera do que um sensor. Qual é? Ele realmente cabe dentro de um smartphone? Se sim, que modificações serão necessárias?
O engenheiro de aplicação Spectricity Michael Jacobs, que executou a demonstração que assisti, explicou o que realmente é o S1.
“É realmente um sensor complementar, muito semelhante a um sensor de profundidade ou a um sensor 3D usado com uma câmera RGB”, confirmou.
No entanto, isso acontece tecnicamente tire fotos, mas não aquelas que você gostaria de usar individualmente, como Mouret explicou:
“Nosso sensor de imagem tem resolução VGA, 800 x 600 pixels. Você precisa combinar esta imagem espectral menor com uma imagem RGB. O módulo em si é realmente muito pequeno. Foi projetado para ser integrado em um smartphone. Portanto, é 5 mm por 5 mm por 6 mm”, disse-me Mouret, antes de falar mais sobre como o sensor é construído. “Não é fácil, mas não é nada muito sofisticado, eu diria”, explicou ele, dizendo que o módulo é construído usando os mesmos métodos dos sensores CMOS normais. “Em termos de custo geral, o módulo completo terá o mesmo custo de uma câmera padrão de grande volume.”
No momento, o sensor será integrado a um Processador de Sinal de Imagem (ISP) padrão usado por processadores de smartphones da Qualcomm e MediaTek, mas exigirá software adicional para funcionar.
O sensor de imagem multiespectral S1 não é um truque único e, na verdade, tem uma segunda função intrigante, pois pode reconhecer e analisar biomarcadores da pele. O que isto significa é que ele é capaz de dizer se está “vendo” uma pessoa real, o que poderia ser usado para aplicações de segurança – por exemplo, ele sabe se alguém estiver usando uma máscara para esconder sua identidade – cuidados com a pele e até mesmo em aplicações de saúde quando combinadas com IA e outros Programas. Também pode ser usado para aprimorar fotos no modo retrato.
Quando será usado em um telefone?
Os fabricantes vêm trabalhando para melhorar a reprodução de cores nos telefones há algum tempo, desde o LG G5 em 2016, que usou um sensor de espectro de cores dedicado junto com seu sensor de foco automático a laser para melhorar o desempenho das cores. A Huawei adotou uma abordagem diferente e abandonou um sensor RGB no P30 Pró em favor de um sensor RYYB, em seu esforço para reproduzir melhor as cores e melhorar o desempenho em pouca luz. Olimpo e Imec também experimentaram sensores RGB infravermelho próximo para diferentes aplicações.
O sensor Spectricity S1 é o primeiro do mundo e segue uma direção diferente desses exemplos. Com base na demonstração e nas imagens de exemplo, ele se mostra bastante promissor – mas quando devemos esperar vê-lo em um telefone?
“No início, será introduzido em telefones de última geração”, disse Mouret. “Será um volume pequeno em 2024, um volume maior em 2025 e, a partir de 2026, será mais difundido.”
Mouret também espera que os primeiros exemplos venham de fabricantes chineses de smartphones, e não de empresas como Samsung e Apple. No entanto, Mouret espera que isto mude no futuro, e no Comunicado de imprensa da CES 2023 para o sensor S1, ele não conteve suas expectativas, dizendo:
“Esperamos que os primeiros modelos de smartphones com o S1 sejam lançados em 2024 e esperamos que todos os smartphones incluam nossa tecnologia nos próximos anos.”
Sim, todos os smartphones. É um grande objetivo, mas se o desempenho que vimos na demonstração for o que eventualmente veremos na câmera de um telefone com o S1 ao lado, poucos fabricantes vão querer ficar para trás.
Recomendações dos Editores
- Um telefone de US$ 450 pode vencer as câmeras do Samsung Galaxy S23? Está perto
- Você não está pronto para este Galaxy S23 vs. Teste de câmera do iPhone 14 Pro
- O novo telefone da Xiaomi tem uma câmera de 200 MP – e suas fotos são impressionantes
- O Ceramic Shield da Apple pode mudar sua opinião sobre um protetor de tela do iPhone 14
- OnePlus 10T vs. Nada que a batalha da câmera do Phone 1 não deveria estar tão próxima
