Sensor kecil ini akan mengubah kamera ponsel Anda selamanya

“Kami yakin ada peluang nyata untuk mengembangkan dan menggunakan spectral imager di ponsel pintar. Terlepas dari semua kemajuan yang telah dicapai dengan berbagai kamera dan kekuatan komputasi ponsel pintar, tidak ada yang benar-benar dapat mengidentifikasi warna sebenarnya dari sebuah gambar.”

Begini caranya Spektrum CEO Vincent Mouret menjelaskan misi perusahaan terhadap Digital Trends dalam sebuah wawancara baru-baru ini, serta alasan mengapa mereka membuat sensor gambar spektral mini yang siap digunakan dalam kondisi darurat. telepon pintar. Namun apa sebenarnya sensor spektral itu dan bagaimana cara kerjanya? Ternyata, kamera ini dapat melakukan lebih dari sekadar menangkap warna-warna cantik.

Pernahkah Anda melihat warna ini?

Sebelum kita membahas semua itu, mari kita bahas tentang fungsi sensor gambar multispektral S1 Spectricity untuk kamera. Sebagian besar kamera ponsel menggunakan sensor RGB tiga warna (merah, hijau, dan biru), tetapi sensor Spectricity S1 melihat lebih jauh ke dalam sensor tersebut. cahaya tampak dan rentang inframerah dekat untuk mereproduksi warna yang lebih alami dan konsisten, serta warna putih yang jauh lebih baik keseimbangan.

“Kamera standar yang terintegrasi ke dalam smartphone memiliki sensor RGB yang dapat melihat warna merah, hijau, dan biru,” kata Mouret. “Kami menambahkan filter untuk membuat hingga 16 gambar berbeda dengan warna berbeda, panjang gelombang berbeda cahaya, cahaya yang berasal dari berbagai sumber, dan cahaya pantulan yang berasal dari benda tersebut pemandangan. Anda dapat mengidentifikasi banyak properti berbeda berkat gambar yang berbeda ini dibandingkan dengan RGB standar.”

Artinya, apa pun kondisi pencahayaannya, gambar yang diambil oleh ponsel dengan sensor S1 akan memiliki warna yang lebih konsisten, seperti yang Anda lihat pada contoh gambar di bawah. Selama percakapan kami, saya melihat demonstrasi langsung yang mereplikasi reproduksi warna dan konsistensi terlihat pada contoh, namun perlu diperhatikan bahwa sensor dioperasikan oleh PC dan bukan a telepon pintar.

“Anda akan melihat pada kamera Xiaomi, Samsung, Apple, dan Huawei, warnanya sangat berbeda dalam kondisi pencahayaan berbeda. Dalam adegan yang sama yang diambil dengan pencitra spektral kami, terdapat sedikit perbedaan, namun kecil. Warna yang keluar dari gambar adalah warna yang terlihat dengan mata telanjang kita. Anda dapat melihat semua smartphone menghasilkan warna yang sangat berbeda.”

Akurasi warna ini juga akan meningkatkan kemampuan kamera smartphone dalam mereproduksi warna kulit yang berbeda dengan lebih baik. Pada contoh gambar lainnya, sensor S1 juga menunjukkan peningkatan yang cukup besar.

“Anda dapat melihat warna kulit sangat berbeda tergantung pada kondisi pencahayaan,” kata Mouret. “Solusinya adalah dengan menggunakan spectral imager untuk menganalisa kondisi pencahayaan, hingga benar-benar memberikan tone yang tepat. Ini satu-satunya jalan. Anda dapat menggunakan banyak AI di belakangnya, tetapi itu tidak cukup. Anda perlu memiliki beberapa perangkat keras tambahan.”

Sayangnya, Mouret tidak punya Google Piksel telepon di tangan untuk membandingkan sensor S1 dengan Teknologi komputasi Real Tone Google, yang berjanji untuk melakukan hal serupa, hanya dengan menggunakan penyempurnaan perangkat lunak.

Apakah itu sensor atau kamera?

Manfaat sensor gambar spektral seperti S1 tampak jelas, dan siapa yang tidak menginginkan white balance yang lebih efektif serta warna alami dan konsisten dalam foto mereka? Namun cara Mouret menggambarkan kemampuan S1 membuatnya lebih terdengar seperti kamera daripada sensor. Yang mana? Bisakah itu benar-benar muat di dalam smartphone? Jika ya, modifikasi apa yang diperlukan?

Insinyur aplikasi spektrum Michael Jacobs, yang menjalankan demo yang saya tonton, menjelaskan apa sebenarnya S1 itu.

“Ini benar-benar sensor pendamping, sangat mirip dengan sensor kedalaman atau sensor 3D yang digunakan dengan kamera RGB,” tegasnya.

Namun, hal itu memang terjadi secara teknis ambil foto, hanya saja bukan foto yang ingin Anda gunakan satu per satu, seperti yang dijelaskan Mouret:

“Sensor gambar kami beresolusi VGA, 800 x 600 piksel. Anda perlu menggabungkan gambar spektral yang lebih kecil ini dengan gambar RGB. Modulnya sendiri sangat kecil. Ini telah dirancang untuk diintegrasikan dalam smartphone. Jadi ukurannya 5mm kali 5mm kali 6mm,” kata Mouret kepada saya, sebelum menjelaskan lebih lanjut tentang cara pembuatan sensor tersebut. “Ini tidak mudah, tapi menurut saya tidak terlalu canggih,” jelasnya, sambil mengatakan bahwa modul tersebut dibuat menggunakan metode yang sama seperti sensor CMOS biasa. “Dalam hal biaya keseluruhan, modul lengkap akan memiliki biaya yang sama dengan kamera standar bervolume tinggi.”

Saat ini, sensor tersebut akan terintegrasi dengan Image Signal Processor (ISP) standar yang digunakan oleh prosesor ponsel pintar dari Qualcomm dan MediaTek, namun memerlukan perangkat lunak tambahan untuk beroperasi.

Sensor gambar multispektral S1 bukanlah alat yang mudah digunakan, dan sebenarnya memiliki fungsi kedua yang menarik, yaitu dapat mengenali dan menganalisis biomarker kulit. Artinya adalah ia dapat mengetahui apakah ia “melihat” orang sungguhan, yang dapat digunakan untuk aplikasi keamanan — misalnya, ia mengetahui jika seseorang memakai masker untuk menyembunyikan identitasnya — perawatan kulit, dan bahkan dalam aplikasi kesehatan jika dikombinasikan dengan AI dan lainnya perangkat lunak. Ini juga dapat digunakan untuk menyempurnakan foto Mode Potret.

Kapan itu akan digunakan di telepon?

Produsen telah berupaya meningkatkan reproduksi warna pada ponsel selama beberapa waktu, mulai dari LG G5 pada tahun 2016, yang menggunakan sensor spektrum warna khusus bersama sensor fokus otomatis laser untuk meningkatkan performa warna. Huawei mengambil pendekatan berbeda dan meninggalkan sensor RGB di P30 Pro mendukung sensor RYYB, dalam upayanya mereproduksi warna dengan lebih baik dan meningkatkan kinerja cahaya rendah. Olympus Dan sayac juga telah bereksperimen dengan sensor RGB inframerah-dekat untuk berbagai aplikasi.

Sensor Spectricity S1 adalah yang pertama di dunia dan memiliki arah yang berbeda dari contoh berikut. Berdasarkan demo dan contoh gambar, ini cukup menjanjikan – tetapi kapan kita bisa melihatnya di ponsel?

“Awalnya akan diperkenalkan pada ponsel kelas atas,” kata Mouret. “Volumenya akan kecil pada tahun 2024, volume yang lebih tinggi pada tahun 2025, dan kemudian mulai tahun 2026, akan lebih luas.”

Mouret juga mengharapkan contoh pertama datang dari produsen ponsel pintar Tiongkok, dan bukan dari perusahaan seperti Samsung dan Apple. Namun, Mouret memperkirakan hal ini akan berubah di masa depan, dan di masa depan Siaran pers CES 2023 untuk sensor S1, dia tidak menahan ekspektasinya, dengan mengatakan:

“Kami memperkirakan model ponsel pintar pertama dengan S1 akan dirilis pada tahun 2024, dan kami berharap semua ponsel cerdas menyertakan teknologi kami di tahun-tahun mendatang.”

Ya, semua ponsel pintar. Ini adalah target yang besar, namun jika performa yang kami lihat di demo sama dengan performa yang nantinya akan kami lihat dari kamera ponsel dengan S1 di sampingnya, hanya sedikit produsen yang mau ketinggalan.

Rekomendasi Editor

• Bisakah ponsel seharga $450 mengalahkan kamera Samsung Galaxy S23? Sudah dekat
• Anda belum siap untuk Galaxy S23 vs. Tes kamera iPhone 14 Pro
• Ponsel baru Xiaomi memiliki kamera 200MP — dan hasil fotonya menakjubkan
• Ceramic Shield Apple mungkin berubah pikiran tentang pelindung layar iPhone 14
• OnePlus 10T vs. Pertarungan kamera Nothing Phone 1 tidak boleh sedekat ini