“Wij geloven dat er een reële kans bestaat om een spectrale imager in een smartphone te ontwikkelen en te gebruiken. Ondanks alle vooruitgang die is geboekt met verschillende camera’s en de rekenkracht van een smartphone, kan niemand echt de ware kleur van een foto identificeren.”
Inhoud
- Heb jij deze kleur ooit gezien?
- Is het een sensor of een camera?
- Wanneer wordt het in een telefoon gebruikt?
Dit is hoe Spectriciteit CEO Vincent Mouret beschreef de missie van het bedrijf ten aanzien van Digital Trends in een recent interview, evenals de reden waarom het een geminiaturiseerde spectrale beeldsensor maakt die klaar is voor gebruik in een smartphone. Maar wat is een spectrale sensor precies en hoe werkt deze? Het blijkt dat het veel meer kan dan alleen mooie kleuren vastleggen.
Aanbevolen video's
Heb jij deze kleur ooit gezien?
Voordat we daar verder op ingaan, laten we het hebben over wat de S1 multispectrale beeldsensor van Spectricity voor camera's doet. De meeste telefooncamera's gebruiken driekleurige RGB-sensoren (rood, groen en blauw), maar de Spectricity S1-sensor kijkt verder in de zichtbaar licht en nabij-infraroodbereik om natuurlijkere, consistentere kleuren te reproduceren, samen met aanzienlijk verbeterd wit evenwicht.
Verwant
- Dit is wat er gebeurt als je 4 telefoons vergelijkt in een 800 MP cameratest
- Ik heb de camera's van de Galaxy S23 Ultra en iPhone 14 Pro getest. Er is er maar één een winnaar
- De toekomst van bloedzuurstofmonitoring ligt bij de camera van je telefoon
“Een standaardcamera die in een smartphone is geïntegreerd, heeft een RGB-sensor die rood, groen en blauw ziet”, aldus Mouret. “We voegen filters toe om tot 16 verschillende afbeeldingen te creëren met verschillende kleuren, verschillende golflengten licht, licht dat uit verschillende bronnen komt, en het gereflecteerde licht dat van het object komt tafereel. Dankzij deze verschillende beelden kun je veel verschillende eigenschappen identificeren in vergelijking met een standaard RGB.”
Wat dit betekent is dat, ongeacht de lichtomstandigheden, de afbeeldingen gemaakt door een telefoon met de S1-sensor overal consistentere kleuren zullen hebben, zoals je kunt zien in de voorbeeldafbeelding hieronder. Tijdens ons gesprek zag ik een live demonstratie die de kleurweergave repliceerde en consistentie zoals te zien in het voorbeeld, maar het is de moeite waard om op te merken dat de sensor werd bediend door een pc en niet door een smartphone.
“Je zult zien dat bij Xiaomi-, Samsung-, Apple- en Huawei-camera’s de kleuren heel verschillend zijn onder verschillende lichtomstandigheden. In dezelfde scène, gemaakt met onze spectrale camera, zijn er kleine maar kleine verschillen. De kleuren uit afbeeldingen zijn de kleuren die we met het blote oog zien. Je ziet dat alle smartphones heel verschillende kleuren produceren.”
Deze kleurnauwkeurigheid verbetert ook het vermogen van smartphonecamera's om verschillende huidtinten beter te reproduceren. In een ander voorbeeldbeeld leek de S1-sensor ook hier aanzienlijke verbeteringen te vertonen.
“Je ziet dat de huidtinten totaal verschillend zijn, afhankelijk van de lichtomstandigheden,” merkte Mouret op. “De oplossing is om een spectrale imager te gebruiken om de lichtomstandigheden te analyseren, om echt de juiste toon te geven. Dit is de enige manier. Je kunt er veel AI achter zetten, maar het is niet genoeg. Je hebt wat extra hardware nodig.”
Helaas had Mouret geen Google Pixel telefoon bij de hand om de S1-sensor mee te vergelijken Google's Real Tone-computertechnologie, die belooft iets soortgelijks te doen, alleen door gebruik van softwareverbeteringen.
Is het een sensor of een camera?
De voordelen van een spectrale beeldsensor zoals de S1 lijken duidelijk, en wie wil er nou niet een effectievere witbalans en natuurlijke, consistente kleuren in zijn foto’s? Maar door de manier waarop Mouret de capaciteiten van de S1 beschreef, klonk hij meer als een camera dan als een sensor. Welke is het? Past het echt in een smartphone? Zo ja, welke aanpassingen zijn dan nodig?
Spectricity-toepassingsingenieur Michael Jacobs, die de demo uitvoerde die ik bekeek, legde uit wat de S1 eigenlijk is.
“Het is eigenlijk een begeleidende sensor, vergelijkbaar met een dieptesensor of een 3D-sensor die wordt gebruikt met een RGB-camera”, bevestigde hij.
Dat is echter wel het geval technisch gezien maak foto's, maar niet de foto's die je individueel zou willen gebruiken, zoals Mouret uitlegde:
“Onze beeldsensor heeft een VGA-resolutie, 800 x 600 pixels. Je moet dit kleinere spectrale beeld combineren met een RGB-beeld. De module zelf is echt heel klein. Het is ontworpen om in een smartphone te worden geïntegreerd. Het is dus 5 mm bij 5 mm bij 6 mm”, vertelde Mouret me, voordat hij meer vertelde over hoe de sensor is gebouwd. “Het is niet eenvoudig, maar het is niet heel geavanceerd, zou ik zeggen,” legde hij uit, waarbij hij zei dat de module is gebouwd met behulp van dezelfde methoden als gewone CMOS-sensoren. “Wat de totale kosten betreft, zal de volledige module dezelfde kosten hebben als een standaardcamera met een hoog volume.”
Op dit moment zal de sensor worden geïntegreerd met een standaard Image Signal Processor (ISP) die wordt gebruikt door smartphoneprocessors van Qualcomm en MediaTek, maar er is aanvullende software voor nodig om te werken.
De S1 multispectrale beeldsensor is geen one-trick-pony en heeft eigenlijk een intrigerende tweede functie: hij kan huidbiomarkers herkennen en analyseren. Wat dit betekent is dat het kan zien of het een echte persoon ‘ziet’, wat gebruikt zou kunnen worden voor beveiligingstoepassingen – het weet bijvoorbeeld als iemand een masker draagt om zijn identiteit te verbergen – huidverzorging, en zelfs in gezondheidstoepassingen in combinatie met AI en andere software. Het kan ook worden gebruikt om foto's in de portretmodus te verbeteren.
Wanneer wordt het in een telefoon gebruikt?
Fabrikanten werken al een tijdje aan het verbeteren van de kleurreproductie op telefoons, teruggaand naar de LG G5 in 2016, dat naast de laser-autofocussensor een speciale kleurenspectrumsensor gebruikte om de kleurprestaties te verbeteren. Huawei pakte het anders aan en liet een RGB-sensor op de camera achterwege P30 Pro ten gunste van een RYYB-sensor, in zijn poging om kleuren beter te reproduceren en de prestaties bij weinig licht te verbeteren. Olympus En imec hebben ook geëxperimenteerd met nabij-infrarood RGB-sensoren voor verschillende toepassingen.
De Spectricity S1-sensor is een wereldprimeur en gaat in een andere richting dan deze voorbeelden. Op basis van de demo en voorbeeldafbeeldingen is het veelbelovend – maar wanneer mogen we het op een telefoon verwachten?
“In eerste instantie zal het worden geïntroduceerd op geavanceerde telefoons”, aldus Mouret. “Het zal een klein volume zijn in 2024, een groter volume in 2025, en vanaf 2026 zal het op grotere schaal verspreid zijn.”
Mouret verwacht bovendien dat de eerste voorbeelden van Chinese smartphonefabrikanten zullen komen, en niet van bedrijven als Samsung en Apple. Mouret verwacht echter dat dit in de toekomst en in de toekomst zal veranderen CES 2023 persbericht voor de S1-sensor hield hij zijn verwachtingen niet in en zei:
“We verwachten dat de eerste smartphonemodellen met de S1 in 2024 uitkomen, en we verwachten dat alle smartphones de komende jaren onze technologie zullen bevatten.”
Ja, alle smartphones. Het is een groot doelwit, maar als de prestaties die we in de demo zagen, zijn wat we uiteindelijk zullen zien van een telefooncamera met de S1 ernaast, zullen maar weinig fabrikanten achter willen blijven.
Aanbevelingen van de redactie
- Kan een telefoon van $ 450 de camera's van de Samsung Galaxy S23 verslaan? Het is dichtbij
- Je bent nog niet klaar voor deze Galaxy S23 vs. iPhone 14 Pro cameratest
- De nieuwe telefoon van Xiaomi heeft een camera van 200 MP – en de foto’s zijn verbluffend
- Apple's Ceramic Shield kan van gedachten veranderen over een iPhone 14 screenprotector
- OnePlus 10T vs. Niets Telefoon 1 cameragevecht zou niet zo dichtbij moeten zijn
