Dieser winzige Sensor wird die Kamera Ihres Telefons für immer verändern

„Wir glauben, dass es eine echte Chance gibt, einen Spektralbildgeber in einem Smartphone zu entwickeln und zu nutzen. Trotz aller Fortschritte, die mit verschiedenen Kameras und der Rechenleistung eines Smartphones erzielt wurden, kann niemand die wahre Farbe eines Bildes wirklich erkennen.“

Das ist wie Spezifität CEO Vincent Mouret beschrieb kürzlich in einem Interview die Mission des Unternehmens für digitale Trends und den Grund, warum es einen miniaturisierten Spektralbildsensor herstellt, der für den Einsatz in a geeignet ist Smartphone. Doch was genau ist ein Spektralsensor und wie funktioniert er? Es stellt sich heraus, dass es viel mehr kann, als nur hübsche Farben einzufangen.

Haben Sie diese Farbe schon einmal gesehen?

Bevor wir zu all dem kommen, lassen Sie uns darüber sprechen, was der multispektrale Bildsensor S1 von Spectricity für Kameras leistet. Die meisten Telefonkameras verwenden dreifarbige RGB-Sensoren (Rot, Grün und Blau), aber der Spectricity S1-Sensor blickt weiter in die Tiefe sichtbares Licht und Nahinfrarotbereich, um natürlichere, gleichmäßigere Farben sowie ein deutlich verbessertes Weiß zu reproduzieren Gleichgewicht.

„Eine in ein Smartphone integrierte Standardkamera verfügt über einen RGB-Sensor, der Rot, Grün und Blau sieht“, sagte Mouret. „Wir fügen Filter hinzu, um bis zu 16 verschiedene Bilder mit unterschiedlichen Farben und unterschiedlichen Wellenlängen zu erstellen Licht, Licht aus verschiedenen Quellen und das reflektierte Licht, das vom Objekt kommt Szene. Dank dieser unterschiedlichen Bilder im Vergleich zu einem Standard-RGB können Sie viele verschiedene Eigenschaften identifizieren.“

Das bedeutet, dass die von einem Telefon mit dem S1-Sensor aufgenommenen Bilder unabhängig von den Lichtverhältnissen durchgehend gleichmäßigere Farben aufweisen, wie Sie im Beispielbild unten sehen können. Während unseres Gesprächs sah ich eine Live-Demonstration, die die Farbwiedergabe nachahmte Die Konsistenz ist im Beispiel zu sehen, aber es ist erwähnenswert, dass der Sensor von einem PC und nicht von einem PC bedient wurde Smartphone.

„Sie werden sehen, dass die Farben bei Xiaomi-, Samsung-, Apple- und Huawei-Kameras je nach Lichtverhältnissen sehr unterschiedlich sind. In derselben Szene, die mit unserem Spektralbildgeber aufgenommen wurde, gibt es leichte, aber geringfügige Unterschiede. Die Farben in Bildern sind die Farben, die wir mit bloßem Auge sehen. Man sieht, dass alle Smartphones sehr unterschiedliche Farben erzeugen.“

Diese Farbgenauigkeit wird auch die Fähigkeit von Smartphone-Kameras verbessern, verschiedene Hauttöne besser wiederzugeben. In einem anderen Beispielbild schien der S1-Sensor auch hier deutliche Verbesserungen zu zeigen.

„Man sieht, dass die Hauttöne je nach Lichtverhältnissen völlig unterschiedlich sind“, betonte Mouret. „Die Lösung besteht darin, mit einem Spektralbildgeber die Lichtverhältnisse zu analysieren, um wirklich den richtigen Ton zu erzielen. Das ist der einzige Weg. Man kann viel KI dahinterstecken, aber das reicht nicht aus. Sie benötigen zusätzliche Hardware.“

Leider hatte Mouret keine Google Pixel Telefon zur Hand, um den S1-Sensor damit zu vergleichen Googles Real Tone-Rechentechnologie, das verspricht, etwas Ähnliches zu tun, nur von Nutzung von Softwareerweiterungen.

Ist es ein Sensor oder eine Kamera?

Die Vorteile eines Spektralbildsensors wie des S1 scheinen offensichtlich zu sein, und wer wünscht sich nicht einen effektiveren Weißabgleich und natürliche, konsistente Farben in seinen Fotos? Aber die Art und Weise, wie Mouret die Fähigkeiten des S1 beschrieb, ließ ihn eher wie eine Kamera als wie einen Sensor klingen. Welches ist es? Passt es wirklich in ein Smartphone? Wenn ja, welche Änderungen sind erforderlich?

Spectricity-Anwendungsingenieur Michael Jacobs, der die Demo, die ich gesehen habe, geleitet hat, erklärte, was der S1 eigentlich ist.

„Es handelt sich tatsächlich um einen Begleitsensor, der einem Tiefensensor oder einem 3D-Sensor, der mit einer RGB-Kamera verwendet wird, sehr ähnlich ist“, bestätigte er.

Allerdings tut es das technisch Machen Sie Fotos, aber keine, die Sie einzeln verwenden möchten, wie Mouret erklärte:

„Unser Bildsensor hat eine VGA-Auflösung, 800 x 600 Pixel. Sie müssen dieses kleinere Spektralbild mit einem RGB-Bild kombinieren. Das Modul selbst ist wirklich sehr klein. Es wurde für die Integration in ein Smartphone entwickelt. Es ist also 5 mm x 5 mm x 6 mm groß“, erzählte mir Mouret, bevor er mehr über den Aufbau des Sensors erzählte. „Es ist nicht einfach, aber es ist nichts besonders Anspruchsvolles, würde ich sagen“, erklärte er und sagte, dass das Modul mit den gleichen Methoden wie normale CMOS-Sensoren gebaut werde. „Was die Gesamtkosten angeht, wird das komplette Modul die gleichen Kosten wie eine großvolumige Standardkamera haben.“

Derzeit wird der Sensor in einen Standard-Bildsignalprozessor (ISP) integriert, der von Smartphone-Prozessoren von Qualcomm und MediaTek verwendet wird, für den Betrieb ist jedoch zusätzliche Software erforderlich.

Der multispektrale Bildsensor S1 ist kein One-Trick-Pony, sondern hat tatsächlich eine faszinierende zweite Funktion: Er kann Hautbiomarker erkennen und analysieren. Das bedeutet, dass es erkennen kann, ob es sich um eine reale Person handelt, was beispielsweise für Sicherheitsanwendungen genutzt werden könnte – es weiß es wenn jemand eine Maske trägt, um seine Identität zu verbergen – Hautpflege und sogar in Gesundheitsanwendungen in Kombination mit KI und anderen Software. Es könnte auch verwendet werden, um Fotos im Porträtmodus zu verbessern.

Wann wird es in einem Telefon verwendet?

Hersteller arbeiten seit einiger Zeit daran, die Farbwiedergabe auf Telefonen zu verbessern LG G5 im Jahr 2016, das neben seinem Laser-Autofokus-Sensor einen speziellen Farbspektrumsensor verwendete, um die Farbleistung zu verbessern. Huawei ging einen anderen Weg und verzichtete auf einen RGB-Sensor P30 Pro zugunsten eines RYYB-Sensors, um Farben besser wiederzugeben und die Leistung bei schlechten Lichtverhältnissen zu verbessern. Olymp Und Imec haben auch mit Nahinfrarot-RGB-Sensoren für verschiedene Anwendungen experimentiert.

Der Spectricity S1-Sensor ist eine Weltneuheit und geht im Vergleich zu diesen Beispielen in eine andere Richtung. Basierend auf der Demo und den Beispielbildern ist es vielversprechend – aber wann sollten wir damit rechnen, es auf einem Telefon zu sehen?

„Zunächst wird es auf High-End-Telefonen eingeführt“, sagte Mouret. „Im Jahr 2024 wird es ein geringes Volumen geben, im Jahr 2025 ein größeres Volumen und ab 2026 wird es dann weiter verbreitet sein.“

Auch Mouret erwartet, dass die ersten Beispiele von chinesischen Smartphone-Herstellern kommen und nicht von Unternehmen wie Samsung und Apple. Mouret geht jedoch davon aus, dass sich dies in Zukunft ändern wird Pressemitteilung zur CES 2023 Was den S1-Sensor betrifft, hielt er seine Erwartungen nicht zurück und sagte:

„Wir erwarten, dass die ersten Smartphone-Modelle mit dem S1 im Jahr 2024 auf den Markt kommen, und wir gehen davon aus, dass in den kommenden Jahren alle Smartphones mit unserer Technologie ausgestattet sein werden.“

Ja, alle Smartphones. Es ist ein großes Ziel, aber wenn die Leistung, die wir in der Demo gesehen haben, die ist, die wir letztendlich von einer Telefonkamera mit der S1 als Ergänzung sehen werden, werden nur wenige Hersteller zurückbleiben wollen.

Empfehlungen der Redaktion

• Kann ein 450-Dollar-Handy die Kameras des Samsung Galaxy S23 schlagen? Es ist nah
• Sie sind nicht bereit für dieses Galaxy S23 vs. iPhone 14 Pro Kameratest
• Xiaomis neues Telefon verfügt über eine 200-MP-Kamera – und die Fotos sind atemberaubend
• Apples Ceramic Shield könnte Ihre Meinung über einen Displayschutz für das iPhone 14 ändern
• OnePlus 10T vs. Der Kampf um die Kamera von Nothing Phone 1 dürfte nicht so knapp ausfallen