Wie Samsung AR-Emojis im Galaxy S9 zum Leben erweckte

Eingebettet in die Samsung Galaxy S9 Kamera-App, AR-Emoji ermöglicht es Ihnen, mit der Frontkamera digitale Cartoon-Avatare zu erstellen und zu versenden. Ähnlich wie bei Apple Animojis Im Konzept erfasst AR Emoji Ihre Gesichtsbewegungen und spiegelt sie in Form einer Figur oder eines Tieres wider. Mit der Funktion „Mein Emoji erstellen“ können Sie aber auch eins von sich selbst erstellen, indem Sie einfach ein Selfie machen – so können Sie Hautton, Outfit, Frisur, Haarfarbe und Brille auswählen.

Mit AR Emoji wollte Samsung ein aus seiner Sicht bestehendes Problem lösen – einen Weg finden, bestehende Emojis durch interaktive Emojis zu ersetzen. Das Unternehmen wollte dies auf einfache Weise erreichen, indem es den Benutzern die richtigen Tools dafür zur Verfügung stellte Es gelang ihnen, Emotionen einzufangen, das Ergebnis aber dennoch problemlos in einer Vielzahl von Nachrichten zu teilen Plattformen.

Wie hat Samsung seine AR-Emojis erstellt? Zunächst ging es direkt an die 3D-Animationsexperten, die einige der beliebtesten Charaktere Hollywoods zum Leben erweckten.

Vom großen Bildschirm bis zur Smartphone-Kamera

Um die neue Funktion voranzutreiben, hat Samsung mit zusammengearbeitet Loom.ai – ein in San Francisco ansässiges Startup, das sich auf 3D-Animation spezialisiert hat. Mit der Software des Unternehmens können Benutzer vollständig personalisierte und anpassbare 3D-Avatare aus einem einzigen Foto erstellen, ohne spezielle Hardware oder Tiefensensoren. Durch eine Partnerschaft und ein Software Development Kit (SDK) kombinierte Samsung die Technologie von Loom.ai mit der Kameratechnologie des S9 (Augmented Reality und Gesichtserkennung), um benutzerdefinierte AR-Emojis zu ermöglichen.

Die Vision hinter Loom.ai begann mit Filmen – genauer gesagt mit Cartoons und Superhelden. Die Gründer von Loom.ai – Mahesh – haben zuvor bei bekannten Unternehmen für visuelle Effekte wie DreamWorks und Lucasfilm gearbeitet Ramasubramanian und Kiran Bhat – haben dazu beigetragen, bekannte Charaktere wie Shrek und den Hulk in die Kinos zu bringen Bildschirm.

Um diesen Charakteren Persönlichkeit zu verleihen, verwendeten sie Performance-Capture-Technologie, um die Schauspieler, die sie spielten, einzubeziehen – sie zeichneten die Bewegungen des Schauspielers auf, nicht sein visuelles Erscheinungsbild. Doch nachdem Ramasubramanian und Bhat gesehen hatten, wie das Kinopublikum auf ihre 3D-Kreationen reagierte, entschieden sie sich um diese Technologie über Hollywood hinaus weiterzuentwickeln, indem wir Loom.ai starten, das sich auf Folgendes konzentriert Smartphones.

„Die Leute reagieren sofort darauf, dass diese Charaktere zum Leben erweckt werden, wenn sie von menschlichen Schauspielern gesteuert werden“, sagte Ramasubramanian, der als CEO und Mitbegründer fungiert, gegenüber Digital Trends. „Wir haben Loom.ai mit dem Ziel gestartet, dass wir jedem Einzelnen eine einfache Möglichkeit bieten müssen, sich selbst in 3D zu sehen, und dafür mussten wir eine neue Technologie entwickeln.“

Bei Spielfilmen erfordert die Erstellung eines 3D-Avatars jede Menge Ausrüstung – teure Hardware und Software, Make-up und eine Studioumgebung. Aber Loom.ai hat einen Weg gefunden, den Prozess der Erfassung der Merkmale einer Person ohne die üblichen Tools zu vereinfachen; Stattdessen nutzt die patentierte Technologie ein einzelnes Foto und Deep Learning, um ein Bild zu analysieren. Wenn ein Foto keine Gesichtsausdrücke aufweist, untersucht der Deep-Learning-Algorithmus die Pixel und erstellt automatisch ein Gesicht, das die korrekte Muskelbewegung darstellt.

„Als die Partnerschaft mit Samsung begann, hatten wir die Chance, diese hochentwickelte Technologie auf einem Gerät zu implementieren „Wir sind der Meinung, dass es an sich schon eine ziemlich anspruchsvolle technische Aufgabe ist“, sagte Bhat, CTO und Mitbegründer von Loom.ai, gegenüber Digital Trends. „Es ist ein großer Technologiesprung, einige dieser Ideen und Bestrebungen von der großen Leinwand auf Mobilgeräte übertragen zu können.“

Um diese Technologie in die Galaxy S9-Hardware zu integrieren, musste Loom.ai seine Algorithmen neu strukturieren, um auf dem Gerät ausgeführt zu werden. Aber Loom.ai hat AR Emoji nicht allein entwickelt: Sowohl Ramasubramanian als auch Bhat würdigen Samsung, dass es enorme Anstrengungen in die Optimierung der Software gesteckt hat. Durch die Bereitstellung des SDK zur Integration in Smartphones glauben die Gründer von Loom.ai, dass Samsung das Framework durch das Hinzufügen weiterer Inhalte und Anpassbarkeitsoptionen in Zukunft viel umfangreicher machen kann.

Wie das Galaxy S9 einen digitalen Avatar erstellt

Wie genau funktioniert das S9 (und S9 Plus) AR-Emojis erstellen? Während Samsung sein Geheimrezept nicht verriet, gab es Digital Trends einen Blick unter die Haube.

Mithilfe der Technologie von Loom.ai erfasst die Kamera des Telefons ein 2D-Bild und verarbeitet es in 3D. Um dies noch weiter zu verbessern, nutzt das S9 zusätzliche Software – Gesichtsverfolgung und Samsungs Blend Shape-Technologie – um Gesichtsausdrücke für das AR-Emoji bereitzustellen.

Übrig bleibt Ihnen dann eine Cartoon-ähnliche Version Ihrer selbst, die 18 verschiedene Ausdrücke ausdrücken kann – Samsung plant, diese langsam auf 54 zu erweitern – von Freude und Vergnügen bis hin zu Trauer und Wut. Alle Daten sind außerdem lokal auf dem Gerät und werden nirgendwo anders gespeichert.

Beide zusammenarbeiten, die Gesichtsverfolgungstechnologie erfasst über 100 Gesichtsmerkmale in Echtzeit (z. B. Zwinkern oder Lächeln), um sie zu erfassen einzelne Emotionen, während Blend Shape dazu beiträgt, eine größere Bandbreite davon zu vermitteln – wodurch Ausdrücke auf der Grundlage von 75 grundlegenden menschlichen Emotionen miteinander vermischt werden Gesichtszüge. Samsung gibt an, für Blend Shape wöchentlich mindestens 100 Tests in seinen Labors durchgeführt zu haben, um sicherzustellen, dass genügend Daten vorhanden sind, die die Benutzer anlocken. (Blend Shape wird auch zur Erstellung seiner Disney AR-Emojis wie Mickey und Minnie Mouse verwendet.)

In unserem eigenen AR-Emoji-TestDie meisten von uns hatten das Gefühl, dass unsere Charaktere extrem ungenau aussahen. Ein Autor war der Meinung, dass es an Hauttonoptionen mangele und es keine Auswahl an dunkelhäutigen Tönen gäbe. Andere hatten das Gefühl, dass ihr AR-Emoji überhaupt nicht wie sie aussah, was dazu führte, dass die Bearbeitung des Avatars eher eine lästige Pflicht als eine unterhaltsame Aufgabe zu sein schien.

Laut Loom.ai hängt die Erstellung eines präzisen AR-Emojis stark von der Art und Weise ab, wie das Selfie aufgenommen wird. Benutzer sollten bei der Aufnahme des Fotos genauso vorgehen wie bei der Aufnahme eines Passfotos. „Sie möchten eine gleichmäßige Beleuchtung, nichts, das Ihr Gesicht verdeckt, und einen neutralen Ausdruck, damit wir die Ausdrücke später hinzufügen können“, erklärte Ramasubramanian. „Es geht darum, dass sich die Leute ein wenig daran gewöhnen und dann die Möglichkeiten erkennen, es zu animieren und zu nutzen.“

Ramasubramanian sagte auch, dass Benutzer es so behandeln sollten, wie sie es auch bei der Aufnahme eines Selfies tun würden – das heißt, Sie können Unmengen von Fotos machen, bis Sie mit dem Foto zufrieden sind. Da Sie mit AR Emoji mehrere Avatare erstellen können, können Sie diese vergleichen, um den auszuwählen, der Ihnen am besten gefällt. Jede von Ihnen erstellte Version wird auch auf Ihrem Telefon gespeichert, sodass Sie die von Ihnen verwendete Version je nach Stimmung wechseln können.

Das neueste Update für AR Emoji umfasst zusätzliche Frisuren, Kopfbedeckungen wie einen Hijab und andere Optionen. Das Update wird derzeit für freigeschaltete Versionen von bereitgestellt Samsung Galaxy S9 und S9 Plus in Korea, China und Europa. Für Geräte europäischer Mobilfunkanbieter und entsperrte Geräte in den USA sollte das Update diese Woche zum Download verfügbar sein. Das Update für Geräte von US-amerikanischen Mobilfunkanbietern wird in den kommenden Wochen eingeführt. Samsung sagt, dass sich AR Emoji in Zukunft weiterentwickeln wird, hält sich aber vorerst noch bedeckt, was die genauen Details angeht.

Empfehlungen der Redaktion

• Samsung hat uns gerade drei große Galaxy Unpacked-Teaser präsentiert
• Das neueste Android-Handy von Asus könnte eine große Bedrohung für das Galaxy S23 Ultra darstellen
• Hier ist unser allererster Blick auf das Samsung Galaxy Tab S9 Plus
• Samsung hat möglicherweise gerade das Galaxy S10 getötet
• Das Samsung Galaxy Tab S9 erhält möglicherweise eine Funktion, die das iPad noch nie hatte