Πώς η Samsung έδωσε ζωή στα Emojis AR στο Galaxy S9

Ενσωματωμένο στο Samsung Galaxy S9 εφαρμογή κάμερας, AR Emoji σας επιτρέπει να χρησιμοποιείτε την μπροστινή κάμερα για να δημιουργείτε και να στέλνετε είδωλα ψηφιακών κινουμένων σχεδίων. Παρόμοια με της Apple Animojis Στην ιδέα, το AR Emoji αποτυπώνει τις κινήσεις του προσώπου σας και τις αντικατοπτρίζει με τη μορφή χαρακτήρα ή ζώου. Αλλά με τη λειτουργία "Create My Emoji", μπορείτε επίσης να δημιουργήσετε έναν από τους εαυτούς σας τραβώντας απλώς μια selfie — επιτρέποντάς σας να επιλέξετε τον τόνο του δέρματος, το ντύσιμο, το χτένισμα, το χρώμα μαλλιών και τα γυαλιά.

Με το AR Emoji, η Samsung ξεκίνησε να λύσει αυτό που θεωρεί ως πρόβλημα — να βρει έναν τρόπο να αντικαταστήσει τα υπάρχοντα emoji με αυτά που είναι διαδραστικά. Η εταιρεία ήθελε να το κάνει αυτό με έναν τρόπο που ήταν απλός, παρέχοντας στους χρήστες τα κατάλληλα εργαλεία αιχμαλωτίζουν τα συναισθήματα, αλλά τους επέτρεψε να μοιράζονται εύκολα το αποτέλεσμα σε μια ποικιλία μηνυμάτων πλατφόρμες.

Προτεινόμενα βίντεο

Λοιπόν, πώς δημιούργησε η Samsung τα AR Emojis της; Για αρχή, πήγε κατευθείαν στους ειδικούς του 3D animation που έφεραν στη ζωή μερικούς από τους πιο δημοφιλείς χαρακτήρες του Χόλιγουντ.

Σχετίζεται με

  • Εδώ είναι όλα όσα περιμένουμε από την επόμενη εκδήλωση Unpacked της Samsung
  • Το Galaxy Tab S9 Ultra μοιάζει με ένα από τα πιο συναρπαστικά tablet του 2023
  • Δείτε πόσο γρήγορο είναι πραγματικά το 5G στο Samsung Galaxy S23 σας

Από μεγάλη οθόνη μέχρι κάμερα smartphone

Για να ενισχύσει τη νέα δυνατότητα, η Samsung συνεργάστηκε με αργαλειός.αι — μια startup με έδρα το Σαν Φρανσίσκο που ειδικεύεται στο 3D animation. Το λογισμικό της εταιρείας επιτρέπει στους χρήστες να δημιουργούν πλήρως εξατομικευμένα και προσαρμόσιμα 3D avatars από μία φωτογραφία, χωρίς προσαρμοσμένο υλικό ή αισθητήρες βάθους. Μέσω μιας συνεργασίας και ενός κιτ ανάπτυξης λογισμικού (SDK), η Samsung συνδύασε την τεχνολογία του Loom.ai με την τεχνολογία κάμερας του S9 (επαυξημένη πραγματικότητα και αναγνώριση προσώπου) για να κάνει εφικτά τα προσαρμοσμένα AR Emoji.

Η Samsung θέλει να βρει έναν τρόπο να αντικαταστήσει τα υπάρχοντα emoji με αυτά που είναι διαδραστικά.

Το όραμα πίσω από το Loom.ai ξεκίνησε με ταινίες — κινούμενα σχέδια και υπερήρωες για την ακρίβεια. Έχοντας εργαστεί στο παρελθόν σε δημοφιλείς εταιρείες οπτικών εφέ όπως η DreamWorks και η Lucasfilm, οι ιδρυτές του Loom.ai -Mahesh Ο Ramasubramanian και ο Kiran Bhat — έχουν βοηθήσει γνωστούς χαρακτήρες, όπως ο Shrek and the Hulk, στο μεγάλο οθόνη.

Για να δώσουν προσωπικότητα σε αυτούς τους χαρακτήρες, χρησιμοποίησαν την τεχνολογία σύλληψης performance για να ενσωματώσουν τους ηθοποιούς που τους έπαιξαν — καταγράφοντας τις κινήσεις του ηθοποιού, όχι την οπτική τους εμφάνιση. Αλλά αφού είδαν πώς αντέδρασε το κοινό των ταινιών στις τρισδιάστατες δημιουργίες τους, ο Ramasubramanian και ο Bhat αποφάσισαν να προχωρήσει αυτή η τεχνολογία παραπέρα - πέρα ​​από το Χόλιγουντ - ξεκινώντας το Loom.ai, το οποίο εστιάζει σε smartphones.

«Οι άνθρωποι αντιδρούν αμέσως στο να ζωντανέψουν αυτούς τους χαρακτήρες όταν οδηγούνται από ανθρώπινους ηθοποιούς», δήλωσε στο Digital Trends ο Ramasubramanian, ο οποίος υπηρετεί ως διευθύνων σύμβουλος και συνιδρυτής. «Ξεκινήσαμε το Loom.ai με στόχο να είμαστε σε θέση να βρούμε έναν εύκολο τρόπο για κάθε άτομο να μπορεί να δει τον εαυτό του σε 3D και για αυτό έπρεπε να δημιουργήσουμε μια νέα τεχνολογία».

AR Emoji
Brenda Stolyar/Digital Trends

Με τις ταινίες μεγάλου μήκους, η δημιουργία ενός 3D avatar απαιτεί τόνους εξοπλισμού — ακριβό υλικό και λογισμικό, μακιγιάζ και σκηνικό στούντιο. Αλλά το Loom.ai βρήκε έναν τρόπο να απλοποιήσει τη διαδικασία αποτύπωσης των χαρακτηριστικών ενός ατόμου χωρίς τα συνηθισμένα εργαλεία. Αντίθετα, η κατοχυρωμένη με δίπλωμα ευρεσιτεχνίας τεχνολογία του χρησιμοποιεί μια φωτογραφία και βαθιά εκμάθηση για την ανάλυση μιας εικόνας. Εάν μια φωτογραφία είναι απαλλαγμένη από εκφράσεις προσώπου, ο αλγόριθμος βαθιάς μάθησης εξετάζει τα εικονοστοιχεία και δημιουργεί αυτόματα ένα πρόσωπο που ενσωματώνει τη σωστή κίνηση των μυών.

«Όταν ξεκίνησε η συνεργασία της Samsung, είχαμε την ευκαιρία να εφαρμόσουμε αυτή την εξελιγμένη τεχνολογία σε μια συσκευή, η οποία πιστεύουμε ότι είναι ήδη ένα αρκετά συναρπαστικό έργο μηχανικής από μόνο του», δήλωσε ο Bhat, CTO και συνιδρυτής του Loom.ai, στην Digital. Τάσεις. «Είναι ένα μεγάλο τεχνολογικό άλμα στο να μπορούμε να πάρουμε μερικές από αυτές τις ιδέες και φιλοδοξίες από τη μεγάλη οθόνη και να τις μεταφέρουμε στο κινητό».

Για να τροφοδοτήσει το AR Emoji, η Samsung ζήτησε τη βοήθεια του αργαλειός.αι — μια startup με έδρα το Σαν Φρανσίσκο που ειδικεύεται στο 3D animation.

Η ενσωμάτωση αυτής της τεχνολογίας στο υλικό του Galaxy S9 απαιτούσε από το Loom.ai να αναδιαρθρώσει τους αλγόριθμούς του, προκειμένου να εκτελεστεί στη συσκευή. Αλλά το Loom.ai δεν δημιούργησε μόνο το AR Emoji: Τόσο ο Ramasubramanian όσο και ο Bhat πιστεύουν στη Samsung ότι αφιέρωσε τεράστια προσπάθεια για τη βελτιστοποίηση του λογισμικού. Παρέχοντας το SDK για ενσωμάτωση σε smartphone, οι ιδρυτές του Loom.ai πιστεύουν ότι η Samsung μπορεί να κάνει το πλαίσιο πολύ πιο πλούσιο προσθέτοντας περισσότερο περιεχόμενο και επιλογές προσαρμογής στο μέλλον.

Πώς το Galaxy S9 δημιουργεί ένα ψηφιακό avatar

Λοιπόν, πώς ακριβώς κάνει το S9 (και S9 Plus) δημιουργία Emojis AR; Ενώ η Samsung δεν αποκάλυψε τη μυστική της σάλτσα, έδωσε μια ματιά στο Digital Trends κάτω από την κουκούλα.

Χρησιμοποιώντας την τεχνολογία του Loom.ai, η κάμερα του τηλεφώνου καταγράφει και επεξεργάζεται μια εικόνα 2D σε 3D. Για να το βελτιώσει περαιτέρω, το S9 χρησιμοποιεί πρόσθετο λογισμικό — παρακολούθηση προσώπου και τεχνολογία Blend Shape της Samsung — για να παρέχει εκφράσεις προσώπου για το AR Emoji.

πώς η samsung έφερε στη ζωή τα ar emoji στο galaxy s9 disney emoji partnership 2
Mickey Mouse AR Emoji από κοντά στο Samsung Galaxy S9

Έπειτα, θα έχετε μια εκδοχή του εαυτού σας που μοιάζει με κινούμενα σχέδια που μπορεί να εκπέμπει 18 διαφορετικές εκφράσεις – τις οποίες η Samsung σχεδιάζει να επεκτείνει σιγά σιγά σε 54 – που κυμαίνονται από χαρά και ευχαρίστηση, μέχρι λύπη και θυμό. Όλα τα δεδομένα είναι επίσης τοπικά στη συσκευή και δεν αποθηκεύονται πουθενά αλλού.

Και οι δύο συνεργάζονται, η τεχνολογία παρακολούθησης προσώπου παρακολουθεί πάνω από 100 χαρακτηριστικά του προσώπου σε πραγματικό χρόνο (όπως το κλείσιμο του ματιού ή το χαμόγελο) για να καταγράψει μεμονωμένα συναισθήματα, ενώ το Blend Shape συμβάλλει στην παροχή μεγαλύτερου εύρους από αυτά — το οποίο συνδυάζει εκφράσεις με βάση 75 βασικούς ανθρώπους τα χαρακτηριστικά του προσώπου. Η Samsung λέει ότι, για το Blend Shape, διεξήγαγε τουλάχιστον 100 δοκιμές σε εβδομαδιαία βάση στα εργαστήριά της, προκειμένου να βεβαιωθεί ότι υπάρχουν αρκετά δεδομένα που θα προσέλκυαν τους χρήστες της. (Το Blend Shape χρησιμοποιείται επίσης για τη δημιουργία των Disney AR Emoji, όπως ο Mickey και η Minnie Mouse.)

Στα δικά μας Δοκιμή AR Emoji, οι περισσότεροι από εμάς αισθανθήκαμε ότι οι χαρακτήρες μας φαινόταν εξαιρετικά ανακριβείς. Ένας συγγραφέας θεώρησε ότι δεν υπήρχαν διαθέσιμες επιλογές για τον τόνο του δέρματος, χωρίς να διαλέξετε τόνους σκουρόχρωμου. Άλλοι ένιωσαν ότι το AR Emoji τους δεν τους έμοιαζε καθόλου, γεγονός που έκανε την επεξεργασία του avatar να μοιάζει περισσότερο σαν μια αγγαρεία παρά μια ευχάριστη εργασία.

Σύμφωνα με το Loom.ai, η δημιουργία ενός ακριβούς AR Emoji βασίζεται σε μεγάλο βαθμό στον τρόπο λήψης της selfie. Οι χρήστες θα πρέπει να κάνουν τη λήψη της φωτογραφίας με τον ίδιο τρόπο που θα έβγαζαν μια φωτογραφία διαβατηρίου. «Θέλετε ακόμη και φωτισμό, τίποτα να μην καλύπτει το πρόσωπό σας και μια ουδέτερη έκφραση για να μπορούμε να προσθέσουμε τις εκφράσεις αργότερα», εξήγησε ο Ramasubramanian. «Είναι θέμα να το συνηθίσουν λίγο οι άνθρωποι και μετά να δουν τις δυνατότητες να το εμψυχώσουν και να το χρησιμοποιήσουν».

Ο Ραμασουμπραμανιάν είπε επίσης ότι οι χρήστες θα πρέπει να το αντιμετωπίζουν με τον τρόπο που θα έβγαζαν κάθε selfie - που σημαίνει ότι μπορείτε να τραβήξετε τόνους φωτογραφιών μέχρι να είστε ικανοποιημένοι με τη φωτογραφία. Εφόσον το AR Emoji σάς επιτρέπει να δημιουργείτε πολλά avatar, μπορείτε να τα συγκρίνετε για να βρείτε αυτό που σας αρέσει περισσότερο. Κάθε ένα που δημιουργείτε αποθηκεύεται επίσης στο τηλέφωνό σας, ώστε να μπορείτε να αλλάξετε την έκδοση που χρησιμοποιείτε ανάλογα με τη διάθεσή σας.

Η τελευταία ενημέρωση του AR Emoji περιλαμβάνει πρόσθετα χτενίσματα, καλύμματα κεφαλής όπως χιτζάμπ και άλλες επιλογές. Αυτήν τη στιγμή, η ενημέρωση κυκλοφορεί σε ξεκλείδωτες εκδόσεις του Samsung Galaxy S9 και S9 Plus στην Κορέα, την Κίνα και την Ευρώπη. Οι ευρωπαϊκές συσκευές κινητής τηλεφωνίας και οι ξεκλείδωτες συσκευές των ΗΠΑ θα πρέπει να έχουν την ενημέρωση διαθέσιμη για λήψη αυτή την εβδομάδα. Η ενημέρωση για τις συσκευές κινητής τηλεφωνίας των ΗΠΑ θα κυκλοφορήσει τις επόμενες εβδομάδες. Η Samsung λέει ότι το AR Emoji θα συνεχίσει να εξελίσσεται στο μέλλον, αλλά προς το παρόν, τηρεί αυστηρά τις ακριβείς λεπτομέρειες.

Συστάσεις των συντακτών

  • Η Samsung μόλις μας έδωσε 3 μεγάλα teaser Galaxy Unpacked
  • Το τελευταίο τηλέφωνο Android της Asus θα μπορούσε να είναι μια μεγάλη απειλή για το Galaxy S23 Ultra
  • Εδώ είναι η πρώτη μας ματιά στο Samsung Galaxy Tab S9 Plus
  • Η Samsung μπορεί να σκότωσε μόλις το Galaxy S10
  • Το Galaxy Tab S9 της Samsung μπορεί να αποκτήσει μια δυνατότητα που δεν είχε ποτέ το iPad