Cum Samsung a adus la viață emoji-urile AR în Galaxy S9

Încorporat în Samsung Galaxy S9 aplicație pentru cameră, AR Emoji vă permite să utilizați camera frontală pentru a crea și trimite avatare de desene animate digitale. Similar cu Apple Animojis în concept, AR Emoji surprinde mișcările tale faciale și le oglindește sub forma unui personaj sau animal. Dar, cu funcția „Creați-mi Emoji”, puteți, de asemenea, să creați unul dintre dvs. pur și simplu făcând un selfie - permițându-vă să alegeți o nuanță a pielii, ținută, coafură, culoarea părului și ochelari.

Cu AR Emoji, Samsung și-a propus să rezolve ceea ce vede ca o problemă – găsirea unei modalități de a înlocui emoji-urile existente cu unele interactive. Compania a vrut să facă acest lucru într-un mod simplu, oferind utilizatorilor instrumentele potrivite captați emoțiile, dar le-a permis totuși să partajeze cu ușurință rezultatul într-o varietate de mesaje platforme.

Deci, cum și-a creat Samsung Emoji-urile AR? Pentru început, a mers direct către experții în animație 3D, care au dat viață unora dintre cele mai populare personaje de la Hollywood.

De la ecran mare la camera smartphone

Pentru a alimenta noua caracteristică, Samsung a colaborat Loom.ai — un startup din San Francisco specializat în animație 3D. Software-ul companiei permite utilizatorilor să creeze avatare 3D complet personalizate și personalizabile dintr-o singură fotografie, fără hardware personalizat sau senzori de adâncime. Printr-un parteneriat și un kit de dezvoltare software (SDK), Samsung a combinat tehnologia Loom.ai cu tehnologia camerei S9 (realitate augmentată și recunoaștere facială) pentru a face posibilă AR Emoji personalizat.

Viziunea din spatele Loom.ai a început cu filme - desene animate și supereroi pentru a fi exact. După ce a lucrat anterior la companii de efecte vizuale populare precum DreamWorks și Lucasfilm, fondatorii Loom.ai – Mahesh Ramasubramanian și Kiran Bhat — au contribuit la aducerea personajelor binecunoscute, precum Shrek și Hulk, în mare ecran.

Pentru a injecta personalitate acelor personaje, au folosit tehnologia de captare a performanței pentru a încorpora actorii care le-au jucat - înregistrând mișcările actorului, nu aspectul lor vizual. Dar după ce au văzut cum a reacționat publicul filmelor la creațiile lor 3D, Ramasubramanian și Bhat au decis pentru a duce această tehnologie mai departe – dincolo de Hollywood – prin lansarea Loom.ai, care se concentrează pe smartphone-uri.

„Oamenii reacționează instantaneu la faptul că aceste personaje prind viață atunci când sunt conduse de actori umani”, a declarat Ramasubramanian, care este CEO și co-fondator, pentru Digital Trends. „Am pornit Loom.ai cu scopul că trebuie să putem găsi o modalitate ușoară prin care fiecare individ să se poată vedea în 3D și pentru asta a trebuit să construim o nouă tehnologie.”

Cu filmele de lung metraj, crearea unui avatar 3D necesită tone de echipamente - hardware și software scump, machiaj și un decor de studio. Dar Loom.ai a găsit o modalitate de a simplifica procesul de captare a caracteristicilor unei persoane fără instrumentele obișnuite; în schimb, tehnologia sa patentată folosește o singură fotografie și învățarea profundă pentru a analiza o imagine. Dacă o fotografie este lipsită de orice expresie facială, algoritmul de învățare profundă se uită la pixeli și produce automat o față care încapsulează mișcarea musculară corectă.

„Când parteneriatul Samsung a avut loc, am avut șansa de a implementa acea tehnologie sofisticată pe un dispozitiv, care credem că este deja o sarcină de inginerie destul de convingătoare în sine”, a declarat Bhat, CTO și co-fondator al Loom.ai, pentru Digital. Tendințe. „Este un salt tehnologic mare în a putea prelua unele dintre acele idei și aspirații de pe marele ecran și le aduce pe mobil.”

Încorporarea acestei tehnologii în hardware-ul Galaxy S9 a necesitat Loom.ai să-și restructureze algoritmii, pentru a rula pe dispozitiv. Dar Loom.ai nu a creat singur AR Emoji: Atât Ramasubramanian, cât și Bhat îl merită pe Samsung pentru că a dedicat efort extraordinar pentru optimizarea software-ului. Oferind SDK-ul pentru integrarea în smartphone-uri, fondatorii Loom.ai cred că Samsung poate face cadrul mult mai bogat adăugând mai multe opțiuni de conținut și de personalizare în viitor.

Cum Galaxy S9 creează un avatar digital

Deci, cum funcționează exact S9 (și S9 Plus) creați AR Emoji? Deși Samsung nu și-a dezvăluit sosul secret, i-a oferit Digital Trends o privire sub capotă.

Utilizând tehnologia Loom.ai, camera telefonului captează și procesează o imagine 2D în 3D. Pentru a îmbunătăți și mai mult acest lucru, S9 folosește software suplimentar - urmărire facială și tehnologia Samsung Blend Shape - pentru a oferi expresii faciale pentru AR Emoji.

Apoi, rămâi cu o versiune asemănătoare cu desenele animate a ta, care poate emoționa 18 expresii diferite - pe care Samsung intenționează să le extindă treptat la 54 - de la bucurie și plăcere, la tristețe și furie. Toate datele sunt, de asemenea, locale pe dispozitiv și nu sunt stocate în altă parte.

Ambele lucrând împreună, tehnologia de urmărire a feței urmărește peste 100 de trăsături faciale în timp real (cum ar fi clipirea cu ochiul sau zâmbetul) pentru a captura emoțiile individuale, în timp ce Blend Shape ajută la furnizarea unei game mai mari de ele - care combină expresii pe baza a 75 de emoții umane de bază. trasaturile faciale. Samsung spune că, pentru Blend Shape, a efectuat cel puțin 100 de teste săptămânal în laboratoarele sale, pentru a se asigura că există suficiente date care să-și atragă utilizatorii. (Blend Shape este, de asemenea, folosit pentru a crea emoji-urile Disney AR, cum ar fi Mickey și Minnie Mouse.)

În al nostru Test AR Emoji, majoritatea dintre noi au simțit că personajele noastre păreau extrem de inexacte. Un scriitor a considerat că există o lipsă de opțiuni de nuanță a pielii disponibile, fără tonuri de piele închisă din care să aleagă. Alții au simțit că Emoji-ul lor AR nu seamănă deloc cu ei, ceea ce a făcut ca editarea avatarului să pară mai mult o corvoadă decât o sarcină plăcută.

Potrivit Loom.ai, crearea unui Emoji AR precis se bazează în mare măsură pe modul în care este fotografiat selfie-ul. Utilizatorii ar trebui să facă fotografia în același mod în care ar face o fotografie de pașaport. „Vrei lumină uniformă, nimic care să-ți acopere fața și o expresie neutră, astfel încât să putem adăuga expresiile mai târziu”, a explicat Ramasubramanian. „Este o problemă ca oamenii să se obișnuiască puțin cu el și apoi să vadă posibilitățile de a-l anima și de a-l folosi.”

Ramasubramanian a mai spus că utilizatorii ar trebui să o trateze așa cum ar face-o atunci când își fac orice selfie - adică poți face o mulțime de fotografii până când ești mulțumit de fotografie. Deoarece AR Emoji vă permite să creați mai multe avatare, le puteți compara pentru a-l găsi pe cel care vă place cel mai mult. Fiecare dintre ele pe care le creați se salvează și pe telefonul dvs., astfel încât să puteți schimba versiunea pe care o utilizați în funcție de starea dvs. de spirit.

Cea mai recentă actualizare pentru AR Emoji include coafuri suplimentare, articole pentru cap, cum ar fi hijab-ul și alte opțiuni. Actualizarea se lansează în prezent la versiunile deblocate ale Samsung Galaxy S9 și S9 Plus în Coreea, China și Europa. Dispozitivele operatorului european și dispozitivele deblocate din SUA ar trebui să aibă actualizarea disponibilă pentru descărcare săptămâna aceasta. Actualizarea pentru dispozitivele de transport din SUA va fi lansată în următoarele săptămâni. Samsung spune că AR Emoji va continua să evolueze în viitor, dar, deocamdată, rămâne cu atenție asupra detaliilor exacte.

Recomandările editorilor

• Samsung tocmai ne-a oferit 3 teasere mari Galaxy Unpacked
• Cel mai recent telefon Android al lui Asus ar putea fi o mare amenințare pentru Galaxy S23 Ultra
• Iată prima noastră privire asupra Samsung Galaxy Tab S9 Plus
• Este posibil ca Samsung tocmai a ucis Galaxy S10
• Galaxy Tab S9 de la Samsung poate primi o funcție pe care iPad-ul nu a avut-o niciodată