삼성이 갤럭시 S9에서 AR 이모지를 생생하게 구현한 방법

에 내장됨 삼성 갤럭시 S9 카메라 앱, AR 이모지 전면 카메라를 사용하여 디지털 만화 아바타를 만들고 보낼 수 있습니다. 애플과 비슷하다 애니모지 개념적으로 AR Emoji는 얼굴 움직임을 포착하여 이를 캐릭터나 동물의 형태로 반영합니다. 하지만 "내 이모티콘 만들기" 기능을 사용하면 단순히 셀카를 찍어 자신만의 이모티콘을 만들 수도 있습니다. 즉, 피부색, 의상, 헤어스타일, 머리 색깔, 안경을 선택할 수 있습니다.

AR Emoji를 통해 삼성은 기존 이모티콘을 대화형 이모티콘으로 대체하는 방법을 찾아 문제를 해결하기 시작했습니다. 회사는 사용자에게 올바른 도구를 제공하여 간단한 방식으로 이를 수행하기를 원했습니다. 감정을 포착하면서도 다양한 메시지를 통해 결과를 쉽게 공유할 수 있었습니다. 플랫폼.

그렇다면 삼성은 AR 이모지를 어떻게 만들었을까? 우선, 헐리우드의 가장 인기 있는 캐릭터 중 일부를 생생하게 구현한 3D 애니메이션 전문가에게 바로 전달되었습니다.

큰 화면부터 스마트폰 카메라까지

새로운 기능을 강화하기 위해 삼성은 다음과 협력했습니다. Loom.ai — 샌프란시스코에 본사를 둔 3D 애니메이션 전문 스타트업입니다. 이 회사의 소프트웨어를 사용하면 사용자는 맞춤형 하드웨어나 깊이 센서 없이 단일 사진에서 완전히 개인화되고 맞춤 가능한 3D 아바타를 만들 수 있습니다. 삼성은 파트너십과 소프트웨어 개발 키트(SDK)를 통해 Loom.ai의 기술과 S9의 카메라 기술(증강 현실 및 얼굴 인식)을 결합하여 맞춤형 AR 이모지를 가능하게 했습니다.

Loom.ai의 비전은 모두 영화, 정확히 말하면 만화와 슈퍼히어로에서 시작되었습니다. 이전에 DreamWorks 및 Lucasfilm과 같은 유명 시각 효과 회사에서 근무한 경험이 있는 Loom.ai의 창립자 –Mahesh 라마수브라마니안(Ramasubramanian)과 키란 바트(Kiran Bhat) — 슈렉, 헐크 등 잘 알려진 캐릭터를 대형 영화로 만드는 데 도움을 주었습니다. 화면.

이러한 캐릭터에 개성을 부여하기 위해 그들은 퍼포먼스 캡처 기술을 사용하여 해당 캐릭터를 연기한 배우를 통합했습니다. 즉, 시각적인 모습이 아닌 배우의 움직임을 기록했습니다. 하지만 영화 관객들이 자신의 3D 창작물에 어떻게 반응하는지 본 후 Ramasubramanian과 Bhat은 다음과 같이 결정했습니다. Loom.ai를 시작하여 할리우드를 넘어 해당 기술을 더욱 발전시키려는 것입니다. 스마트폰.

CEO이자 공동 창립자인 Ramasubramanian은 Digital Trends에 “사람들은 인간 배우가 주도할 때 이러한 캐릭터가 생생하게 구현되는 것에 즉시 반응합니다.”라고 말했습니다. “우리는 모든 개인이 자신을 3D로 볼 수 있는 쉬운 방법을 찾을 수 있어야 한다는 목표로 Loom.ai를 시작했고, 이를 위해 새로운 기술을 구축해야 했습니다.”

장편 영화의 경우 3D 아바타를 만들려면 값비싼 하드웨어와 소프트웨어, 메이크업, 스튜디오 설정 등 수많은 장비가 필요합니다. 그러나 Loom.ai는 일반적인 도구 없이 사람의 특징을 캡처하는 과정을 단순화하는 방법을 찾았습니다. 대신, 특허 기술은 단일 사진과 딥 러닝을 사용하여 이미지를 분석합니다. 사진에 얼굴 표정이 없으면 딥 러닝 알고리즘이 픽셀을 살펴보고 올바른 근육 움직임을 캡슐화하는 얼굴을 자동으로 생성합니다.

“삼성의 파트너십이 시작되었을 때 우리는 정교한 기술을 장치에 구현할 기회를 얻었습니다. Loom.ai의 CTO이자 공동 창업자인 Bhat은 Digital에 이렇게 말했습니다. 동향. "큰 화면에서 이러한 아이디어와 열망을 모바일로 가져올 수 있다는 것은 기술적으로 큰 도약입니다."

이 기술을 Galaxy S9 하드웨어에 통합하려면 Loom.ai가 장치에서 실행되도록 알고리즘을 재구성해야 했습니다. 그러나 Loom.ai가 AR Emoji를 단독으로 만든 것은 아닙니다. Ramasubramanian과 Bhat 모두 삼성이 소프트웨어 최적화에 엄청난 노력을 기울인 데 대해 공을 돌렸습니다. Loom.ai 창립자들은 스마트폰에 통합할 SDK를 제공함으로써 삼성이 앞으로 더 많은 콘텐츠와 사용자 정의 옵션을 추가하여 프레임워크를 훨씬 더 풍부하게 만들 수 있다고 생각합니다.

Galaxy S9이 디지털 아바타를 만드는 방법

그렇다면 S9(및 S9 플러스) AR 이모티콘을 만드시겠습니까? 삼성은 비법을 공개하지 않았지만 디지털 트렌드(Digital Trends)의 내부를 살펴보았습니다.

Loom.ai의 기술을 활용하여 휴대폰의 카메라는 2D 이미지를 캡처하고 3D로 처리합니다. 이를 더욱 향상시키기 위해 S9는 얼굴 추적 및 삼성의 Blend Shape 기술과 같은 추가 소프트웨어를 사용하여 AR Emoji에 얼굴 표정을 제공합니다.

그러면 당신은 기쁨과 즐거움, 슬픔과 분노에 이르기까지 18가지의 다양한 표정을 표현할 수 있는 만화 같은 자신의 모습을 갖게 됩니다. 삼성은 이를 점차 54가지로 늘릴 계획입니다. 모든 데이터는 장치에 로컬로 저장되며 다른 곳에 저장되지 않습니다.

두 가지가 함께 작동하는 얼굴 추적 기술은 100개 이상의 얼굴 특징(예: 윙크 또는 미소)을 실시간으로 추적하여 캡처합니다. 인간의 기본 75가지 감정을 기반으로 표현을 혼합한 Blend Shape는 더 넓은 범위의 감정을 전달하는 데 도움이 됩니다. 얼굴 특징. 삼성은 Blend Shape에 대해 사용자를 유인할 수 있는 충분한 데이터가 있는지 확인하기 위해 실험실 내에서 매주 최소 100번의 테스트를 수행했다고 밝혔습니다. (Blend Shape는 미키 및 미니 마우스와 같은 Disney AR Emojis를 만드는 데에도 사용됩니다.)

우리 자신의 AR 이모지 테스트, 우리 중 대다수는 캐릭터가 매우 부정확해 보인다고 느꼈습니다. 한 작가는 사용할 수 있는 피부색 옵션이 부족하고 선택할 수 있는 어두운 피부색이 없다고 느꼈습니다. 다른 사람들은 AR Emoji가 자신과 전혀 닮지 않았다고 느꼈고, 이로 인해 아바타 편집이 즐거운 작업이라기보다는 자질구레한 일처럼 느껴졌습니다.

Loom.ai에 따르면 정확한 AR 이모지를 만드는 것은 셀카를 촬영하는 방식에 크게 좌우됩니다. 사용자는 여권 사진을 찍는 것과 같은 방식으로 사진을 찍어야 합니다. "나중에 표정을 추가할 수 있도록 균일한 조명, 얼굴을 가리는 것이 없는 중립적인 표정을 원합니다."라고 Ramasubramanian은 설명했습니다. "사람들이 그것에 조금 익숙해진 다음 애니메이션을 적용하고 사용할 수 있는 가능성을 확인하는 것이 문제입니다."

Ramasubramanian은 또한 사용자가 셀카를 찍을 때와 마찬가지로 취급해야 한다고 말했습니다. 즉, 사진에 만족할 때까지 수많은 사진을 찍을 수 있다는 의미입니다. AR Emoji를 사용하면 여러 아바타를 만들 수 있으므로 이를 비교하여 가장 마음에 드는 아바타를 찾을 수 있습니다. 여러분이 만든 각 항목은 휴대폰에도 저장되므로 기분에 따라 사용하는 버전을 전환할 수 있습니다.

AR Emoji의 최신 업데이트에는 추가 헤어스타일, 히잡과 같은 모자 및 기타 옵션이 포함되어 있습니다. 업데이트는 현재 잠금 해제된 버전으로 출시되고 있습니다. 삼성 갤럭시 S9 한국, 중국, 유럽에서는 S9 Plus. 유럽 ​​이동통신사 장치와 미국의 잠금 해제 장치에는 이번 주에 업데이트를 다운로드할 수 있습니다. 미국 이동통신사 장치에 대한 업데이트는 앞으로 몇 주에 걸쳐 출시될 예정입니다. 삼성은 AR Emoji가 앞으로도 계속 발전할 것이라고 밝혔지만 현재로서는 정확한 세부 사항에 대해 입을 다물고 있습니다.

편집자의 추천

• 삼성은 방금 우리에게 3개의 큰 갤럭시 언팩 티저를 제공했습니다.
• Asus의 최신 Android 휴대폰은 Galaxy S23 Ultra에 큰 위협이 될 수 있습니다.
• 삼성 갤럭시 탭 S9 플러스의 첫 번째 모습은 다음과 같습니다.
• 삼성이 갤럭시 S10을 죽였을 수도 있다
• 삼성 갤럭시 탭 S9에 아이패드에는 없었던 기능이 탑재될 수도 있다