Samsung が Galaxy S9 で AR 絵文字をどのように実現したか

に埋め込まれています サムスンギャラクシーS9 カメラアプリ、 AR絵文字 では、前面カメラを使用してデジタル漫画のアバターを作成して送信できます。 Appleのものと同様 アニ文字 コンセプトとしては、AR Emoji は顔の動きをキャプチャし、それをキャラクターや動物の形で反映します。 ただし、「Create My Emoji」機能を使用すると、セルフィーを撮るだけで自分の絵文字を作成することもでき、肌の色、服装、髪型、髪の色、眼鏡を選択できます。

サムスンは AR 絵文字を使用して、既存の絵文字をインタラクティブな絵文字に置き換える方法を見つけることで、問題と見なしている問題の解決に着手しました。 同社は、ユーザーに適切なツールを提供することで、これをシンプルな方法で実現したいと考えていました。 感情を捉えながらも、結果をさまざまなメッセージで簡単に共有できる プラットフォーム。

では、サムスンはどのようにして AR 絵文字を作成したのでしょうか? まず、ハリウッドで最も人気のあるキャラクターに命を吹き込んだ 3D アニメーションの専門家に直接依頼しました。

大画面からスマホカメラまで

新機能を強化するために、サムスンは次の企業と協力しました。 ルームアイ — サンフランシスコを拠点とする 3D アニメーションを専門とするスタートアップ。 同社のソフトウェアを使用すると、ユーザーはカスタム ハードウェアや深度センサーを使用せずに、1 枚の写真から完全にパーソナライズされたカスタマイズ可能な 3D アバターを作成できます。 サムスンはパートナーシップとソフトウェア開発キット (SDK) を通じて、Loom.ai のテクノロジーと S9 のカメラ技術 (拡張現実と顔認識) を組み合わせて、カスタム AR 絵文字を可能にしました。

Loom.ai の背後にあるビジョンはすべて映画、正確に言えば漫画やスーパーヒーローから始まりました。 Loom.ai の創設者であるマヘシュ氏は、これまでドリームワークスやルーカスフィルムなどの人気視覚効果会社で働いていました。 ラマスブラマニアンとキラン・バット — シュレックやハルクなどの有名なキャラクターを大ヒットさせるのに貢献してきました。 画面。

これらのキャラクターに個性を注入するために、彼らはパフォーマンス キャプチャ テクノロジーを使用して、そのキャラクターを演じる俳優を組み込みました。つまり、俳優の見た目ではなく動きを記録しました。 しかし、映画の観客が彼らの 3D 作品にどのように反応したかを見て、ラマスブラマニアン氏とバート氏は次の決断を下しました。 Loom.ai を開始することで、そのテクノロジーをさらにハリウッドを超えて推進します。 スマートフォン。

CEO兼共同創設者を務めるラマスブラマニアン氏は、「人間の俳優によってこれらのキャラクターに命が吹き込まれると、人々は即座に反応します」とデジタル・トレンドに語った。 「私たちは、すべての人が自分自身を 3D で見ることができる簡単な方法を見つけられるようにするという目標を持って Loom.ai を開始しました。そのためには新しいテクノロジーを構築する必要がありました。」

長編映画の場合、3D アバターを作成するには、高価なハードウェアとソフトウェア、メイクアップ、スタジオ設定など、大量の機材が必要です。 しかし、Loom.ai は、通常のツールを使わずに人の特徴をキャプチャするプロセスを簡素化する方法を見つけました。 代わりに、その特許取得済みのテクノロジーは、1 枚の写真とディープラーニングを使用して画像を分析します。 写真に表情がない場合、深層学習アルゴリズムがピクセルを調べ、正しい筋肉の動きを要約した顔を自動的に生成します。

「サムスンとの提携が軌道に乗ったとき、私たちはその洗練されたテクノロジーをデバイスに実装する機会を得ました。 Loom.ai の CTO 兼共同創設者である Bhat 氏は Digital に語った。 トレンド。 「こうしたアイデアや願望の一部を大画面からモバイルに持ち込めるようになったのは、大きなテクノロジーの進歩です。」

このテクノロジーを Galaxy S9 ハードウェアに組み込むには、デバイス上で実行するために Loom.ai のアルゴリズムを再構築する必要がありました。 しかし、Loom.ai が単独で AR 絵文字を作成したわけではありません。Ramasubramanian 氏と Bhat 氏の両者は、サムスンがソフトウェアの最適化に多大な努力を注いだことを認めています。 Loom.aiの創設者らは、サムスンがスマートフォンに統合するためのSDKを提供することで、将来的にはより多くのコンテンツとカスタマイズ性のオプションを追加して、フレームワークをさらに充実させることができると考えている。

Galaxy S9 がデジタル アバターを作成する方法

では、S9 (そして S9プラス) AR 絵文字を作成しますか? サムスンはその秘密のソースを明らかにしなかったが、Digital Trends に内部の様子を提供した。

Loom.ai のテクノロジーを利用して、携帯電話のカメラが 2D 画像をキャプチャして 3D に処理します。 これをさらに強化するために、S9 は追加のソフトウェア (顔追跡とサムスンのブレンド シェイプ テクノロジー) を使用して、AR 絵文字に顔の表情を提供します。

すると、喜びや楽しみから悲しみや怒りまで、18 種類の異なる表情 (サムスンは徐々に 54 種類まで拡張する予定) を表現できる、漫画のような自分自身が残ります。 すべてのデータもデバイスのローカルにあり、他の場所には保存されません。

両方が連携して動作する顔追跡テクノロジーは、100 を超える顔の特徴 (ウインクや笑顔など) をリアルタイムで追跡してキャプチャします。 ブレンド シェイプは、人間の 75 の基本的な感情に基づいて表現をブレンドし、より広範囲の感情を表現するのに役立ちます。 顔の特徴。 サムスンによれば、ブレンド・シェイプに関しては、ユーザーを魅了する十分なデータがあることを確認するために、自社の研究所内で毎週少なくとも100回のテストを実施したという。 (ブレンド シェイプは、ミッキー マウスやミニー マウスなどのディズニー AR 絵文字の作成にも使用されます。)

私たち自身の AR絵文字テスト、私たちの大多数は、自分のキャラクターが非常に不正確に見えると感じました。 あるライターは、肌の色の選択肢が不足しており、濃い肌の色を選ぶことができないと感じていました。 他の人は、自分の AR 絵文字が自分に似ていないと感じ、アバターの編集が楽しい作業というよりも面倒な作業のように感じました。

Loom.ai によると、正確な AR 絵文字の作成はセルフィーの撮影方法に大きく依存します。 ユーザーはパスポートの写真を撮るのと同じように写真を撮る必要があります。 「均一な照明、顔を覆うものがなく、後から表情を追加できるようにニュートラルな表情が必要です」とラマスブラマニアン氏は説明しました。 「人々がそれに少し慣れてから、それをアニメーション化して使用する可能性を理解することが重要です。」

ラマスブラマニアン氏はまた、ユーザーは自撮り写真を撮るときと同じように扱うべきだと述べた。つまり、写真に満足するまで何枚も写真を撮ってもよいということだ。 AR絵文字では複数のアバターを作成できるので、比較して好みのアバターを見つけることができます。 作成したそれぞれのバージョンは携帯電話にも保存されるため、気分に応じて使用するバージョンを切り替えることができます。

AR絵文字の最新アップデートには、追加のヘアスタイル、ヒジャブなどの帽子、その他のオプションが含まれています。 このアップデートは現在、ロックされていないバージョンの サムスンギャラクシーS9 韓国、中国、ヨーロッパではS9 Plus。 ヨーロッパの通信事業者のデバイスと米国のロック解除されたデバイスでは、今週中にアップデートをダウンロードできるようになります。 米国の通信事業者デバイス向けのアップデートは、今後数週間のうちに展開される予定です。 サムスンは、AR絵文字は今後も進化し続けるとしているが、現時点では正確な詳細については口を閉ざしている。

編集者のおすすめ

• Samsung が Galaxy Unpacked の 3 つの大きなティーザーを提供しました
• ASUSの最新AndroidスマートフォンはGalaxy S23 Ultraにとって大きな脅威となる可能性がある
• Samsung Galaxy Tab S9 Plusの最初の外観は次のとおりです
• サムスンはギャラクシーS10を廃止したかもしれない
• サムスンのGalaxy Tab S9はiPadにはない機能を搭載するかもしれない