IPhone で素晴らしい 3D モデルを作成するアプリを使用してみました

人工知能画像生成における技術革新のペースは驚異的です。 ある企業、Luma Labs は、3D 画像に適用された最新テクノロジーの実用的でありながら非常に面白い使用法の優れた例を提供しています。

ルマAI 現在 iPhone でベータテスト中ですが、最終的には アンドロイド 同じように。 私はベータ テスト グループに参加したので、この素晴らしいアプリが何をするのか、そして驚くべき結果がいかに簡単に得られるのかについて情報を共有できます。

Luma AIとは何ですか?

Luma AI は、Luma Labs によって開発されたアプリおよびサービスです。 Neural Radiance Fields (NeRF) として知られる技術を使用して 3 次元画像をキャプチャします。 これは、ハイエンド ゲームのグラフィックスを非常にリアルに見せるレイ トレーシング技術に似ています。

NeRF は数年前から存在していましたが、ごく最近まで主に研究施設に存在していました。 の爆発とともに フォトリアリスティックな Dall-E レンダリングを中心とした AI 画像生成, NeRF は、より幅広い視聴者によって検討され始めています。 新しい NeRF ソフトウェアの最初の波には、ある程度の開発者のスキルと GitHub からソフトウェア パッケージをインストールする、次にAIをトレーニングします。 写真のセットで。 普通の人にはちょっと多かったです。

Luma Labs は、Luma AI アプリを使用してプロセスを劇的に簡素化しようとしています。 最初から最後までプロセス全体を iPhone から管理でき、最終結果にもアクセスしやすくなります。

Luma AI iPhone との互換性

Apple は LiDAR センサーの 3D 深度測定機能をデモンストレーションすることに重点を置いているため、Luma AI にはより高価なセンサーが必要になると予想されるかもしれません。 iPhone14プロ または iPhone 14 プロマックス 3D モデルをキャプチャします。 しかし、Luma Labs の賢い開発者たちは代わりに人工知能を使用しています。 そのため、このテクノロジーは iPhone 11 以降の iPhone と互換性があります。

将来的には、このアプリは Android でも利用できるようになる予定で、Web バージョンもすでにベータテスト中です。 Luma Labs CEOのアミット・ジェイン氏はインタビューで、iPhoneアプリは数週間以内に一般リリースの準備が整う予定だと語った。

Luma AIの使い方

Luma AI を使用するには、3 つの異なる高さでオブジェクトの周りをゆっくりと回転するだけです。 AR オーバーレイがプロセスをガイドします。このプロセスには数分かかりますが、プロセスに慣れると数回試すと簡単になります。 やがて、椅子などの中型のオブジェクトも数分で撮影できるようになります。

Luma AI にとって、被写体がどれほど大きくても、それは単なる一連の画像であるため、あらゆるサイズのオブジェクトを処理できます。 カップ、彫像、建物を丸で囲んでも、一般的な考え方は変わりません。

十分な画像があるとアプリが通知し、それが完了すると、[完了] ボタンが表示されます。 旋回を続けることもできます リングと長方形の AR クラウドの隙間を埋める これまでに撮影した写真を表します。 理想的な量の写真が収集されると、アプリは自動的にキャプチャを停止します。 さまざまな角度や距離でさらに多くの写真を撮影できるフリーフォーム モードもあります。 このプロセスは、私が作成した以下の YouTube ビデオで見ることができます。 iPhoneアプリなので縦長の動画です。

次のステップは処理で、Luma Labs のサーバー上で行われます。 1 時間ほど後に、完成した NeRF がいくつかの異なる形式でアプリで利用できるようになります。 最初に表示されるビューは生成されたビデオで、自然環境における物体の飛行を示しています。 次にインタラクティブ バージョンが登場し、画像上で指またはマウスをドラッグすることでビューを回転させることができます。

何よりも印象的なのは、背景から抽出したキャプチャーの被写体も利用できることです。 この表現を使用すると、3D オブジェクトを任意の軸で回転し、ズームインしてさらに詳しく見ることができます。 鮮明さは、収集された画像の数と、キャプチャ プロセス中の速度と安定度によって異なります。

どんどん良くなっていきます

Luma Labs は驚くべきペースでアプリとサービスを更新しています。 ベータ テストの招待状を受け取ってから 1 週間以内に、可能性を大きく広げる 2 つの強力な新機能が追加されました。 1 つ目は、アプリを使用せずにビデオをキャプチャし、処理のために Luma Labs の Web サイトにアップロードできる Web アップロード オプションです。 結果はオンラインとアプリに表示されます。

つまり、iPhone のカメラ モードのいずれかを使用したり、専用カメラでビデオをキャプチャしたり、Ray-Ban Stories のような AR メガネを使用してビデオを録画したりすることもできます。 たとえば、着陸後に動きを滑らかにして方向を変えると、ドローンのビデオがさらに壮大なものになります。 Luma Labs は、紅葉を上空から見た良い例をこのツイートで共有しました。

パロアルトの秋は素敵ですね！ 🍂 https://t.co/EwNkiv0DQVpic.twitter.com/hdd7iBLYgV

— Luma AI (@LumaLabsAI) 2022年10月22日

もう 1 つの新機能は、3D 編集、ペイント、および 3D プリントの機会を広げます。 3D メッシュは、OBJ または GLTF 形式のテクスチャとともにエクスポートできます。 最適化されていませんが、無料のオープンソース Web サイトなどのオンライン ビューアでもテクスチャをそのまま表示できます。 オンライン3Dビューア.

無料のオープンソースのようなメッシュ エディターで 3D ファイルを開くこともできます。 メッシュラボ 浮遊ブロブとして表示される浮遊アーティファクトを削除し、さまざまな形式でエクスポートする前にモデルをクリーンアップして単純化します。 上で取り上げたフィギュアは高さ約 3 インチで、妻のトレイシーが仕事のために彫刻したものです。 小さなキャラクター. Luma AI は、彫刻とそれが置かれている丸太の驚くべき詳細をキャプチャしました。 ログは MeshLab によって選択され、削除された可能性もあります。

3D スキャンの良い点と悪い点

カイル・ブリュッセルはパーティーのデザートの展示を共有し、デジタルジオラマとして撮影できるように大人たちにお菓子を待つように頼んだと述べた。

使用済み @LumaLabsAI 昨夜の誕生日パーティーで、たくさんの大人にデザートを食べさせなかったので、携帯電話でテーブルを囲んで、3D AI が非常にクールな人のような設定の夢を作ることができました pic.twitter.com/sP0vVPB3yx

— カイル・ラッセル (@kylebrussell) 2022年10月30日

Luma AI はビデオを処理できますが、3 次元シーンの構築には静止画像を使用します。 つまり、被写体が動くと、キャプチャの品質や鮮明さが低下する可能性があります。 Albert Bozesan 氏のツイートにあるような、座っている人の 3D 画像が良いでしょう。 同じツイートの彫刻の 2 番目のキャプチャでは、シーン内で動きがあったときに何が起こるかを示しています。 背景には、被写体の近くを歩く人々が歪んだ形で表示されます。

2つかかりました @LumaLabsAI#NeRF 今日はバイエルンの湖畔で。 思い出を記録するのに最適な方法で、マイノリティ・リポートのように感じます。 #テーゲルンゼーpic.twitter.com/HLC0ekF7uD

— アルバート・ボーズサン (@AlbertBozesan) 2022年10月30日

Luma AI の価格と入手可能性

Luma AI は現在ベータテスト中であり、招待状は同社のメールアドレスを通じて定期的に送信されます。 ツイッター アカウント。 互換性のある iPhone をお持ちで、このテクノロジーに興味がある場合は、早期にアクセスできる可能性があります。 ウェイティングリストもあります ルマ研究所 Webサイト。

Luma Labs の CEO、Jain 氏は、価格はまだ決定されておらず、ユーザー ベースがどれだけ広範囲に及ぶか、またスキャン結果がどのように使用されるかによって決まると述べました。 これらの記述に基づくと、より高度な機能を備えたプロフェッショナル サブスクリプションと、より安価な個人用サブスクリプションが存在する可能性があります。 当面の間は引き続き無料でご利用いただけます。

編集者のおすすめ

• Apple、生産上の問題によりiPhone 15の「深刻な」不足に直面する可能性があると報告書が伝える
• iPhone 15 Proにこの機能がなかったら激怒するだろう
• GoPro をこの新しい携帯電話とその賢いカメラに置き換えてみました
• この小さなガジェットは、iPhone 14 の最高の機能を 149 ドルで提供します
• Apple がこの Vision Pro 機能を iPhone に導入してくれることを願っています

ライフスタイルをアップグレードするDigital Trends は、読者が最新ニュース、楽しい製品レビュー、洞察力に富んだ社説、ユニークなスニーク ピークをすべて提供して、ペースの速いテクノロジーの世界を監視するのに役立ちます。