J'ai utilisé une application pour créer d'incroyables modèles 3D avec mon iPhone

Le rythme de l’innovation dans la génération d’images d’intelligence artificielle est phénoménal. Une entreprise – Luma Labs – fournit un excellent exemple d’utilisation pratique mais extrêmement divertissante des dernières technologies appliquées aux images 3D.

Luma IA est en test bêta sur iPhone et sera éventuellement disponible sur Android aussi. Je suis entré dans le groupe de test bêta et je peux partager des informations sur ce que fait cette application étonnante et sur la facilité avec laquelle il est d'obtenir des résultats incroyables.

Qu’est-ce que Luma AI ?

Luma AI est une application et un service développés par Luma Labs. Il capture des images tridimensionnelles à l'aide d'une technique connue sous le nom de Neural Radiance Fields (NeRF). C’est similaire à la technique de lancer de rayons qui rend les graphismes des jeux haut de gamme si réalistes.

Les NeRF existent depuis quelques années maintenant, mais ils existaient principalement dans les installations de recherche jusqu'à très récemment. Avec l'explosion de Génération d'images IA, avec en tête d'affiche des rendus Dall-E photoréalistes, les NeRF commencent à être explorés par un public beaucoup plus large. La première vague de nouveaux logiciels NeRF nécessitait certaines compétences de développeur et installer des packages logiciels à partir de GitHub, puis entraînez l'A.I. sur une série de photos. C'était un peu trop pour la personne moyenne.

Luma Labs est sur le point de simplifier considérablement le processus avec son application Luma AI. Du début à la fin, l’ensemble du processus peut être géré depuis un iPhone, et le résultat final est également plus accessible.

Compatibilité Luma AI iPhone

Étant donné qu'Apple a tenu à démontrer les capacités de mesure de profondeur 3D des capteurs LiDAR, on pourrait s'attendre à ce que Luma AI nécessite le système le plus coûteux. iPhone 14 Pro ou iPhone 14 Pro Max pour capturer des modèles 3D. Cependant, les développeurs intelligents de Luma Labs utilisent plutôt l’intelligence artificielle. Cela rend cette technologie compatible avec les iPhones aussi anciens que l’iPhone 11.

À l’avenir, l’application sera disponible sur Android et il existe déjà une version Web en version bêta. Dans une interview, Amit Jain, PDG de Luma Labs, a déclaré que l'application iPhone devrait être prête à être rendue publique dans quelques semaines.

Comment utiliser Luma AI

Pour utiliser Luma AI, il vous suffit de faire le tour lentement d’un objet à trois hauteurs différentes. Une superposition AR vous guide tout au long du processus, qui prend quelques minutes et devient plus facile après quelques essais à mesure que vous vous familiarisez avec le processus. D’ici peu, vous pourrez capturer un objet de taille moyenne comme une chaise en quelques minutes.

N’importe quelle taille d’objet peut être manipulée car, pour Luma AI, il ne s’agit que d’une série d’images, quelle que soit la taille du sujet. Si vous encerclez une coupe, une statue ou un bâtiment, l'idée générale reste la même.

L'application vous indiquera quand elle aura suffisamment d'images et lorsque cela se produira, un bouton Terminer apparaîtra. Vous pouvez également continuer à encercler et combler les lacunes du nuage d'anneaux et de rectangles AR qui représentent les photos prises jusqu'à présent. L'application arrêtera automatiquement la capture lorsqu'une quantité idéale de photos aura été collectée. Il existe également un mode forme libre qui vous permet de capturer encore plus de photos, sous différents angles et distances. Vous pouvez voir le processus dans la vidéo YouTube que j'ai créée ci-dessous. C’est une application iPhone, donc c’est une vidéo portrait.

Le traitement est la prochaine étape, qui se déroule sur les serveurs de Luma Labs. Après environ une heure, le NeRF terminé sera disponible dans l'application sous plusieurs formes différentes. La première vue donnée est une vidéo générée, montrant un survol de l'objet dans son environnement naturel. Une version interactive est la suivante et vous permet de faire tourner la vue en faisant glisser un doigt ou une souris sur l'image.

Le plus impressionnant, c'est que le sujet de la capture, extrait de l'arrière-plan, est également disponible. Avec cette représentation, vous pouvez faire pivoter l'objet 3D sur n'importe quel axe et zoomer pour le voir de plus près. La netteté dépend du nombre d'images collectées et de votre lenteur et stabilité pendant le processus de capture.

S'améliorer tout le temps

Luma Labs met à jour l'application et le service à un rythme remarquable. Moins d'une semaine après avoir reçu l'invitation au test bêta, deux nouvelles fonctionnalités puissantes ont été ajoutées qui élargissent considérablement les possibilités. La première est une option de téléchargement Web qui vous permet de capturer une vidéo sans l'application, puis de la télécharger sur le site Web de Luma Labs pour traitement. Les résultats apparaissent en ligne et dans l'application.

Cela signifie qu'il est possible d'utiliser n'importe quel mode d'appareil photo de l'iPhone, de capturer des vidéos avec une caméra dédiée ou même d'enregistrer des vidéos avec des lunettes AR comme Ray-Ban Stories. Par exemple, une vidéo de drone devient encore plus épique lorsque vous pouvez fluidifier le mouvement et changer de direction après avoir déjà atterri. Luma Labs a partagé un bon exemple montrant une vue aérienne des feuilles d'automne dans ce tweet.

L'automne à Palo Alto est magnifique! 🍂 https://t.co/EwNkiv0DQVpic.twitter.com/hdd7iBLYgV

– Luma IA (@LumaLabsAI) 22 octobre 2022

L'autre nouvelle fonctionnalité ouvre des possibilités d'édition, de peinture et d'impression 3D. Les maillages 3D peuvent être exportés avec des textures au format OBJ ou GLTF. Ils ne sont pas optimisés mais peuvent être visualisés avec des textures intactes, même avec un visualiseur en ligne tel que le site Web gratuit et open source. Visionneuse 3D en ligne.

Il est également possible d'ouvrir les fichiers 3D dans un éditeur de maillage comme le logiciel gratuit et open source Laboratoire de mailles pour supprimer tous les artefacts parasites qui apparaissent sous forme de blobs flottants, ainsi que pour nettoyer et simplifier le modèle avant de l'exporter dans divers formats. La figurine présentée ci-dessus mesure environ trois pouces de hauteur et a été sculptée par ma femme, Tracey, pour son entreprise, Un petit personnage. Luma AI a capturé une quantité remarquable de détails dans la sculpture et dans la bûche sur laquelle elle reposait. Le journal aurait également pu être sélectionné et supprimé par MeshLab.

Les hauts et les bas du scan 3D

Kyle Brussell a partagé une présentation de desserts lors d'une fête, mentionnant qu'il avait demandé aux adultes d'attendre leurs friandises afin de pouvoir les capturer sous forme de diorama numérique.

Utilisé @LumaLabsAI lors d'une fête d'anniversaire hier soir, j'ai empêché un groupe d'adultes de manger du dessert pour que je puisse faire le tour de la table avec mon téléphone et faire rêver une IA 3D de la configuration comme une personne très cool pic.twitter.com/sP0vVPB3yx

– Kyle Russell (@kylebrussell) 30 octobre 2022

Bien que Luma AI puisse traiter la vidéo, elle s'appuie sur des images fixes pour construire une scène en trois dimensions. Cela signifie que si le sujet bouge, cela peut réduire la qualité ou la clarté de la capture. Une image 3D d’une personne assise, comme le montre le Tweet d’Albert Bozesan, serait bien. Dans le même tweet, la deuxième capture d’une sculpture montre ce qui se passe lorsqu’il y a du mouvement dans la scène. L'arrière-plan montre les personnes qui marchaient à proximité du sujet sous forme de formes déformées.

J'en ai pris deux @LumaLabsAI#NeRF au bord d'un lac bavarois aujourd'hui. Excellent moyen de capturer des souvenirs, on se croirait dans Minority Report. #Tegernseepic.twitter.com/HLC0ekF7uD

–Albert Bozesan (@AlbertBozesan) 30 octobre 2022

Prix ​​et disponibilité de Luma AI

Luma AI est actuellement en phase de test bêta et des invitations sont périodiquement envoyées via le site Internet de la société. Twitter compte. Si vous possédez un iPhone compatible et que vous êtes intéressé par cette technologie, vous pourrez peut-être bénéficier d'un accès anticipé. Il y a aussi une liste d'attente sur le Les laboratoires Luma site web.

Jain, PDG de Luma Labs, a indiqué que le prix n'a pas encore été déterminé et dépend de l'étendue de la base d'utilisateurs et de la manière dont les résultats des analyses sont utilisés. Sur la base de ces déclarations, il pourrait exister un abonnement professionnel avec des fonctionnalités plus avancées et un abonnement personnel moins cher. Pour le moment, son utilisation restera gratuite.

Recommandations des rédacteurs

• Apple pourrait être confronté à une « grave » pénurie d’iPhone 15 en raison d’un problème de production, selon un rapport
• Je serai furieux si l’iPhone 15 Pro ne dispose pas de cette fonctionnalité
• J'ai essayé de remplacer ma GoPro par ce nouveau téléphone et sa caméra intelligente
• Ce petit gadget vous offre la meilleure fonctionnalité de l'iPhone 14 pour 149 $
• J'espère qu'Apple apportera cette fonctionnalité Vision Pro à l'iPhone

Améliorez votre style de vieDigital Trends aide les lecteurs à garder un œil sur le monde en évolution rapide de la technologie avec toutes les dernières nouvelles, des critiques de produits amusantes, des éditoriaux perspicaces et des aperçus uniques.