Usé una aplicación para crear increíbles modelos 3D con mi iPhone

El ritmo de innovación en la generación de imágenes de inteligencia artificial es fenomenal. Una empresa, Luma Labs, ofrece un excelente ejemplo de un uso práctico, pero enormemente entretenido, de la última tecnología aplicada a imágenes 3D.

Luma IA está en prueba beta en el iPhone y eventualmente estará disponible en Androide también. Entré en el grupo de prueba beta y puedo compartir información sobre lo que hace esta increíble aplicación y lo fácil que es obtener resultados increíbles.

¿Qué es Luma AI?

Luma AI es una aplicación y un servicio desarrollado por Luma Labs. Captura imágenes tridimensionales utilizando una técnica conocida como Neural Radiance Fields (NeRF). Es similar a la técnica de trazado de rayos que hace que los gráficos de los juegos de alta gama parezcan tan realistas.

Los NeRF existen desde hace algunos años, pero hasta hace muy poco han existido principalmente en instalaciones de investigación. Con la explosión de Generación de imágenes mediante IA, encabezada por representaciones fotorrealistas de Dall-E, los NeRF están comenzando a ser explorados por una audiencia mucho más amplia. La primera ola de nuevo software NeRF requirió algunas habilidades de desarrollador y instalar paquetes de software desde GitHub, luego entrenando la A.I. en un conjunto de fotografías. Fue un poco excesivo para la persona promedio.

Luma Labs está a punto de simplificar drásticamente el proceso con su aplicación Luma AI. De principio a fin, todo el proceso se puede gestionar desde un iPhone y el resultado final también es más accesible.

Compatibilidad con Luma AI para iPhone

Dado que Apple se propuso demostrar las capacidades de medición de profundidad 3D de los sensores LiDAR, se podría esperar que Luma AI requiera el más caro. iPhone 14 Pro o iPhone 14 Pro Max para capturar modelos 3D. Sin embargo, los inteligentes desarrolladores de Luma Labs utilizan en su lugar inteligencia artificial. Eso hace que esta tecnología sea compatible con iPhones tan antiguos como el iPhone 11.

En el futuro, la aplicación estará disponible en Android y ya hay una versión web en prueba beta también. En una entrevista, el director ejecutivo de Luma Labs, Amit Jain, dijo que se espera que la aplicación para iPhone esté lista para su lanzamiento público en unas pocas semanas.

Cómo utilizar Luma AI

Para usar Luma AI, simplemente gira lentamente alrededor de un objeto a tres alturas diferentes. Una superposición de AR lo guía a través del proceso, que lleva unos minutos y se vuelve más fácil después de algunos intentos a medida que se familiariza con el proceso. En poco tiempo, podrás capturar un objeto de tamaño mediano, como una silla, en un par de minutos.

Se pueden manipular objetos de cualquier tamaño porque, para Luma AI, es solo una serie de imágenes, sin importar cuán grande sea el sujeto. Si rodeas una taza, una estatua o un edificio, la idea general sigue siendo la misma.

La aplicación te avisará cuando tenga suficientes imágenes y, cuando eso suceda, aparecerá un botón Finalizar. También puedes seguir dando vueltas y rellenar huecos en la nube AR de anillos y rectángulos que representan las fotografías tomadas hasta el momento. La aplicación detendrá automáticamente la captura cuando se haya recopilado una cantidad ideal de fotos. También hay un modo de forma libre que te permite capturar aún más fotografías, en diferentes ángulos y distancias. Puedes ver el proceso en el vídeo de YouTube que creé a continuación. Es una aplicación para iPhone, por lo que es un vídeo de retrato.

El procesamiento es el siguiente paso, que ocurre en los servidores de Luma Labs. Después de aproximadamente una hora, el NeRF terminado estará disponible en la aplicación en varias formas diferentes. La primera vista proporcionada es un vídeo generado que muestra un sobrevuelo del objeto en su entorno natural. La siguiente es una versión interactiva que le permite girar la vista arrastrando un dedo o el mouse sobre la imagen.

Lo más impresionante de todo es que el tema de la captura, extraído del fondo, también está disponible. Con esta representación, puede girar el objeto 3D en cualquier eje y acercarlo para verlo más de cerca. La nitidez depende de cuántas imágenes se recopilaron y de qué tan lento y estable fue durante el proceso de captura.

mejorando todo el tiempo

Luma Labs está actualizando la aplicación y el servicio a un ritmo notable. Una semana después de recibir la invitación a la prueba beta, se agregaron dos potentes funciones nuevas que amplían enormemente las posibilidades. La primera es una opción de carga web que le permite capturar videos sin la aplicación y luego cargarlos en el sitio web de Luma Labs para procesarlos. Los resultados aparecen en línea y en la aplicación.

Esto significa que es posible utilizar cualquiera de los modos de cámara del iPhone, capturar vídeo con una cámara dedicada o incluso grabar vídeo con gafas AR como Ray-Ban Stories. Por ejemplo, un vídeo de un dron se vuelve aún más épico cuando puedes suavizar el movimiento y cambiar de dirección una vez que ya has aterrizado. Luma Labs compartió un buen ejemplo que muestra una vista aérea de las hojas de otoño en este tweet.

¡El otoño en Palo Alto es maravilloso! 🍂 https://t.co/EwNkiv0DQVpic.twitter.com/hdd7iBLYgV

- Luma AI (@LumaLabsAI) 22 de octubre de 2022

La otra característica nueva abre oportunidades de edición, pintura e impresión 3D. Las mallas 3D se pueden exportar con texturas en formato OBJ o GLTF. No están optimizados, pero se pueden ver con las texturas intactas incluso con un visor en línea como el sitio web gratuito de código abierto. Visor 3D en línea.

También es posible abrir los archivos 3D en un editor de malla como el gratuito y de código abierto. Laboratorio de malla para eliminar cualquier artefacto perdido que aparezca como manchas flotantes, así como limpiar y simplificar el modelo antes de exportarlo en una variedad de formatos. La figura que se muestra arriba mide aproximadamente tres pulgadas de alto y fue esculpida por mi esposa, Tracey, para su negocio. Un pequeño personaje. Luma AI capturó una cantidad notable de detalles en la escultura y el tronco sobre el que descansaba. MeshLab también podría haber seleccionado y eliminado el registro.

Los altibajos del escaneo 3D

Kyle Brussell compartió una exhibición de postres de una fiesta y mencionó que pidió a los adultos que esperaran sus delicias para poder capturarlos como un diorama digital.

Usado @LumaLabsAI Anoche, en una fiesta de cumpleaños, hice que un grupo de adultos no comieran postre para poder rodear la mesa con mi teléfono y hacer que una IA 3D sueñe con la configuración como una persona genial. pic.twitter.com/sP0vVPB3yx

—Kyle Russell (@kylebrussell) 30 de octubre de 2022

Aunque Luma AI puede procesar vídeo, se basa en imágenes fijas para construir una escena tridimensional. Eso significa que si el sujeto se mueve, podría reducir la calidad o claridad de la captura. Una imagen en 3D de una persona sentada, como se muestra en el Tweet de Albert Bozesan, será buena. En el mismo tweet, la segunda captura de una escultura muestra lo que sucede cuando hay movimiento dentro de la escena. El fondo muestra personas que caminaban cerca del sujeto como formas distorsionadas.

tomó dos @LumaLabsAI#NeRF hoy junto a un lago bávaro. Excelente manera de capturar recuerdos, se siente como Minority Report. #Tegernseepic.twitter.com/HLC0ekF7uD

—Albert Bozesan (@AlbertBozesan) 30 de octubre de 2022

Precio y disponibilidad de Luma AI

Luma AI se encuentra actualmente en pruebas beta y periódicamente se envían invitaciones a través del sitio web de la compañía. Gorjeo cuenta. Si tiene un iPhone compatible y está interesado en esta tecnología, es posible que pueda obtener acceso anticipado. También hay una lista de espera en el Laboratorios Luma sitio web.

Jain, director ejecutivo de Luma Labs, indicó que el precio aún no se ha determinado y depende de qué tan amplia sea la base de usuarios y cómo se utilicen los resultados de los escaneos. Según estas afirmaciones, podría haber una suscripción profesional con funciones más avanzadas y una suscripción personal por menos dinero. Por el momento, su uso seguirá siendo gratuito.

Recomendaciones de los editores

• Apple puede enfrentar una escasez "grave" de iPhone 15 por un problema de producción, según un informe
• Estaré furioso si el iPhone 15 Pro no tiene esta característica
• Intenté reemplazar mi GoPro con este nuevo teléfono y su cámara inteligente
• Este pequeño dispositivo te ofrece la mejor característica del iPhone 14 por $149
• Espero que Apple lleve esta función Vision Pro al iPhone

Mejora tu estilo de vidaDigital Trends ayuda a los lectores a mantenerse al tanto del vertiginoso mundo de la tecnología con las últimas noticias, reseñas divertidas de productos, editoriales interesantes y adelantos únicos.