Ho utilizzato un'app per creare incredibili modelli 3D con il mio iPhone

Il ritmo dell’innovazione nella generazione di immagini dell’intelligenza artificiale è fenomenale. Una società, Luma Labs, fornisce un eccellente esempio di uso pratico ma estremamente divertente della più recente tecnologia applicata alle immagini 3D.

Luma AI è in fase di beta testing su iPhone ed eventualmente sarà reso disponibile su Androide anche. Sono entrato nel gruppo di beta test e posso condividere alcune informazioni su cosa fa questa fantastica app e quanto sia facile ottenere risultati incredibili.

Cos'è Luma AI?

Luma AI è un'app e un servizio sviluppato da Luma Labs. Cattura immagini tridimensionali utilizzando una tecnica nota come Neural Radiance Fields (NeRF). È simile alla tecnica del ray-tracing che rende la grafica dei giochi di fascia alta così realistica.

I NeRF esistono ormai da alcuni anni, ma fino a tempi molto recenti esistevano principalmente nelle strutture di ricerca. Con l'esplosione di Generazione di immagini AI, caratterizzata da rendering Dall-E fotorealistici, i NeRF stanno cominciando a essere esplorati da un pubblico molto più ampio. La prima ondata di nuovo software NeRF richiedeva alcune competenze di sviluppatore e installazione di pacchetti software da GitHub, quindi addestrando l'A.I. su una serie di foto. Era un po' troppo per la persona media.

Luma Labs sta per rendere il processo notevolmente più semplice con la sua app Luma AI. Dall'inizio alla fine, l'intero processo può essere gestito da un iPhone e anche il risultato finale è più accessibile.

Compatibilità con Luma AI iPhone

Poiché Apple ha voluto dimostrare le capacità di misurazione della profondità 3D dei sensori LiDAR, ci si potrebbe aspettare che Luma AI richieda il più costoso iPhone 14Pro O iPhone 14 Pro Max per acquisire modelli 3D. Tuttavia, gli sviluppatori intelligenti di Luma Labs utilizzano invece l'intelligenza artificiale. Ciò rende questa tecnologia compatibile con iPhone vecchi quanto iPhone 11.

In futuro l’app sarà disponibile su Android ed esiste già anche una versione web in fase di beta testing. In un'intervista, il CEO di Luma Labs, Amit Jain, ha affermato che l'app per iPhone dovrebbe essere pronta per il rilascio al pubblico tra poche settimane.

Come utilizzare Luma AI

Per utilizzare Luma AI, devi semplicemente girare lentamente attorno a un oggetto a tre diverse altezze. Una sovrapposizione AR ti guida attraverso il processo, che richiede alcuni minuti e diventa più semplice dopo alcuni tentativi man mano che acquisisci familiarità con il processo. In poco tempo sarai in grado di catturare un oggetto di medie dimensioni come una sedia in un paio di minuti.

È possibile gestire oggetti di qualsiasi dimensione perché, per Luma AI, sono solo una serie di immagini, non importa quanto sia grande il soggetto. Se cerchi una tazza, una statua o un edificio, l'idea generale rimane la stessa.

L'app ti avviserà quando avrà abbastanza immagini e, quando ciò accadrà, verrà visualizzato un pulsante Fine. Puoi anche continuare a girare e riempiendo le lacune nella nuvola AR di anelli e rettangoli che rappresentano le foto scattate finora. L'app interromperà automaticamente l'acquisizione quando sarà stata raccolta una quantità ideale di foto. C'è anche una modalità a mano libera che ti consente di catturare ancora più foto, da diverse angolazioni e distanze. Puoi vedere il processo nel video di YouTube che ho creato di seguito. È un'app per iPhone, quindi è un video con ritratto.

L’elaborazione è il passaggio successivo, che avviene sui server di Luma Labs. Dopo circa un'ora, il NeRF finito sarà disponibile nell'app in diverse forme. La prima vista fornita è un video generato, che mostra un sorvolo dell'oggetto nel suo ambiente naturale. Segue una versione interattiva che ti consente di ruotare la vista trascinando un dito o il mouse sull'immagine.

La cosa più impressionante è che è disponibile anche il soggetto dello scatto, estratto dallo sfondo. Con questa rappresentazione puoi ruotare l'oggetto 3D su qualsiasi asse e ingrandirlo per vederlo più da vicino. La nitidezza dipende dal numero di immagini raccolte e da quanto lento e stabile sei stato durante il processo di acquisizione.

Migliorare continuamente

Luma Labs sta aggiornando l'app e il servizio a un ritmo notevole. Entro una settimana dalla ricezione dell'invito al beta test, sono state aggiunte due nuove potenti funzionalità che ampliano notevolmente le possibilità. La prima è un'opzione di caricamento sul Web che ti consente di acquisire video senza l'app, quindi caricarli sul sito Web di Luma Labs per l'elaborazione. I risultati vengono visualizzati online e nell'app.

Ciò significa che è possibile utilizzare qualsiasi modalità fotocamera dell'iPhone, acquisire video con una fotocamera dedicata o persino registrare video con occhiali AR come Ray-Ban Stories. Ad esempio, un video con un drone diventa ancora più epico quando puoi fluidificare il movimento e cambiare direzione dopo essere già atterrato. Luma Labs ha condiviso in questo tweet un buon esempio che mostra una veduta aerea delle foglie autunnali.

L'autunno a Palo Alto è stupendo! 🍂 https://t.co/EwNkiv0DQVpic.twitter.com/hdd7iBLYgV

— LumaAI (@LumaLabsAI) 22 ottobre 2022

L’altra nuova funzionalità apre opportunità di editing 3D, pittura e stampa 3D. Le mesh 3D possono essere esportate con texture in formato OBJ o GLTF. Non sono ottimizzati ma possono essere visualizzati con texture intatte anche con un visualizzatore online come il sito Web open source gratuito Visualizzatore 3D online.

È anche possibile aprire i file 3D in un editor mesh come quello gratuito e open source MeshLab per eliminare eventuali artefatti vaganti che appaiono come blob fluttuanti, nonché ripulire e semplificare il modello prima di esportarlo in una varietà di formati. La statuina qui sopra è alta circa sette centimetri ed è stata scolpita da mia moglie Tracey per la sua attività. Un piccolo personaggio. Luma AI ha catturato una notevole quantità di dettagli nella scultura e nel tronco su cui poggiava. Il registro potrebbe essere stato selezionato e rimosso anche da MeshLab.

Gli alti e bassi della scansione 3D

Kyle Brussell ha condiviso un'esposizione di dolci da una festa, menzionando che ha chiesto agli adulti di aspettare i loro dolcetti in modo da poterli catturare come un diorama digitale.

Usato @LumaLabsAI ieri sera, a una festa di compleanno, ho costretto un gruppo di adulti a non mangiare il dessert, così ho potuto girare attorno al tavolo con il mio telefono per far sognare l'installazione con un'intelligenza artificiale 3D come una persona davvero interessante pic.twitter.com/sP0vVPB3yx

— Kyle Russell (@kylebrussell) 30 ottobre 2022

Sebbene Luma AI possa elaborare video, si basa su immagini fisse per costruire una scena tridimensionale. Ciò significa che se il soggetto si muove, potrebbe ridurre la qualità o la chiarezza della cattura. Un’immagine 3D di una persona seduta, come mostrato nel Tweet di Albert Bozesan, andrà bene. Nello stesso tweet, la seconda cattura di una scultura mostra cosa succede quando c'è movimento all'interno della scena. Lo sfondo mostra le persone che camminavano vicino al soggetto come forme distorte.

Ne ho presi due @LumaLabsAI#NeRF da un lago bavarese oggi. Ottimo modo per catturare ricordi, sembra Minority Report. #Tegernseepic.twitter.com/HLC0ekF7uD

— Albert Bozesan (@AlbertBozesan) 30 ottobre 2022

Prezzo e disponibilità di Luma AI

Luma AI è attualmente in fase di beta testing e gli inviti vengono periodicamente forniti tramite l'azienda Twitter account. Se hai un iPhone compatibile e sei interessato a questa tecnologia, potresti riuscire a ottenere l'accesso anticipato. C'è anche una lista d'attesa su Luma Labs sito web.

Jain, CEO di Luma Labs, ha indicato che i prezzi devono ancora essere determinati e dipendono da quanto ampia sarà la base di utenti e da come verranno utilizzati i risultati delle scansioni. In base a queste affermazioni potrebbe esserci un abbonamento professionale con funzionalità più avanzate e un abbonamento personale con un prezzo inferiore. Per il momento il suo utilizzo rimarrà gratuito.

Raccomandazioni degli editori

• Apple potrebbe dover affrontare una “grave” carenza di iPhone 15 a causa di problemi di produzione, afferma il rapporto
• Sarei furioso se l’iPhone 15 Pro non avesse questa funzionalità
• Ho provato a sostituire la mia GoPro con questo nuovo telefono e la sua fotocamera intelligente
• Questo piccolo gadget ti offre la migliore funzionalità dell'iPhone 14 per $ 149
• Spero che Apple porti questa funzionalità Vision Pro su iPhone

Migliora il tuo stile di vitaDigital Trends aiuta i lettori a tenere d'occhio il frenetico mondo della tecnologia con tutte le ultime notizie, divertenti recensioni di prodotti, editoriali approfonditi e anteprime uniche nel loro genere.