Jag använde en app för att skapa otroliga 3D-modeller med min iPhone

Innovationstakten i bildgenerering med artificiell intelligens är fenomenal. Ett företag – Luma Labs – ger ett utmärkt exempel på en praktisk, men ändå enormt underhållande användning av den senaste tekniken som tillämpas på 3D-bilder.

Luma AI är i betatestning på iPhone och kommer så småningom att göras tillgänglig på Android också. Jag gick in i betatestgruppen och kan dela med mig av lite information om vad denna fantastiska app gör och hur lätt det är att få otroliga resultat.

Vad är Luma AI?

Luma AI är en app och en tjänst utvecklad av Luma Labs. Den fångar tredimensionella bilder med en teknik som kallas Neural Radiance Fields (NeRF). Det liknar ray-tracing-tekniken som gör att grafiken i avancerade spel ser så realistisk ut.

NeRFs har funnits i några år nu men har funnits främst i forskningsanläggningar tills helt nyligen. Med explosionen av AI-bildgenerering, med rubriken av fotorealistiska Dall-E-renderingar, NeRFs börjar utforskas av en mycket bredare publik. Den första vågen av ny NeRF-mjukvara krävde en del utvecklarkunskaper och installera mjukvarupaket från GitHuboch sedan utbilda A.I. på en uppsättning bilder. Det var lite mycket för den genomsnittliga personen.

Luma Labs är på väg att göra processen dramatiskt enklare med sin Luma AI-app. Från början till slut kan hela processen hanteras från en iPhone, och slutresultatet är också mer tillgängligt.

Luma AI iPhone-kompatibilitet

Eftersom Apple gjorde en poäng med att demonstrera 3D-djupmätningsförmågan hos LiDAR-sensorer, kan du förvänta dig att Luma AI kommer att kräva den dyrare iPhone 14 Pro eller iPhone 14 Pro Max för att fånga 3D-modeller. De smarta utvecklarna på Luma Labs använder dock artificiell intelligens istället. Det gör den här tekniken kompatibel med iPhones lika gamla som iPhone 11.

I framtiden kommer appen att bli tillgänglig på Android och det finns redan en webbversion i betatestning också. I en intervju sa Luma Labs VD Amit Jain att iPhone-appen förväntas vara klar för offentlig release om några veckor.

Hur man använder Luma AI

För att använda Luma AI cirklar du helt enkelt långsamt runt ett föremål på tre olika höjder. En AR-överlagring guidar dig genom processen, som tar några minuter och blir lättare efter några försök när du blir bekant med processen. Snart kommer du att kunna fånga ett medelstort föremål som en stol på ett par minuter.

Alla storlekar kan hanteras eftersom det enligt Luma AI bara är en serie bilder – oavsett hur stort motivet är. Om du cirklar runt en kopp, en staty eller en byggnad förblir den allmänna idén densamma.

Appen kommer att meddela dig när den har tillräckligt med bilder, och när det händer kommer en Finish-knapp att visas. Du kan också fortsätta cirkla och fylla i luckor i AR-molnet av ringar och rektanglar som representerar de bilder som tagits hittills. Appen kommer automatiskt att stoppa inspelningen när en idealisk mängd bilder har samlats in. Det finns också ett friformsläge som låter dig ta ännu fler bilder, i olika vinklar och avstånd. Du kan se processen i YouTube-videon jag skapade nedan. Det är en iPhone-app, så det är en porträttvideo.

Bearbetning är nästa steg, som sker på Luma Labs servrar. Efter någon timme kommer den färdiga NeRF att finnas tillgänglig i appen i flera olika former. Den första vyn som ges är en genererad video som visar en förbiflygning av objektet i dess naturliga miljö. En interaktiv version är nästa och låter dig snurra vyn genom att dra ett finger eller en mus över bilden.

Mest imponerande av allt, motivet för fångsten, extraherat från bakgrunden, är också tillgängligt. Med den här representationen kan du svänga 3D-objektet på valfri axel och zooma in för att se det närmare. Skärpan beror på hur många bilder som samlades in och hur långsam och stabil du var under inspelningsprocessen.

Blir bättre hela tiden

Luma Labs uppdaterar appen och tjänsten i en anmärkningsvärd takt. Inom en vecka efter mottagandet av betatestinbjudan lades två kraftfulla nya funktioner till som utökar möjligheterna kraftigt. Det första är ett webbuppladdningsalternativ som låter dig spela in video utan appen och sedan ladda upp den till Luma Labs webbplats för bearbetning. Resultaten visas online och i appen.

Det betyder att det är möjligt att använda vilket som helst av iPhones kameralägen, spela in video med en dedikerad kamera eller till och med spela in video med AR-glasögon som Ray-Ban Stories. Till exempel blir en drönarvideo ännu mer episk när du kan jämna ut rörelsen och ändra riktning efter att du redan har landat. Luma Labs delade ett bra exempel som visar en flygbild av höstlöv i denna tweet.

Hösten i Palo Alto är underbar! 🍂 https://t.co/EwNkiv0DQVpic.twitter.com/hdd7iBLYgV

— Luma AI (@LumaLabsAI) 22 oktober 2022

Den andra nya funktionen öppnar för 3D-redigering, målning och 3D-utskrift. 3D-maskorna kan exporteras med texturer i OBJ- eller GLTF-format. De är inte optimerade men kan ses med intakta texturer även med en onlinevisare som den kostnadsfria webbsidan med öppen källkod Online3DViewer.

Det är också möjligt att öppna 3D-filerna i en mesh-redigerare som den fria, öppen källkod MeshLab för att ta bort eventuella herrelösa artefakter som visas som flytande blobbar, samt rensa upp och förenkla modellen innan du exporterar i en mängd olika format. Figuren som visas ovan är cirka tre tum hög och skulpterades av min fru, Tracey, för hennes företag, En liten karaktär. Luma AI fångade en anmärkningsvärd mängd detaljer i skulpturen och stocken som den vilade på. Loggen kunde också ha valts ut och tagits bort av MeshLab.

Topparna och dalarna med 3D-skanning

Kyle Brussell delade med sig av en dessertvisning från en fest och nämnde att han bad de vuxna att vänta på deras godsaker så att han kunde fånga det som ett digitalt diorama.

Begagnade @LumaLabsAI på en födelsedagsfest igår kväll, fick ett gäng vuxna att inte äta efterrätt så jag kunde ringa runt bordet med min telefon för att få en 3D AI att drömma om installationen som en väldigt cool person pic.twitter.com/sP0vVPB3yx

— Kyle Russell (@kylebrussell) 30 oktober 2022

Även om Luma AI kan bearbeta video, förlitar den sig på stillbilder för att konstruera en tredimensionell scen. Det betyder att om motivet rör sig kan det försämra kvaliteten eller klarheten i fångsten. En 3D-bild av en person som sitter, som visas i Albert Bozesans Tweet, kommer att vara bra. I samma tweet visar den andra fångsten av en skulptur vad som händer när det finns rörelse i scenen. Bakgrunden visar personer som gick nära motivet som förvrängda former.

Tog två @LumaLabsAI#NeRFs vid en bayersk sjö idag. Bra sätt att fånga minnen, känns som Minority Report. #Tegernseepic.twitter.com/HLC0ekF7uD

— Albert Bozesan (@AlbertBozesan) 30 oktober 2022

Luma AI pris och tillgänglighet

Luma AI är för närvarande i betatestning, och inbjudningar ges med jämna mellanrum via företagets Twitter konto. Om du har en kompatibel iPhone och är intresserad av den här tekniken kanske du kan få tidig åtkomst. Det finns också en väntelista på Luma Labs hemsida.

Luma Labs VD Jain indikerade att prissättningen ännu inte har fastställts och beror på hur bred användarbasen visar sig vara och hur resultaten av skanningarna används. Baserat på dessa uttalanden kan det finnas ett professionellt abonnemang med mer avancerade funktioner och ett personligt abonnemang för mindre. Tills vidare kommer det att vara gratis att använda.

Redaktörens rekommendationer

• Apple kan möta "allvarlig" iPhone 15-brist på grund av produktionsproblem, säger rapporten
• Jag kommer att bli arg om iPhone 15 Pro inte får den här funktionen
• Jag försökte ersätta min GoPro med den här nya telefonen och dess smarta kamera
• Denna lilla gadget ger dig iPhone 14:s bästa funktion för $149
• Jag hoppas att Apple tar med sig denna Vision Pro-funktion till iPhone

Uppgradera din livsstilDigitala trender hjälper läsare att hålla koll på den snabba teknikvärlden med alla de senaste nyheterna, roliga produktrecensioner, insiktsfulla redaktioner och unika smygtittar.