Jeg brugte en app til at skabe utrolige 3D-modeller med min iPhone

Innovationstempoet inden for billedgenerering af kunstig intelligens er fænomenal. Ét firma - Luma Labs - giver et glimrende eksempel på en praktisk, men alligevel enormt underholdende brug af den nyeste teknologi anvendt til 3D-billeder.

Luma AI er i beta-test på iPhone og vil i sidste ende blive gjort tilgængelig på Android såvel. Jeg kom ind i beta-testgruppen og kan dele nogle oplysninger om, hvad denne fantastiske app gør, og hvor nemt det er at få utrolige resultater.

Hvad er Luma AI?

Luma AI er en app og en tjeneste udviklet af Luma Labs. Den optager tredimensionelle billeder ved hjælp af en teknik kendt som Neural Radiance Fields (NeRF). Det ligner ray-tracing-teknikken, der får grafikken i high-end gaming til at se så realistisk ud.

NeRF'er har eksisteret i et par år nu, men har primært eksisteret i forskningsfaciliteter indtil for ganske nylig. Med eksplosionen af Generering af AI-billeder med overskriften af ​​fotorealistiske Dall-E-gengivelser, NeRF'er begynder at blive udforsket af et meget bredere publikum. Den første bølge af ny NeRF-software krævede nogle udviklerfærdigheder og installation af softwarepakker fra GitHub, og derefter træne A.I. på et sæt billeder. Det var lidt meget for den gennemsnitlige person.

Luma Labs er ved at gøre processen dramatisk enklere med sin Luma AI-app. Fra start til slut kan hele processen styres fra en iPhone, og slutresultatet er også mere tilgængeligt.

Luma AI iPhone kompatibilitet

Da Apple gjorde et punkt for at demonstrere LiDAR-sensorernes 3D-dybdemålingsevner, kan du forvente, at Luma AI vil kræve den dyrere iPhone 14 Pro eller iPhone 14 Pro Max at fange 3D-modeller. De kloge udviklere hos Luma Labs bruger dog kunstig intelligens i stedet. Det gør denne teknologi kompatibel med iPhones så gamle som iPhone 11.

I fremtiden vil appen blive tilgængelig på Android, og der er allerede en webversion i beta-testning også. I et interview sagde Luma Labs CEO Amit Jain, at iPhone-appen forventes at være klar til offentlig udgivelse om et par uger.

Sådan bruger du Luma AI

For at bruge Luma AI cirkler du ganske enkelt langsomt rundt om et objekt i tre forskellige højder. Et AR-overlay guider dig gennem processen, som tager et par minutter og bliver lettere efter et par forsøg, efterhånden som du bliver fortrolig med processen. Inden længe vil du være i stand til at fange et mellemstort objekt som en stol på et par minutter.

Enhver størrelse objekt kan håndteres, fordi det for Luma AI kun er en serie billeder - uanset hvor stort motivet er. Hvis du kredser om en kop, en statue eller en bygning, forbliver den generelle idé den samme.

Appen vil fortælle dig, når den har nok billeder, og når det sker, vises en Afslut-knap. Du kan også blive ved med at cirkle og udfylde huller i AR-skyen af ​​ringe og rektangler der repræsenterer de billeder, der er taget indtil videre. Appen stopper automatisk optagelsen, når en ideel mængde af billeder er blevet indsamlet. Der er også en friformstilstand, der lader dig tage endnu flere billeder i forskellige vinkler og afstande. Du kan se processen i YouTube-videoen, jeg lavede nedenfor. Det er en iPhone-app, så det er en portrætvideo.

Behandling er det næste trin, som sker på Luma Labs' servere. Efter en time eller deromkring vil den færdige NeRF være tilgængelig i appen i flere forskellige former. Den første visning er en genereret video, der viser en forbiflyvning af objektet i dets naturlige miljø. En interaktiv version er næste og lader dig dreje visningen ved at trække en finger eller en mus hen over billedet.

Det mest imponerende af alt er, at motivet for optagelsen, hentet fra baggrunden, også er tilgængeligt. Med denne repræsentation kan du dreje 3D-objektet på enhver akse og zoome ind for at se det nærmere. Skarpheden afhænger af, hvor mange billeder der blev indsamlet, og hvor langsom og stabil du var under optagelsesprocessen.

Bliver hele tiden bedre

Luma Labs opdaterer appen og tjenesten i et bemærkelsesværdigt tempo. Inden for en uge efter at have modtaget invitationen til betatesten, blev der tilføjet to kraftfulde nye funktioner, som udvider mulighederne kraftigt. Den første er en weboverførselsindstilling, der giver dig mulighed for at optage video uden appen og derefter uploade den til Luma Labs hjemmeside til behandling. Resultaterne vises online og i appen.

Dette betyder, at det er muligt at bruge enhver af iPhones kameratilstande, optage video med et dedikeret kamera eller endda optage video med AR-briller som Ray-Ban Stories. For eksempel bliver en dronevideo endnu mere episk, når du kan udjævne bevægelsen og ændre retning, efter du allerede er landet. Luma Labs delte et godt eksempel, der viser en luftfoto af efterårsblade i dette tweet.

Efteråret i Palo Alto er smukt! 🍂 https://t.co/EwNkiv0DQVpic.twitter.com/hdd7iBLYgV

— Luma AI (@LumaLabsAI) 22. oktober 2022

Den anden nye funktion åbner muligheder for 3D-redigering, -maling og 3D-print. 3D-maskerne kan eksporteres med teksturer i OBJ- eller GLTF-format. De er ikke optimeret, men kan ses med teksturer intakte, selv med en online-seer som f.eks. det gratis, open source-websted Online3DViewer.

Det er også muligt at åbne 3D-filerne i en mesh-editor som den gratis open source MeshLab at slette eventuelle omstrejfende artefakter, der vises som flydende klatter, samt rydde op og forenkle modellen før eksport i en række forskellige formater. Figuren ovenfor er omkring tre tommer høj og blev skulptureret af min kone, Tracey, til hendes virksomhed, En lille karakter. Luma AI fangede en bemærkelsesværdig mængde detaljer i skulpturen og bjælken, som den hvilede på. Loggen kunne også være blevet valgt og fjernet af MeshLab.

Højde- og laveste 3D-scanning

Kyle Brussell delte en dessertudstilling fra en fest og nævnte, at han bad de voksne om at vente på deres godbidder, så han kunne fange det som et digitalt diorama.

Brugt @LumaLabsAI ved en fødselsdagsfest i aftes, fik en flok voksne til ikke at spise dessert, så jeg kunne cirkle rundt om bordet med min telefon for at få en 3D AI til at drømme om opsætningen som en meget sej person pic.twitter.com/sP0vVPB3yx

— Kyle Russell (@kylebrussell) 30. oktober 2022

Selvom Luma AI kan behandle video, er den afhængig af stillbilleder til at konstruere en tredimensionel scene. Det betyder, at hvis motivet bevæger sig, kan det reducere kvaliteten eller klarheden af ​​optagelsen. Et 3D-billede af en person, der sidder, som vist i Albert Bozesans Tweet, vil være godt. I samme tweet viser den anden optagelse af en skulptur, hvad der sker, når der er bevægelse i scenen. Baggrunden viser personer, der gik i nærheden af ​​motivet, som forvrængede former.

Tog to @LumaLabsAI#NeRF'er ved en bayersk sø i dag. Fantastisk måde at fange minder på, føles som Minority Report. #Tegernseepic.twitter.com/HLC0ekF7uD

— Albert Bozesan (@AlbertBozesan) 30. oktober 2022

Luma AI pris og tilgængelighed

Luma AI er i øjeblikket i beta-testning, og invitationer gives med jævne mellemrum via virksomhedens Twitter konto. Hvis du har en kompatibel iPhone og er interesseret i denne teknologi, kan du muligvis få tidlig adgang. Der er også en venteliste på Luma Labs' internet side.

Luma Labs CEO Jain indikerede, at prisen endnu ikke er fastlagt og afhænger af, hvor bred brugerbasen viser sig at være, og hvordan resultaterne af scanningerne bliver brugt. Baseret på disse udsagn kan der være et professionelt abonnement med mere avancerede funktioner og et personligt abonnement til mindre. Indtil videre er det gratis at bruge.

Redaktørens anbefalinger

• Apple kan stå over for "alvorlig" iPhone 15-mangel på grund af produktionsproblem, siger rapporten
• Jeg vil blive rasende, hvis iPhone 15 Pro ikke får denne ene funktion
• Jeg forsøgte at erstatte min GoPro med denne nye telefon og dens smarte kamera
• Denne lille gadget giver dig iPhone 14s bedste funktion for $149
• Jeg håber, at Apple bringer denne Vision Pro-funktion til iPhone

Opgrader din livsstilDigital Trends hjælper læserne med at holde styr på den hurtige teknologiske verden med alle de seneste nyheder, sjove produktanmeldelser, indsigtsfulde redaktionelle artikler og enestående smugkig.