Jeg brukte en app til å lage utrolige 3D-modeller med iPhonen min

Innovasjonstakten innen generering av kunstig intelligens er fenomenal. Ett selskap – Luma Labs – gir et utmerket eksempel på en praktisk, men likevel enormt underholdende bruk av den nyeste teknologien brukt på 3D-bilder.

Luma AI er i betatesting på iPhone og vil etter hvert gjøres tilgjengelig på Android også. Jeg kom inn i betatestgruppen og kan dele litt informasjon om hva denne fantastiske appen gjør og hvor enkelt det er å få utrolige resultater.

Hva er Luma AI?

Luma AI er en app og en tjeneste utviklet av Luma Labs. Den tar tredimensjonale bilder ved hjelp av en teknikk kjent som Neural Radiance Fields (NeRF). Det ligner på ray-tracing-teknikken som gjør at grafikken i high-end gaming ser så realistisk ut.

NeRF-er har eksistert i noen år nå, men har eksistert primært i forskningsanlegg inntil helt nylig. Med eksplosjonen av AI-bildegenerering, overskriften av fotorealistiske Dall-E-gjengivelser, NeRF-er begynner å bli utforsket av et mye bredere publikum. Den første bølgen av ny NeRF-programvare krevde noen utviklerferdigheter og installere programvarepakker fra GitHub, og trener deretter A.I. på et sett med bilder. Det var litt mye for den gjennomsnittlige personen.

Luma Labs er i ferd med å gjøre prosessen dramatisk enklere med sin Luma AI-app. Fra start til slutt kan hele prosessen styres fra en iPhone, og sluttresultatet er også mer tilgjengelig.

Luma AI iPhone-kompatibilitet

Siden Apple gjorde et poeng av å demonstrere 3D-dybdemålingsevnen til LiDAR-sensorer, kan du forvente at Luma AI krever den dyrere iPhone 14 Pro eller iPhone 14 Pro Max for å fange 3D-modeller. De smarte utviklerne ved Luma Labs bruker imidlertid kunstig intelligens i stedet. Det gjør denne teknologien kompatibel med iPhones så gamle som iPhone 11.

I fremtiden vil appen bli tilgjengelig på Android, og det er allerede en nettversjon i beta-testing også. I et intervju sa Luma Labs administrerende direktør Amit Jain at iPhone-appen forventes å være klar for offentlig utgivelse om noen uker.

Slik bruker du Luma AI

For å bruke Luma AI, sirkler du ganske enkelt sakte rundt et objekt i tre forskjellige høyder. Et AR-overlegg leder deg gjennom prosessen, som tar noen minutter og blir lettere etter noen forsøk ettersom du blir kjent med prosessen. Om ikke lenge vil du kunne fange et middels stort objekt som en stol på et par minutter.

Enhver størrelse objekt kan håndteres fordi, for Luma AI, er det bare en serie bilder - uansett hvor stort motivet er. Hvis du ringer rundt en kopp, en statue eller en bygning, forblir den generelle ideen den samme.

Appen vil gi deg beskjed når den har nok bilder, og når det skjer, vises en Fullfør-knapp. Du kan også fortsette å sirkle og fylle ut hull i AR-skyen av ringer og rektangler som representerer bildene som er tatt så langt. Appen vil automatisk stoppe opptaket når en ideell mengde bilder er samlet inn. Det er også en friformmodus som lar deg ta enda flere bilder, i forskjellige vinkler og avstander. Du kan se prosessen i YouTube-videoen jeg laget nedenfor. Det er en iPhone-app, så det er en portrettvideo.

Behandling er neste trinn, som skjer på Luma Labs sine servere. Etter en time eller så vil den ferdige NeRF være tilgjengelig i appen i flere forskjellige former. Den første visningen som er gitt er en generert video, som viser en forbiflyvning av objektet i dets naturlige miljø. En interaktiv versjon er neste og lar deg snurre visningen ved å dra en finger eller en mus over bildet.

Mest imponerende av alt, motivet for fangsten, hentet fra bakgrunnen, er også tilgjengelig. Med denne representasjonen kan du dreie 3D-objektet på en hvilken som helst akse og zoome inn for å se det nærmere. Skarpheten avhenger av hvor mange bilder som ble samlet inn og hvor treg og stabil du var under fangstprosessen.

Blir bedre hele tiden

Luma Labs oppdaterer appen og tjenesten i et bemerkelsesverdig tempo. Innen en uke etter mottak av invitasjonen til betatesten ble to kraftige nye funksjoner lagt til som utvider mulighetene betraktelig. Den første er et nettopplastingsalternativ som lar deg ta opp video uten appen, og deretter laste den opp til Luma Labs nettsted for behandling. Resultatene vises på nett og i appen.

Dette betyr at det er mulig å bruke hvilken som helst av iPhones kameramoduser, ta opp video med et dedikert kamera, eller til og med ta opp video med AR-briller som Ray-Ban Stories. For eksempel blir en dronevideo enda mer episk når du kan jevne ut bevegelsen og endre retning etter at du allerede har landet. Luma Labs delte et godt eksempel som viser en luftfoto av høstløv i denne tweeten.

Høsten i Palo Alto er nydelig! 🍂 https://t.co/EwNkiv0DQVpic.twitter.com/hdd7iBLYgV

— Luma AI (@LumaLabsAI) 22. oktober 2022

Den andre nye funksjonen åpner for 3D-redigering, maling og 3D-utskriftsmuligheter. 3D-nettene kan eksporteres med teksturer i OBJ- eller GLTF-format. De er ikke optimalisert, men kan sees med teksturer intakte selv med en nettleser som det gratis, åpen kildekode-nettstedet Online3DViewer.

Det er også mulig å åpne 3D-filene i en mesh-editor som gratis, åpen kildekode MeshLab for å slette eventuelle bortkommen artefakter som vises som flytende klatter, samt rydde opp og forenkle modellen før eksport i en rekke formater. Figuren ovenfor er omtrent tre tommer høy og ble skulpturert av min kone, Tracey, for hennes virksomhet, Aliten karakter. Luma AI fanget en bemerkelsesverdig mengde detaljer i skulpturen og stokken som den hvilte på. Loggen kunne også ha blitt valgt og fjernet av MeshLab.

Høyere og laveste 3D-skanning

Kyle Brussell delte en dessertvisning fra en fest, og nevnte at han ba de voksne vente på godbitene deres slik at han kunne fange det som et digitalt diorama.

Brukt @LumaLabsAI på en bursdagsfest i går kveld, fikk en gjeng voksne til å ikke spise dessert slik at jeg kunne sirkle rundt bordet med telefonen min for å få en 3D AI til å drømme om oppsettet som en veldig kul person pic.twitter.com/sP0vVPB3yx

— Kyle Russell (@kylebrussell) 30. oktober 2022

Selv om Luma AI kan behandle video, er den avhengig av stillbilder for å konstruere en tredimensjonal scene. Det betyr at hvis motivet beveger seg, kan det redusere kvaliteten eller klarheten til opptaket. Et 3D-bilde av en person som sitter, som vist i Albert Bozesans Tweet, vil være bra. I samme tweet viser den andre fangsten av en skulptur hva som skjer når det er bevegelse i scenen. Bakgrunnen viser personer som gikk i nærheten av motivet som forvrengte former.

Tok to @LumaLabsAI#NeRFs ved en bayersk innsjø i dag. Flott måte å fange minner på, føles som Minority Report. #Tegernseepic.twitter.com/HLC0ekF7uD

— Albert Bozesan (@AlbertBozesan) 30. oktober 2022

Luma AI pris og tilgjengelighet

Luma AI er for tiden i beta-testing, og invitasjoner gis med jevne mellomrom via selskapets Twitter regnskap. Hvis du har en kompatibel iPhone og er interessert i denne teknologien, kan du kanskje få tidlig tilgang. Det er også en venteliste på Luma Labs nettsted.

Luma Labs administrerende direktør Jain indikerte at prisene ennå ikke er bestemt og avhenger av hvor bred brukerbasen viser seg å være og hvordan resultatene av skanningene blir brukt. Basert på disse uttalelsene, kan det være et profesjonelt abonnement med mer avanserte funksjoner og et personlig abonnement for mindre. Foreløpig vil den forbli gratis å bruke.

Redaktørenes anbefalinger

• Apple kan møte "alvorlig" iPhone 15-mangel på grunn av produksjonsproblem, sier rapporten
• Jeg blir rasende hvis iPhone 15 Pro ikke får denne ene funksjonen
• Jeg prøvde å erstatte min GoPro med denne nye telefonen og det smarte kameraet
• Denne lille dingsen gir deg iPhone 14s beste funksjon for $149
• Jeg håper Apple bringer denne Vision Pro-funksjonen til iPhone

Oppgrader livsstilen dinDigitale trender hjelper leserne å følge med på den fartsfylte teknologiverdenen med alle de siste nyhetene, morsomme produktanmeldelser, innsiktsfulle redaksjoner og unike sniktitter.