Uporabil sem aplikacijo za ustvarjanje neverjetnih 3D modelov s svojim iPhoneom

Hitrost inovacij pri ustvarjanju slik z umetno inteligenco je fenomenalna. Eno podjetje – Luma Labs – ponuja odličen primer praktične, a zelo zabavne uporabe najnovejše tehnologije, uporabljene za 3D slike.

Luma AI je v beta testiranju za iPhone in bo sčasoma na voljo na Android prav tako. Prišel sem v skupino za testiranje beta in lahko delim nekaj informacij o tem, kaj počne ta neverjetna aplikacija in kako preprosto je doseči neverjetne rezultate.

Kaj je Luma AI?

Luma AI je aplikacija in storitev, ki jo je razvil Luma Labs. Zajame tridimenzionalne slike s tehniko, znano kot Neural Radiance Fields (NeRF). Podobno je tehniki sledenja žarkom, zaradi katere je grafika v vrhunskih igrah videti tako realistična.

NeRF obstajajo že nekaj let, vendar so do nedavnega obstajali predvsem v raziskovalnih ustanovah. Z eksplozijo Generiranje slik z umetno inteligenco, na čelu s fotorealističnimi upodobitvami Dall-E, NeRF-je začenja raziskovati veliko širše občinstvo. Prvi val nove programske opreme NeRF je zahteval nekaj veščin razvijalca in namestitev programskih paketov iz GitHub, nato usposabljanje A.I. na nizu fotografij. Za povprečnega človeka je bilo malo.

Luma Labs bo s svojo aplikacijo Luma AI postopek bistveno poenostavila. Od začetka do konca je celoten postopek mogoče upravljati z iPhona, končni rezultat pa je tudi bolj dostopen.

Luma AI Združljivost iPhone

Ker si je Apple prizadeval pokazati zmožnosti 3D merjenja globine senzorjev LiDAR, lahko pričakujete, da bo Luma AI zahteval dražje iPhone 14 Pro oz iPhone 14 Pro Max za zajemanje 3D modelov. Vendar pametni razvijalci pri Luma Labs namesto tega uporabljajo umetno inteligenco. Zaradi tega je ta tehnologija združljiva z iPhoni, starimi kot iPhone 11.

V prihodnosti bo aplikacija na voljo v sistemu Android in že obstaja tudi spletna različica v beta testiranju. V intervjuju je izvršni direktor Luma Labs Amit Jain dejal, da naj bi bila aplikacija za iPhone pripravljena za javno objavo v nekaj tednih.

Kako uporabljati Luma AI

Za uporabo Luma AI preprosto počasi krožite okoli predmeta na treh različnih višinah. Prekrivanje AR vas vodi skozi postopek, ki traja nekaj minut in postane lažji po nekaj poskusih, ko se seznanite s postopkom. Kmalu boste lahko v nekaj minutah posneli srednje velik predmet, kot je stol.

Obdelovati je mogoče objekte katere koli velikosti, ker je za Luma AI le serija slik – ne glede na to, kako velik je predmet. Če obkrožite skodelico, kip ali zgradbo, splošna ideja ostane enaka.

Aplikacija vas bo obvestila, ko bo imela dovolj slik, in ko se to zgodi, se prikaže gumb Dokončaj. Lahko tudi nadaljujete s kroženjem in zapolnjevanje vrzeli v AR oblaku obročev in pravokotnikov ki predstavljajo do sedaj posnete fotografije. Aplikacija bo samodejno ustavila zajem, ko bo zbrana idealna količina fotografij. Obstaja tudi način proste oblike, ki vam omogoča, da posnamete še več fotografij pod različnimi koti in razdaljami. Postopek si lahko ogledate v videu YouTube, ki sem ga ustvaril spodaj. To je aplikacija za iPhone, torej portretni video.

Obdelava je naslednji korak, ki se zgodi na strežnikih Luma Labs. Po kakšni uri bo dokončan NeRF na voljo v aplikaciji v več različnih oblikah. Prvi podani pogled je ustvarjen videoposnetek, ki prikazuje prelet predmeta v njegovem naravnem okolju. Naslednja je interaktivna različica, ki vam omogoča vrtenje pogleda tako, da povlečete prst ali miško po sliki.

Najbolj impresivno od vsega je, da je na voljo tudi subjekt posnetka, izvlečen iz ozadja. S to predstavitvijo lahko 3D-predmet zasukate na kateri koli osi in ga povečate, da ga vidite pobliže. Ostrina je odvisna od tega, koliko slik je bilo zbranih in kako počasni in stabilni ste bili med postopkom zajemanja.

Vedno boljši

Luma Labs posodablja aplikacijo in storitev z izjemno hitrostjo. V enem tednu po prejemu povabila k preizkusu beta sta bili dodani dve zmogljivi novi funkciji, ki močno razširita možnosti. Prva je možnost spletnega nalaganja, ki vam omogoča, da posnamete video brez aplikacije, nato pa ga naložite na spletno mesto Luma Labs za obdelavo. Rezultati so prikazani na spletu in v aplikaciji.

To pomeni, da je mogoče uporabiti kateri koli način kamere v iPhonu, zajemati video z namensko kamero ali celo snemati video z očali AR, kot je Ray-Ban Stories. Na primer, video posnetek z dronom postane še bolj epski, ko lahko zgladite gibanje in spremenite smer, ko ste že pristali. Luma Labs je v tem tvitu delil dober primer, ki prikazuje pogled jesenskega listja iz zraka.

Jesen v Palo Altu je čudovita! 🍂 https://t.co/EwNkiv0DQVpic.twitter.com/hdd7iBLYgV

— Luma AI (@LumaLabsAI) 22. oktober 2022

Druga nova funkcija odpira priložnosti za 3D urejanje, slikanje in 3D tiskanje. 3D mreže je mogoče izvoziti s teksturami v formatu OBJ ali GLTF. Niso optimizirani, vendar si jih je mogoče ogledati z nedotaknjenimi teksturami tudi s spletnim pregledovalnikom, kot je brezplačno odprtokodno spletno mesto Spletni 3DViewer.

3D-datoteke je mogoče odpreti tudi v urejevalniku mrež, kot je brezplačen, odprtokodni MeshLab za brisanje vseh potepuških artefaktov, ki se pojavljajo kot lebdeče madeže, ter za čiščenje in poenostavitev modela pred izvozom v različne formate. Zgoraj prikazana figurica je visoka približno tri centimetre in jo je izklesala moja žena Tracey za svoje podjetje, ALittleCharacter. Luma AI je ujel izjemno količino podrobnosti v skulpturi in deblu, na katerem je ležala. Dnevnik bi lahko izbral in odstranil tudi MeshLab.

Prednosti in slabosti 3D skeniranja

Kyle Brussell je delil prikaz sladic z zabave in omenil, da je prosil odrasle, naj počakajo na svoje poslastice, da jih je lahko posnel kot digitalno dioramo.

Rabljeno @LumaLabsAI na rojstnodnevni zabavi sinoči sem preprečil, da bi skupina odraslih jedla sladice, da sem lahko s telefonom krožil po mizi, da bi 3D AI sanjal o postavitvi kot zelo kul oseba pic.twitter.com/sP0vVPB3yx

— Kyle Russell (@kylebrussell) 30. oktober 2022

Čeprav lahko Luma AI obdeluje video, se za ustvarjanje tridimenzionalne scene opira na fotografije. To pomeni, da če se predmet premakne, lahko zmanjša kakovost ali jasnost zajema. 3D-podoba osebe, ki sedi, kot je prikazano v tvitu Alberta Bozesana, bo dobra. V istem tvitu drugi posnetek skulpture prikazuje, kaj se zgodi, ko se znotraj scene premika. Ozadje prikazuje ljudi, ki so hodili blizu motiva, kot popačene oblike.

Vzel dva @LumaLabsAI#NeRFs danes ob bavarskem jezeru. Odličen način za zajemanje spominov, zdi se kot Minority Report. #Tegernseepic.twitter.com/HLC0ekF7uD

— Albert Bozesan (@AlbertBozesan) 30. oktober 2022

Cena in razpoložljivost Luma AI

Luma AI je trenutno v fazi testiranja beta, vabila pa se redno pošiljajo prek podjetja Twitter račun. Če imate združljiv iPhone in vas ta tehnologija zanima, boste morda lahko pridobili zgodnji dostop. Na voljo je tudi čakalna lista Luma Labs' Spletna stran.

Generalni direktor Luma Labs Jain je navedel, da cene še niso določene in so odvisne od tega, kako široka je uporabniška baza in kako se uporabljajo rezultati skeniranja. Na podlagi teh izjav lahko obstaja profesionalna naročnina z naprednejšimi funkcijami in osebna naročnina za manj. Zaenkrat bo ostala brezplačna za uporabo.

Priporočila urednikov

• Poročilo pravi, da se bo Apple morda soočil z "hudim" pomanjkanjem iPhona 15 zaradi težav s proizvodnjo
• Jezen bom, če iPhone 15 Pro ne bo dobil te funkcije
• Svojo GoPro sem poskušal zamenjati s tem novim telefonom in njegovo pametno kamero
• Ta majhen pripomoček vam ponuja najboljšo funkcijo iPhona 14 za 149 USD
• Upam, da bo Apple prinesel to funkcijo Vision Pro v iPhone

Nadgradite svoj življenjski slogDigitalni trendi bralcem pomagajo slediti hitremu svetu tehnologije z vsemi najnovejšimi novicami, zabavnimi ocenami izdelkov, pronicljivimi uvodniki in enkratnimi vpogledi v vsebine.