Използвах приложение за създаване на невероятни 3D модели с моя iPhone

Скоростта на иновациите в генерирането на изображения с изкуствен интелект е феноменална. Една компания — Luma Labs — предоставя отличен пример за практично, но изключително забавно използване на най-новите технологии, приложени към 3D изображения.

Luma AI е в бета тестване на iPhone и в крайна сметка ще бъде достъпен на Android както добре. Попаднах в групата за бета тестване и мога да споделя малко информация за това какво прави това невероятно приложение и колко лесно е да получите невероятни резултати.

Какво е Luma AI?

Luma AI е приложение и услуга, разработена от Luma Labs. Той улавя триизмерни изображения с помощта на техника, известна като полета на невронно излъчване (Neural Radiance Fields, NeRF). Това е подобно на техниката за проследяване на лъчи, която прави графиките в игрите от висок клас да изглеждат толкова реалистични.

NeRF съществуват от няколко години, но доскоро съществуваха предимно в изследователски съоръжения. С експлозията на Генериране на изображения с изкуствен интелект, оглавено от фотореалистични изобразявания на Dall-E, NeRF започват да се изследват от много по-широка аудитория. Първата вълна от нов NeRF софтуер изисква някои умения за разработчици и инсталиране на софтуерни пакети от GitHub, след това обучение на ИИ. на набор от снимки. Беше малко за обикновения човек.

Luma Labs е на път да направи процеса драстично по-лесен със своето приложение Luma AI. От началото до края, целият процес може да се управлява от iPhone, а крайният резултат също е по-достъпен.

Luma AI iPhone съвместимост

Тъй като Apple имаше за цел да демонстрира възможностите за 3D измерване на дълбочина на сензорите LiDAR, може да очаквате Luma AI да изисква по-скъпите iPhone 14 Pro или iPhone 14 Pro Max за заснемане на 3D модели. Вместо това обаче умните разработчици от Luma Labs използват изкуствен интелект. Това прави тази технология съвместима с iPhone, стари като iPhone 11.

В бъдеще приложението ще стане достъпно за Android и вече има и уеб версия в бета тестване. В интервю изпълнителният директор на Luma Labs Амит Джейн каза, че приложението за iPhone се очаква да бъде готово за публично пускане след няколко седмици.

Как да използвате Luma AI

За да използвате Luma AI, просто обикаляте бавно около обект на три различни височини. AR наслагване ви води през процеса, който отнема няколко минути и става по-лесен след няколко опита, когато се запознаете с процеса. Не след дълго ще можете да заснемете средно голям обект като стол за няколко минути.

Може да се обработва обект с всякакъв размер, защото за Luma AI това е просто поредица от изображения – без значение колко голям е обектът. Ако оградите чаша, статуя или сграда, общата идея остава същата.

Приложението ще ви уведоми, когато има достатъчно изображения и когато това се случи, ще се появи бутон Finish. Можете също да продължите да кръжите и запълване на празнини в AR облака от пръстени и правоъгълници които представляват направените до момента снимки. Приложението автоматично ще спре заснемането, когато бъдат събрани идеалното количество снимки. Има и режим на свободна форма, който ви позволява да заснемате още повече снимки под различни ъгли и разстояния. Можете да видите процеса във видеоклипа в YouTube, който създадох по-долу. Това е приложение за iPhone, така че е портретно видео.

Обработката е следващата стъпка, която се случва на сървърите на Luma Labs. След около час готовият NeRF ще бъде наличен в приложението в няколко различни форми. Първият даден изглед е генериран видеоклип, показващ прелитане на обекта в естествената му среда. Следва интерактивна версия, която ви позволява да завъртите изгледа, като плъзнете пръст или мишка през изображението.

Най-впечатляващото от всичко е, че обектът на заснемането, извлечен от фона, също е наличен. С това представяне можете да завъртите 3D обекта по която и да е ос и да увеличите, за да го видите по-отблизо. Остротата зависи от това колко изображения са събрани и колко сте били бавни и стабилни по време на процеса на заснемане.

Подобрявам се през цялото време

Luma Labs актуализира приложението и услугата със забележителна скорост. В рамките на една седмица след получаване на поканата за бета тест бяха добавени две мощни нови функции, които значително разширяват възможностите. Първата е опция за качване в мрежата, която ви позволява да заснемете видео без приложението, след което да го качите на уебсайта на Luma Labs за обработка. Резултатите се показват онлайн и в приложението.

Това означава, че е възможно да използвате всеки от режимите на камерата на iPhone, да заснемате видео със специална камера или дори да записвате видео с AR очила като Ray-Ban Stories. Например, видео с дрон става още по-епично, когато можете да изгладите движението и да промените посоката, след като вече сте кацнали. Luma Labs сподели добър пример, показващ въздушен изглед на есенни листа в този туит.

Есента в Пало Алто е прекрасна! 🍂 https://t.co/EwNkiv0DQVpic.twitter.com/hdd7iBLYgV

— Luma AI (@LumaLabsAI) 22 октомври 2022 г

Другата нова функция отваря възможности за 3D редактиране, рисуване и 3D печат. 3D мрежите могат да бъдат експортирани с текстури във формат OBJ или GLTF. Те не са оптимизирани, но могат да се разглеждат с непокътнати текстури дори с онлайн програма за преглед, като безплатния уебсайт с отворен код Онлайн 3DViewer.

Също така е възможно да отворите 3D файловете в мрежест редактор като безплатния с отворен код MeshLab за изтриване на всякакви бездомни артефакти, които се появяват като плаващи петна, както и за почистване и опростяване на модела преди експортиране в различни формати. Статуетката, представена по-горе, е висока около три инча и е изваяна от жена ми, Трейси, за нейния бизнес, ALittleCharacter. Luma AI улови забележително количество детайли в скулптурата и дънера, върху който лежеше. Дневникът може да е бил избран и премахнат и от MeshLab.

Върховете и недостатъците на 3D сканирането

Кайл Брусъл сподели демонстрация на десерт от парти, като спомена, че е помолил възрастните да изчакат лакомствата си, за да може да го заснеме като цифрова диорама.

Използвани @LumaLabsAI на рожден ден снощи, накарах група възрастни да не ядат десерт, за да мога да обиколя масата с телефона си, за да накарам 3D AI да мечтае за настройката като много готин човек pic.twitter.com/sP0vVPB3yx

– Кайл Ръсел (@kylebrussell) 30 октомври 2022 г

Въпреки че Luma AI може да обработва видео, той разчита на неподвижни изображения, за да изгради триизмерна сцена. Това означава, че ако обектът се движи, това може да намали качеството или яснотата на заснемането. Триизмерно изображение на човек, който седи, както е показано в туит на Алберт Бозесан, ще бъде добро. В същия туит второто заснемане на скулптура показва какво се случва, когато в сцената има движение. Фонът показва хора, които са се приближавали до обекта като изкривени форми.

Взе две @LumaLabsAI#NeRFs край баварско езеро днес. Чудесен начин за заснемане на спомени, усеща се като Minority Report. #Тегернзееpic.twitter.com/HLC0ekF7uD

— Алберт Бозесан (@AlbertBozesan) 30 октомври 2022 г

Цена и наличност на Luma AI

Luma AI в момента е в бета тестване и периодично се дават покани чрез компанията Twitter сметка. Ако имате съвместим iPhone и се интересувате от тази технология, може да успеете да получите ранен достъп. Има и списък с чакащи на Luma Labs уебсайт.

Главният изпълнителен директор на Luma Labs Джейн посочи, че ценообразуването все още предстои да бъде определено и зависи от това колко широка е потребителската база и как се използват резултатите от сканирането. Въз основа на тези твърдения може да има професионален абонамент с по-разширени функции и личен абонамент за по-малко. Засега ще остане безплатен за използване.

Препоръки на редакторите

• Apple може да се сблъска със „сериозен“ недостиг на iPhone 15 поради проблем с производството, се казва в доклада
• Ще бъда бесен, ако iPhone 15 Pro не получи тази функция
• Опитах се да заменя GoPro с този нов телефон и неговата умна камера
• Тази малка джаджа ви дава най-добрата функция на iPhone 14 за $149
• Надявам се, че Apple предоставя тази функция Vision Pro на iPhone

Надградете начина си на животDigital Trends помага на читателите да следят забързания свят на технологиите с всички най-нови новини, забавни ревюта на продукти, проницателни редакционни статии и единствени по рода си кратки погледи.