Ik gebruikte een app om ongelooflijke 3D-modellen te maken met mijn iPhone

Het innovatietempo bij het genereren van kunstmatige intelligentie-beelden is fenomenaal. Eén bedrijf – Luma Labs – biedt een uitstekend voorbeeld van een praktisch, maar enorm vermakelijk gebruik van de nieuwste technologie toegepast op 3D-beelden.

Luma AI bevindt zich in bètatests op de iPhone en zal uiteindelijk beschikbaar worden gemaakt op Android ook. Ik ben in de bètatestgroep gekomen en kan wat informatie delen over wat deze geweldige app doet en hoe gemakkelijk het is om ongelooflijke resultaten te behalen.

Wat is Luma AI?

Luma AI is een app en een dienst ontwikkeld door Luma Labs. Het legt driedimensionale beelden vast met behulp van een techniek die bekend staat als Neural Radiance Fields (NeRF). Het is vergelijkbaar met de ray-tracing-techniek die ervoor zorgt dat de graphics in high-end gaming er zo realistisch uitzien.

NeRF's bestaan ​​al een paar jaar, maar bestonden tot voor kort voornamelijk in onderzoeksfaciliteiten. Met de explosie van Generatie van AI-afbeeldingen, met als kop fotorealistische Dall-E-weergavenbeginnen NeRF's door een veel breder publiek te worden verkend. De eerste golf nieuwe NeRF-software vereiste enige ontwikkelaarsvaardigheden softwarepakketten van GitHub installeren, en train vervolgens de A.I. op een reeks foto's. Het was een beetje veel voor de gemiddelde persoon.

Luma Labs staat op het punt het proces dramatisch eenvoudiger te maken met zijn Luma AI-app. Van begin tot eind kan het hele proces vanaf een iPhone worden beheerd en is het eindresultaat ook beter toegankelijk.

Luma AI iPhone-compatibiliteit

Omdat Apple er een punt van maakte de 3D-dieptemeetmogelijkheden van LiDAR-sensoren te demonstreren, zou je verwachten dat Luma AI de duurdere iPhone 14 Pro of iPhone 14 Pro Max om 3D-modellen vast te leggen. De slimme ontwikkelaars van Luma Labs gebruiken echter kunstmatige intelligentie. Dat maakt deze technologie compatibel met iPhones zo oud als de iPhone 11.

In de toekomst zal de app beschikbaar komen op Android en er is ook al een webversie in bètatesting. In een interview zei Amit Jain, CEO van Luma Labs, dat de iPhone-app naar verwachting binnen een paar weken klaar zal zijn voor publieke release.

Hoe Luma AI te gebruiken

Om Luma AI te gebruiken, cirkel je eenvoudigweg langzaam rond een object op drie verschillende hoogtes. Een AR-overlay begeleidt u door het proces, dat een paar minuten duurt en na een paar pogingen gemakkelijker wordt naarmate u vertrouwd raakt met het proces. Binnenkort kun je binnen een paar minuten een middelgroot object, zoals een stoel, vastleggen.

Objecten van elk formaat kunnen worden verwerkt, omdat het voor Luma AI slechts een reeks afbeeldingen is, hoe groot het onderwerp ook is. Als je een kopje, een standbeeld of een gebouw omcirkelt, blijft het algemene idee hetzelfde.

De app laat je weten wanneer er voldoende afbeeldingen zijn en wanneer dat gebeurt, verschijnt er een knop Voltooien. Je kunt ook blijven cirkelen en het opvullen van gaten in de AR-wolk van ringen en rechthoeken die de tot nu toe gemaakte foto's vertegenwoordigen. De app stopt automatisch met het vastleggen wanneer een ideaal aantal foto's is verzameld. Er is ook een freeform-modus waarmee u nog meer foto's kunt maken, vanuit verschillende hoeken en afstanden. Je kunt het proces zien in de YouTube-video die ik hieronder heb gemaakt. Het is een iPhone-app, dus het is een portretvideo.

Verwerking is de volgende stap, die plaatsvindt op de servers van Luma Labs. Na ongeveer een uur zal de voltooide NeRF in verschillende vormen beschikbaar zijn in de app. De eerste weergave is een gegenereerde video, waarin een vlucht langs het object in zijn natuurlijke omgeving wordt getoond. Een interactieve versie volgt en laat je de weergave draaien door een vinger of muis over de afbeelding te slepen.

Het meest indrukwekkende van alles is dat het onderwerp van de opname, uit de achtergrond gehaald, ook beschikbaar is. Met deze weergave kunt u het 3D-object op elke as draaien en inzoomen om het beter te bekijken. De scherpte hangt af van hoeveel beelden er zijn verzameld en hoe langzaam en stabiel je was tijdens het opnameproces.

Wordt steeds beter

Luma Labs is de app en service in een opmerkelijk tempo aan het updaten. Binnen een week na ontvangst van de uitnodiging voor de bètatest werden twee krachtige nieuwe functies toegevoegd die de mogelijkheden enorm uitbreiden. De eerste is een optie voor webupload waarmee u video kunt opnemen zonder de app en deze vervolgens kunt uploaden naar de Luma Labs-website voor verwerking. De resultaten verschijnen online en in de app.

Dit betekent dat het mogelijk is om alle cameramodi van de iPhone te gebruiken, video vast te leggen met een speciale camera of zelfs video op te nemen met een AR-bril zoals Ray-Ban Stories. Een dronevideo wordt bijvoorbeeld nog epischer als je de beweging vloeiend kunt maken en van richting kunt veranderen nadat je al bent geland. Luma Labs deelde in deze tweet een goed voorbeeld van een luchtfoto van herfstbladeren.

De herfst in Palo Alto is prachtig! 🍂 https://t.co/EwNkiv0DQVpic.twitter.com/hdd7iBLYgV

— Luma AI (@LumaLabsAI) 22 oktober 2022

De andere nieuwe functie biedt mogelijkheden voor 3D-bewerking, schilderen en 3D-printen. De 3D-meshes kunnen worden geëxporteerd met texturen in OBJ- of GLTF-formaat. Ze zijn niet geoptimaliseerd, maar kunnen worden bekeken met intacte texturen, zelfs met een online viewer zoals de gratis, open-source website Online3DViewer.

Het is ook mogelijk om de 3D-bestanden te openen in een mesh-editor zoals de gratis, open-source MeshLab om eventuele verdwaalde artefacten die als zwevende blobs verschijnen te verwijderen, en om het model op te ruimen en te vereenvoudigen voordat het in verschillende formaten wordt geëxporteerd. Het hierboven afgebeelde beeldje is ongeveer acht centimeter lang en is door mijn vrouw Tracey gebeeldhouwd voor haar bedrijf. Een klein karakter. Luma AI heeft opmerkelijk veel details vastgelegd in het beeld en de boomstam waarop het rustte. Het logbestand had ook door MeshLab geselecteerd en verwijderd kunnen worden.

De hoogte- en dieptepunten van 3D-scannen

Kyle Brussell deelde een dessertdisplay van een feestje en zei dat hij de volwassenen had gevraagd op hun lekkernijen te wachten, zodat hij het als een digitaal diorama kon vastleggen.

Gebruikt @LumaLabsAI op een verjaardagsfeestje gisteravond, heb ik een stel volwassenen geen dessert laten eten, zodat ik met mijn telefoon rond de tafel kon cirkelen om een ​​3D AI-droom van de opstelling te maken als een heel cool persoon pic.twitter.com/sP0vVPB3yx

— Kyle Russell (@kylebrussell) 30 oktober 2022

Hoewel Luma AI video kan verwerken, vertrouwt het op stilstaande beelden om een ​​driedimensionale scène te construeren. Dat betekent dat als het onderwerp beweegt, dit de kwaliteit of helderheid van de opname kan verminderen. Een 3D-afbeelding van een zittende persoon, zoals weergegeven in de Tweet van Albert Bozesan, zal goed zijn. In dezelfde tweet laat de tweede opname van een sculptuur zien wat er gebeurt als er beweging is binnen de scène. Op de achtergrond zijn vervormde vormen te zien van mensen die in de buurt van het onderwerp liepen.

Nam er twee @LumaLabsAI#NeRF's bij een Beiers meer vandaag. Geweldige manier om herinneringen vast te leggen, voelt als Minority Report. #Tegernseepic.twitter.com/HLC0ekF7uD

— Albert Bozesan (@AlbertBozesan) 30 oktober 2022

Luma AI-prijs en beschikbaarheid

Luma AI bevindt zich momenteel in bètatests en er worden regelmatig uitnodigingen gegeven via die van het bedrijf Twitteren rekening. Als u een compatibele iPhone heeft en geïnteresseerd bent in deze technologie, kunt u mogelijk vroegtijdig toegang krijgen. Er is ook een wachtlijst op de Luma Labs’ website.

Luma Labs CEO Jain gaf aan dat de prijs nog moet worden bepaald en afhangt van hoe breed de gebruikersbasis blijkt te zijn en hoe de resultaten van de scans worden gebruikt. Op basis van deze uitspraken bestaat er mogelijk een professioneel abonnement met meer geavanceerde functies en een persoonlijk abonnement voor minder. Voorlopig blijft het gebruik ervan gratis.

Aanbevelingen van de redactie

• Apple kan te maken krijgen met een ‘ernstig’ iPhone 15-tekort vanwege productieproblemen, aldus het rapport
• Ik zal woedend zijn als de iPhone 15 Pro deze ene functie niet krijgt
• Ik heb geprobeerd mijn GoPro te vervangen door deze nieuwe telefoon en zijn slimme camera
• Dit kleine gadget geeft je de beste functie van de iPhone 14 voor $ 149
• Ik hoop dat Apple deze Vision Pro-functie naar de iPhone brengt

Upgrade uw levensstijlMet Digital Trends kunnen lezers de snelle technische wereld in de gaten houden met het laatste nieuws, leuke productrecensies, inzichtelijke redactionele artikelen en unieke sneak peeks.