Ich habe eine App verwendet, um mit meinem iPhone unglaubliche 3D-Modelle zu erstellen

Das Innovationstempo bei der Bilderzeugung mit künstlicher Intelligenz ist phänomenal. Ein Unternehmen – Luma Labs – bietet ein hervorragendes Beispiel für den praktischen und dennoch äußerst unterhaltsamen Einsatz der neuesten Technologie bei der Anwendung auf 3D-Bilder.

Luma KI befindet sich im Betatest auf dem iPhone und wird schließlich auf verfügbar sein Android sowie. Ich bin der Beta-Testgruppe beigetreten und kann einige Informationen darüber weitergeben, was diese erstaunliche App macht und wie einfach es ist, unglaubliche Ergebnisse zu erzielen.

Was ist Luma AI?

Luma AI ist eine App und ein Dienst, die von Luma Labs entwickelt wurden. Es erfasst dreidimensionale Bilder mithilfe einer Technik, die als Neural Radiance Fields (NeRF) bekannt ist. Es ähnelt der Raytracing-Technik, die die Grafiken bei High-End-Gaming so realistisch aussehen lässt.

NeRFs gibt es schon seit einigen Jahren, aber bis vor Kurzem waren sie hauptsächlich in Forschungseinrichtungen anzutreffen. Mit der Explosion von KI-Bilderzeugung, angeführt von fotorealistischen Dall-E-Renderings, NeRFs beginnen, von einem viel breiteren Publikum erforscht zu werden. Die erste Welle neuer NeRF-Software erforderte einige Entwicklerkenntnisse und Installieren von Softwarepaketen von GitHub, dann das Training der K.I. auf einer Reihe von Fotos. Für den Durchschnittsmenschen war es etwas viel.

Luma Labs ist dabei, den Prozess mit seiner Luma AI-App erheblich zu vereinfachen. Der gesamte Prozess kann von Anfang bis Ende über ein iPhone verwaltet werden, und auch das Endergebnis ist leichter zugänglich.

Luma AI iPhone-Kompatibilität

Da Apple Wert darauf gelegt hat, die 3D-Tiefenmessfunktionen von LiDAR-Sensoren zu demonstrieren, könnte man davon ausgehen, dass Luma AI das teurere Modell erfordert iPhone 14 Pro oder iPhone 14 Pro Max um 3D-Modelle zu erfassen. Allerdings nutzen die cleveren Entwickler von Luma Labs stattdessen künstliche Intelligenz. Dadurch ist diese Technologie mit iPhones kompatibel, die so alt sind wie das iPhone 11.

In Zukunft wird die App auch für Android verfügbar sein und es gibt auch bereits eine Webversion im Betatest. In einem Interview sagte Amit Jain, CEO von Luma Labs, dass die iPhone-App voraussichtlich in einigen Wochen zur öffentlichen Veröffentlichung bereit sein wird.

So verwenden Sie Luma AI

Um Luma AI zu nutzen, kreisen Sie einfach langsam um ein Objekt in drei verschiedenen Höhen. Ein AR-Overlay führt Sie durch den Vorgang, der einige Minuten dauert und nach ein paar Versuchen einfacher wird, wenn Sie sich mit dem Vorgang vertraut machen. Schon bald können Sie in wenigen Minuten ein mittelgroßes Objekt wie einen Stuhl aufnehmen.

Objekte jeder Größe können verarbeitet werden, da es sich für Luma AI lediglich um eine Reihe von Bildern handelt – unabhängig von der Größe des Motivs. Wenn Sie eine Tasse, eine Statue oder ein Gebäude umkreisen, bleibt die Grundidee dieselbe.

Die App informiert Sie, wenn genügend Bilder vorhanden sind. In diesem Fall wird die Schaltfläche „Fertig stellen“ angezeigt. Sie können auch weiter kreisen und Lücken in der AR-Wolke aus Ringen und Rechtecken füllen die die bisher aufgenommenen Fotos darstellen. Die App stoppt die Aufnahme automatisch, wenn die optimale Anzahl an Fotos gesammelt wurde. Es gibt auch einen Freiformmodus, mit dem Sie noch mehr Fotos aus verschiedenen Winkeln und Entfernungen aufnehmen können. Sie können den Vorgang in dem YouTube-Video sehen, das ich unten erstellt habe. Es handelt sich um eine iPhone-App, also um ein Porträtvideo.

Die Verarbeitung ist der nächste Schritt, der auf den Servern von Luma Labs erfolgt. Nach etwa einer Stunde wird das fertige NeRF in verschiedenen Formen in der App verfügbar sein. Die erste Ansicht ist ein generiertes Video, das einen Vorbeiflug des Objekts in seiner natürlichen Umgebung zeigt. Als nächstes folgt eine interaktive Version, bei der Sie die Ansicht drehen können, indem Sie mit dem Finger oder der Maus über das Bild ziehen.

Am beeindruckendsten ist, dass auch das aus dem Hintergrund extrahierte Motiv der Aufnahme verfügbar ist. Mit dieser Darstellung können Sie das 3D-Objekt um eine beliebige Achse drehen und hineinzoomen, um es genauer zu betrachten. Die Schärfe hängt davon ab, wie viele Bilder gesammelt wurden und wie langsam und stabil Sie während des Aufnahmevorgangs waren.

Es wird immer besser

Luma Labs aktualisiert die App und den Service in einem bemerkenswerten Tempo. Innerhalb einer Woche nach Erhalt der Einladung zum Betatest wurden zwei leistungsstarke neue Funktionen hinzugefügt, die die Möglichkeiten erheblich erweitern. Bei der ersten handelt es sich um eine Web-Upload-Option, mit der Sie Videos ohne die App aufnehmen und diese dann zur Verarbeitung auf die Website von Luma Labs hochladen können. Die Ergebnisse erscheinen online und in der App.

Dies bedeutet, dass es möglich ist, jeden Kameramodus des iPhones zu verwenden, Videos mit einer speziellen Kamera aufzunehmen oder sogar Videos mit AR-Brillen wie Ray-Ban Stories aufzunehmen. Beispielsweise wird ein Drohnenvideo noch epischer, wenn Sie die Bewegung glätten und die Richtung ändern können, nachdem Sie bereits gelandet sind. Luma Labs hat in diesem Tweet ein gutes Beispiel geteilt, das eine Luftaufnahme von Herbstblättern zeigt.

Der Herbst in Palo Alto ist wunderschön! 🍂 https://t.co/EwNkiv0DQVpic.twitter.com/hdd7iBLYgV

— Luma AI (@LumaLabsAI) 22. Oktober 2022

Die andere neue Funktion eröffnet Möglichkeiten zur 3D-Bearbeitung, zum Malen und zum 3D-Drucken. Die 3D-Netze können mit Texturen im OBJ- oder GLTF-Format exportiert werden. Sie sind nicht optimiert, können aber mit intakten Texturen sogar mit einem Online-Viewer wie der kostenlosen Open-Source-Website angezeigt werden Online3DViewer.

Es ist auch möglich, die 3D-Dateien in einem Mesh-Editor wie dem kostenlosen Open-Source-Editor zu öffnen MeshLab um alle verirrten Artefakte zu löschen, die als schwebende Blobs erscheinen, sowie das Modell zu bereinigen und zu vereinfachen, bevor es in verschiedene Formate exportiert wird. Die oben abgebildete Figur ist etwa sieben Zentimeter groß und wurde von meiner Frau Tracey für ihr Unternehmen geformt. Ein kleiner Charakter. Luma AI hat eine bemerkenswerte Menge an Details in der Skulptur und dem Baumstamm, auf dem sie ruhte, eingefangen. Das Protokoll könnte auch von MeshLab ausgewählt und entfernt worden sein.

Die Höhen und Tiefen des 3D-Scannens

Kyle Brussell teilte eine Dessertpräsentation von einer Party und erwähnte, dass er die Erwachsenen gebeten hatte, auf ihre Leckereien zu warten, damit er sie als digitales Diorama festhalten konnte.

Gebraucht @LumaLabsAI Bei einer Geburtstagsfeier gestern Abend habe ich ein paar Erwachsene davon abgehalten, Nachtisch zu essen, damit ich mit meinem Handy den Tisch umrunden konnte, um eine 3D-KI dazu zu bringen, wie eine sehr coole Person von der Einrichtung zu träumen pic.twitter.com/sP0vVPB3yx

— Kyle Russell (@kylebrussell) 30. Oktober 2022

Obwohl Luma AI Videos verarbeiten kann, verlässt es sich auf Standbilder, um eine dreidimensionale Szene zu erstellen. Das heißt, wenn sich das Motiv bewegt, kann dies die Qualität oder Klarheit der Aufnahme beeinträchtigen. Ein 3D-Bild einer sitzenden Person, wie in Albert Bozesans Tweet gezeigt, wäre gut. Im selben Tweet zeigt die zweite Aufnahme einer Skulptur, was passiert, wenn es Bewegung innerhalb der Szene gibt. Der Hintergrund zeigt Menschen, die sich dem Motiv näherten, als verzerrte Formen.

Nahm zwei @LumaLabsAI#NeRFs heute an einem bayerischen See. Tolle Möglichkeit, Erinnerungen festzuhalten, fühlt sich an wie Minority Report. #Tegernseepic.twitter.com/HLC0ekF7uD

— Albert Bozesan (@AlbertBozesan) 30. Oktober 2022

Preis und Verfügbarkeit von Luma AI

Luma AI befindet sich derzeit im Betatest und Einladungen werden regelmäßig über das Unternehmen verschickt Twitter Konto. Wenn Sie über ein kompatibles iPhone verfügen und Interesse an dieser Technologie haben, können Sie möglicherweise frühzeitig darauf zugreifen. Es gibt auch eine Warteliste Luma Labs‘ Webseite.

Jain, CEO von Luma Labs, gab an, dass die Preise noch festgelegt werden müssen und davon abhängen, wie breit die Benutzerbasis ist und wie die Ergebnisse der Scans verwendet werden. Basierend auf diesen Aussagen könnte es ein professionelles Abonnement mit erweiterten Funktionen und ein persönliches Abonnement für weniger Geld geben. Die Nutzung bleibt vorerst weiterhin kostenlos.

Empfehlungen der Redaktion

• Laut Bericht könnte Apple aufgrund von Produktionsproblemen mit einem „schwerwiegenden“ iPhone 15-Engpass konfrontiert sein
• Ich wäre wütend, wenn das iPhone 15 Pro diese eine Funktion nicht bekommt
• Ich habe versucht, meine GoPro durch dieses neue Telefon und seine clevere Kamera zu ersetzen
• Dieses kleine Gerät bietet Ihnen die beste Funktion des iPhone 14 für 149 US-Dollar
• Ich hoffe, dass Apple diese Vision Pro-Funktion auf das iPhone bringt

Werten Sie Ihren Lebensstil aufDigital Trends hilft Lesern mit den neuesten Nachrichten, unterhaltsamen Produktrezensionen, aufschlussreichen Leitartikeln und einzigartigen Einblicken, den Überblick über die schnelllebige Welt der Technik zu behalten.