Czujnik struktury potylicznej: skanowanie 3D dla głównego nurtu

Drukowanie obiektów 3D zawsze wydawało się zadaniem zniechęcającym i kosztownym, ale zaczynamy zauważać, że ceny drukarek 3D znacznie spadają. Problem w tym, że nadal trudno jest stworzyć coś, co można wydrukować na drukarce 3D.

Wchodzić Czujnik Struktury (380 USD), gadżet, który zmienia iPada w urządzenie do tworzenia map i obrazowania 3D. Za jego pomocą możesz zmierzyć głębokość pomieszczenia lub stworzyć model 3D obiektu lub osoby. Urządzenie umożliwia niedrogie tworzenie obrazów 3D zarówno konsumentom, jak i programistom. Ale czy to urządzenie wyeliminuje z rynku droższe skanery 3D? Nie od razu, ale ma potencjał.

Film z pierwszym spojrzeniem na czujnik struktury potylicznej

Rozpoczęty

Kierujemy się czujnikiem struktury od chwili jego powstania produkt z Kickstartera, a w zeszłym roku widzieliśmy nawet wczesną wersję demonstracyjną.

Sensor Struktury został stworzony przez Potyliczny, firma z siedzibą w Boulder w stanie Kolorado. i San Francisco. Chociaż nazwa potyliczna może nie być powszechnie znana, być może słyszałeś o niej CzerwonyLaser, aplikacji do skanowania kodów kreskowych zakupionej przez eBay. Firma również wykonała Panoramy 360, jedna z pierwszych aplikacji mobilnych umożliwiająca przechwytywanie zdjęć panoramicznych w czasie rzeczywistym.

Według Occipital firma zdecydowała się skoncentrować wizję komputerową na urządzeniach mobilnych po eksperymentach z Kinect firmy Microsoft. Podłączając go do komputera, inżynierowie firmy mogli mapować środowiska wewnętrzne za pomocą Kinect. Barierą w korzystaniu z technologii Kinect było to, że była ona podłączona do wysokiej klasy komputera stacjonarnego, dlatego zespół starał się stworzyć przenośną jednostkę, która współpracowałaby z urządzeniami mobilnymi o niższym poborze mocy. Stworzyli więc Structure Sensor, dzięki któremu zebrano ponad 1 milion dolarów, stając się jedną z najbardziej udanych kampanii na Kickstarterze w historii.

Czym dokładnie jest czujnik struktury?

To pierwszy na świecie czujnik 3D do urządzenia mobilnego. Pomimo gotowego sprzętu, który jest już w sprzedaży, prace nad czujnikiem struktury nadal trwają. Trwają prace nad nowym oprogramowaniem, które będzie wykorzystywać możliwości urządzenia w zakresie wykrywania 3D.

Choć sprzęt wygląda na prosty, technologia jest skomplikowana. Oto jak opisuje to Potyliczny:

„Czujnik struktury wykorzystuje światło strukturalne do rejestrowania danych o głębokości. Światło strukturalne wykorzystuje projektor laserowy do rzucania precyzyjnego wzoru tysięcy niewidzialnych punktów podczerwieni na przedmioty i przestrzenie. Następnie wykorzystuje kamerę na podczerwień o dopasowanej częstotliwości, aby zarejestrować zmiany wzoru, co pozwala zrozumieć geometrię tych obiektów i przestrzeni. W rezultacie czujnik struktury może generować strumień głębi VGA z szybkością 30 klatek na sekundę, przy czym każdy piksel reprezentuje dokładną odległość do punktu w świecie rzeczywistym.

To trochę techniczne, ale jeśli chodzi o konsumentów, wyobraźcie sobie, jak działa Kinect firmy Microsoft – jak śledzi Twój ruch – i zrozumiesz tę koncepcję. Różni się tym, że jest mobilny (przy pomocy iPada) i ma własną baterię.

Potyliczna niechętnie nazywa to skanerem 3D, ale jest to czujnik 3D, którego można używać do skanowania 3D. Pierwszą dużą aplikacją korzystającą z czujnika struktury jest ItSeez3D, który łączy dane z czujnika i informacje o kolorach z aparatu iPada w celu stworzenia realistycznych modeli 3D. Potyliczny wyświetla również mapy przestrzeni wewnętrznej (na przykład gromadząc pomiary pomieszczenia), rzeczywistość rozszerzoną i rzeczywistość wirtualną gry i skanowanie ciała (w celach fitness lub jako wirtualna przebieralnia) to tylko niektóre z aplikacji, które mogą wykorzystywać czujnik technologia.

Dla programistów to niedrogie i dostępne urządzenie oferuje nowy sposób tworzenia aplikacji i usług (wyobraź sobie firmę produkującą gry wideo używając go do szybszego i łatwiejszego renderowania postaci i obiektów w nadchodzącym tytule), ale dla konsumentów jest to wciąż zbyt nowatorskie, aby mogło być masowe stosowanie. Jeśli chcesz wydać kilkaset dolarów na technologię dla początkujących, czujnik struktury umożliwi Ci tworzenie obiektów 3D modele Twoich ulubionych obiektów lub osób i pozwoli Ci doświadczyć początków konsumenckiego skanowania 3D sposób.

Konfiguracja czujnika

W zależności od posiadanego iPada, czujnik struktury jest wyposażony w pasujący uchwyt, który można przymocować do boku tabletu; zatrzask dobrze zabezpiecza go na miejscu, ale łatwo go odpiąć, jeśli na przykład nie przechowujesz go prawidłowo w torbie. Bliskość czujnika do aparatu iPada umożliwia aplikacjom pobieranie informacji o kolorze, które można wykorzystać w danych o głębi 3D, jak wspomnieliśmy w przypadku aplikacji ItSeez3D. Nie ma żadnych przycisków, którymi można by się bawić; po założeniu uchwytu wystarczy podłączyć kabel do portu Lightning iPada, a dowolna aplikacja rozpozna czujnik.

W przypadku konsumentów czujnik struktury będzie działać tylko z iPadem czwartej generacji, iPadem Air i iPadem Mini z technologią Retina. Niezależnie od tego, jaki wspornik otrzymasz (pełnowymiarowy lub mini), będziesz musiał wykonać proste majsterkowanie polegające na przykręceniu czujnika do wspornika za pomocą małych śrubek. Jeśli kiedykolwiek musiałeś pracować z małymi śrubkami, wiesz, jak bardzo wkurza Cię zgubienie jednej z nich — zachowaj ostrożność podczas montażu.

Jeśli jesteś programistą, firma Occipital sprzeda Ci opcjonalny kabel USB Hacker, który umożliwia podłączenie czujnika do dowolnego obsługiwanego urządzenia USB z systemem Android, Windows, Linux i OS X. Programiści, np. twórcy aplikacji, mogą na przykład tworzyć obsługę tabletów z systemem Android, korzystając z dostępnych sterowników i specyfikacji typu open source, które umożliwiają im drukowanie własnych nawiasów w 3D. Chociaż czujnik struktury natywnie obsługuje wybrane iPady i Xcode (język kodowania używany przez aplikacje na iOS), osoby posiadające wiedzę mogą skorzystać z otwartego zestawu programistycznego, aby czujnik działał z systemami innymi niż iOS urządzenia.

Brak aplikacji

Jak wspomnieliśmy, dostępnych jest bardzo niewiele aplikacji, które korzystają z czujnika, przynajmniej obecnie. Ponieważ jest to tak nowe rozwiązanie, twórcy aplikacji prawdopodobnie nadal są zajęci tworzeniem oprogramowania. Kupując czujnik struktury, otrzymujesz aplikację Structure, dość podstawową aplikację na iPada, która pozwala mierzyć odległość, sprawdzać baterię czujnika i przesyłać strumieniowo widok 3D do komputera przez Wi-Fi.

W aplikacji Poccipital dostępnych jest także kilka przykładowych aplikacji, które pokazują możliwości czujnika:

• Skaner pokazuje, w jaki sposób można zeskanować obiekt
• Aportować to gra wykorzystująca rzeczywistość rozszerzoną Fizyka piłki to symulator rzeczywistości rozszerzonej
• Widz to „wizualizator surowych danych”

Wszystkie aplikacje są bezpłatne, ale ich użyteczność jest bardzo ograniczona, poza pokazaniem możliwości czujnika.

ItSeez3D to nasza ulubiona aplikacja, ale jest zaangażowana

Najbardziej rozwiniętą dostępną obecnie aplikacją jest ItSeez3D firmy ItSeez, firmy zajmującej się wizją komputerową 3D. Wykorzystując dane o głębokości czujnika i informacje o kolorze z aparatu iPada, ItSeez3D może tworzyć obrazy 3D modele obiektów i osób, które można przesyłać, publikować i osadzać na stronach internetowych za pośrednictwem trybu 3D online widz Sketchfablub prześlij pliki (PLY i OBJ) pocztą elektroniczną do wykorzystania w programach do renderowania 3D.

My po raz pierwszy grano z aplikacją ItSeez3D bez czujnika i byliśmy zdumieni realizmem i szczegółowością przykładowych skanów, więc z radością spróbowaliśmy własnych sił w skanowaniu 3D. Niestety na początku nie byliśmy w stanie stworzyć modeli, które wyglądały tak dobrze, jak próbki. Zeskanowanie obiektu wymaga poruszania się po nim; gdy to robisz, czujnik mierzy obiekt, aby utworzyć siatkę 3D, a przy każdej przerwie aparat iPada wykonuje zdjęcie w wysokiej rozdzielczości w celu uzyskania informacji o kolorze i nałożenia na model 3D. Gdy poruszasz się o 360 stopni wokół obiektu lub osoby, wskaźnik w lewym dolnym rogu pokazuje postęp skanowania; pokazuje także obszary, w których brakuje danych, które można przenieść z powrotem do tej pozycji w celu ponownego przeskanowania. Im więcej rotacji i skanów wykonasz, tym więcej informacji zostanie przechwyconych, a gdy osiągnie 100 procent, możesz zatrzymać i rozpocząć proces renderowania.

Problem w tym, że proces ten wydaje się łatwiejszy niż w rzeczywistości. Często czujnik traci dane „płaskie” lub nie jest w stanie dokładnie określić, co jest częścią obiektu, a co nie. W niektórych naszych skanach 3D zauważyliśmy, że brakuje niektórych fragmentów lub że obraz uchwycił coś, co nie jest jego częścią. Skan 3D komputera iMac okazał się zniekształcony ze względu na dużą jednolitość i brak kontrastu. Proces okrążania obiektu również zajmuje trochę czasu i nigdy nie wiemy, kiedy faktycznie zrobi zdjęcie, gdy się zatrzymamy. Poza tym zdarzały się sytuacje, gdy aplikacja traciła kontakt z czujnikiem; wystarczy ponownie podłączyć kabel. Lepiej radziliśmy sobie ze skanowaniem głów ludzi: czujnik i aplikacja nie miały problemów z renderowaniem skanu współpracownika, chociaż nawet to nie było idealne.

Aby dowiedzieć się, dlaczego nie osiągaliśmy pożądanych wyników, obejrzeliśmy kilka filmów z ItSeez i sprawdziliśmy wskazówki w menu Pomoc, które pokazuje wiesz, co musisz zrobić, na przykład oświetlić i umieścić gazetę pod obiektem, aby czujnik mógł go wyróżnić z tła i powierzchnia. Zdaliśmy sobie sprawę, że chodzi o oświetlenie, a przy kolejnej próbie uzyskaliśmy lepsze wyniki. Zadbaliśmy o to, aby obiekt był dobrze oświetlony ze wszystkich stron i ustawiliśmy mały okrągły stół, który pozwolił nam lepiej manewrować wokół niego. Tym razem nasze skany okazały się pełniejsze i bardziej szczegółowe, chociaż kilka z nich nadal wyglądało na „nieprawidłowe” w kilku miejscach. Zeskanowaliśmy kilka pluszowych zwierząt z dzieciństwa i zobaczenie Twoich ulubionych zabawek uwiecznionych jako obiekt 3D może być nieco sentymentalne i niesamowite. Najlepiej wypadł skan banku monet, mimo że był ciemny i jednokolorowy; oświetlenie, naszym zdaniem, bardzo pomogło. Zdaliśmy sobie sprawę, że sam czujnik struktury nie zapewni doskonałych skanów za każdym razem i potrzebna będzie dobra konfiguracja obejmująca odpowiednie oświetlenie. Proces skanowania 3D nie jest jednorazowy – będzie wymagał kilku prób.

Po zakończeniu skanowania informacje są przesyłane na serwery w chmurze ItSeez. Po około 5 minutach odsyłany jest do Ciebie model 3D. Możesz przesłać skany pocztą elektroniczną w celu dalszej edycji w oprogramowaniu obsługującym 3D, takim jak Maya, AutoCAD lub Blender, lub przesłać do Sketchfab, takiego jak nasz bank kotów powyżej. Możesz także przesłać plik OBJ do Shapeways, internetowego rynku 3D, który pomoże Ci przekształcić skany 3D w rzeczywisty model 3D. Jednak w najbliższej przyszłości ItSeez może wbudować w aplikację możliwość drukowania obiektów w 3D lub inną aplikację. Choć dla konsumentów jest to dość ograniczone, oglądanie obiektu lub osoby przekształconej w obiekt trójwymiarowy (nawet jeśli jest zły) jest fajne.

Wniosek

Nie ma wątpliwości, że skanowanie (i drukowanie) 3D staje się coraz tańsze i bardziej dostępne, a urządzenia takie jak czujnik struktury pomogą w zapewnieniu tego konsumentom i programistom. Ale czujnik struktury pokazuje również, że ten typ skanowania 3D jest wciąż w powijakach. Nie chodzi o to, że urządzenie jest złe lub aplikacje nie działają, ale w tej chwili konsumenci mają ograniczone zastosowanie i nadal są rzeczy, które można ulepszyć. Jednak nadal dobrze się przy nim bawiliśmy i wspaniale jest widzieć, jak przedmioty codziennego użytku zamieniają się w modele 3D po prostu za pomocą akcesorium do iPada.

W miarę jak Occipital stale udoskonala produkt i wprowadzanych jest coraz więcej aplikacji (nie w celu wspomnieć o innych konkurencyjnych produktach i technologiach, nad którymi pracujemy), mogłoby być kilka fajnych Aplikacje. Do tego czasu Structure Sensor jest obiecującym narzędziem dla programistów i zagorzałych entuzjastów 3D, ale dla większości ludzi jest to wciąż obszar pierwszych zastosowań.

Zalecenia redaktorów

• Jak zrobić zdjęcie 3D z niemal dowolnego smartfona
• Photoshop na iPada ma wreszcie funkcję wykrywania krawędzi — oto jak z niej korzystać
• Czy iPad Pro jest gotowy do prawdziwej edycji zdjęć? Aby się tego dowiedzieć, porzuciłem MacBooka
• Ta sztuczna inteligencja aplikacja konwertuje dowolne zdjęcie do formatu 3D bez konieczności stosowania podwójnych obiektywów
• Photoshop na iPada umożliwia wybieranie jednym dotknięciem, co stanowi mały krok w stronę wydajności komputera stacjonarnego