Sensor de estrutura occipital: digitalização 3D para o mainstream

Imprimir objetos 3D sempre pareceu uma tarefa assustadora e cara, mas estamos começando a ver o preço das impressoras 3D cair substancialmente. O problema é que ainda é difícil criar algo para imprimir em uma impressora 3D.

Digitar o Sensor de Estrutura (US$ 380), um gadget que transforma seu iPad em um dispositivo de mapeamento e imagem 3D. Você pode usá-lo para medir a profundidade de uma sala ou criar um modelo 3D de um objeto ou pessoa. O dispositivo coloca a criação 3D acessível nas mãos de consumidores e desenvolvedores. Mas será que esse dispositivo tirará do mercado os scanners 3D mais caros? Não imediatamente, mas tem potencial.

Vídeos recomendados

Vídeo inicial do sensor de estrutura occipital

Iniciado

Acompanhamos o Sensor Estrutural desde a sua concepção como um produto Kickstarter, e até vimos uma demonstração inicial no ano passado.

O Sensor de Estrutura permitirá criar modelos 3D de seus objetos ou pessoas favoritas.

O Sensor de Estrutura foi criado por Occipital, uma empresa com sede em Boulder, Colorado. e São Francisco. Embora Occipital possa não ser um nome familiar, você deve ter ouvido falar
Laser Vermelho, seu aplicativo de leitura de código de barras adquirido pelo eBay. A empresa também fez Panorâmica 360, um dos primeiros aplicativos móveis a capturar imagens panorâmicas em tempo real.

Segundo Occipital, a empresa decidiu concentrar a visão computacional em dispositivos móveis após experimentar o Kinect da Microsoft. Ao conectá-lo a um PC, os engenheiros da empresa conseguiram mapear ambientes internos com o Kinect. A barreira no uso da tecnologia do Kinect era que ele estava conectado a um desktop de última geração, então a equipe procurou fazer uma unidade portátil que funcionasse com dispositivos móveis de menor consumo de energia. Então eles criaram o Structure Sensor, que arrecadou mais de US$ 1 milhão, tornando-se uma das campanhas Kickstarter de maior sucesso de todos os tempos.

O que é exatamente o Sensor de Estrutura?

Este é o primeiro sensor 3D do mundo para um dispositivo móvel. Apesar do hardware finalizado que já está à venda, o Sensor de Estrutura ainda é um trabalho em andamento. Está sendo desenvolvido um novo software que utiliza os recursos de detecção 3D do dispositivo.

Por mais simples que o hardware pareça, a tecnologia é complicada. Veja como Occipital o descreve:

“O Structure Sensor usa luz estruturada para capturar dados de profundidade. A luz estruturada usa um projetor laser para lançar um padrão preciso de milhares de pontos infravermelhos invisíveis em objetos e espaços. Em seguida, ele usa uma câmera infravermelha de frequência correspondente para registrar como o padrão muda, compreendendo assim a geometria desses objetos e espaços. Como resultado, o Structure Sensor pode gerar um fluxo de profundidade VGA a 30 quadros por segundo, com cada pixel representando uma distância exata até um ponto do mundo real.”

Mapa interno do sensor de estrutura occipital

É um pouco técnico, mas para os consumidores, imaginem como funciona o Kinect da Microsoft – como ele rastreia seus movimentos – e você entenderá o conceito. A diferença é que é móvel (com auxílio de um iPad) e possui bateria própria.

A Occipital reluta em chamá-lo de scanner 3D, mas é um sensor 3D que pode ser usado para fins de digitalização 3D. O primeiro grande aplicativo a utilizar o Structure Sensor é ItSeez3D, que combina os dados do sensor e as informações de cores da câmera do iPad para criar modelos 3D realistas. Occipital também lista mapeamento do espaço interior (coleta de medidas de uma sala, por exemplo), realidade aumentada e realidade virtual jogos e varredura corporal (para exercícios físicos ou como camarim virtual) como alguns dos aplicativos que podem utilizar o sensor tecnologia.

Varredura de objeto do sensor de estrutura occipital
Varredura de objeto do sensor de estrutura occipital

Para os desenvolvedores, este dispositivo acessível oferece uma nova maneira de criar aplicativos e serviços (imagine uma empresa de videogame usá-lo para renderizar personagens e objetos de forma mais rápida e fácil para o próximo título), mas para os consumidores, ainda é muito novo para uso em massa. uso. Se você estiver disposto a desembolsar algumas centenas de dólares pela tecnologia dos primeiros usuários, o Structure Sensor permitirá que você crie imagens 3D modelos de seus objetos ou pessoas favoritos e permitem que você experimente os primórdios da digitalização 3D para o consumidor que está no mercado. caminho.

Configurando o sensor

Dependendo do iPad que você possui, o Sensor de Estrutura vem com um suporte correspondente que se prende na lateral do tablet; uma trava o fixa bem no lugar, mas é fácil desfazê-lo se você não guardá-lo adequadamente em uma bolsa, por exemplo. A proximidade do sensor com a câmera do iPad permite que os aplicativos capturem informações de cores para serem usadas com os dados de profundidade 3D, como mencionamos no aplicativo ItSeez3D. Não há botões para mexer; assim que o suporte estiver colocado, basta conectar o cabo à porta Lightning do iPad e qualquer aplicativo associado reconhecerá o sensor.

Para os consumidores, o Structure Sensor só funcionará com o iPad de quarta geração, iPad Air e iPad Mini com Retina. Independentemente do suporte que você adquirir (tamanho normal ou mini), você precisará fazer alguns DIY simples envolvendo aparafusar o sensor no suporte usando pequenos parafusos. Se você já teve que trabalhar com parafusos pequenos, então sabe como pode ser enlouquecedor perder um – tome cuidado ao montar.

Base do sensor de estrutura occipital
Cabo do sensor de estrutura occipital
Canto superior traseiro do sensor de estrutura occipital

Se você for um desenvolvedor, a Occipital venderá um cabo USB Hacker opcional que permite conectar o sensor a qualquer dispositivo USB compatível que execute Android, Windows, Linux e OS X. Os desenvolvedores, como os criadores de aplicativos, podem criar suporte para tablets Android, por exemplo, usando drivers e especificações de código aberto disponíveis que lhes permitem imprimir em 3D seus próprios colchetes. Embora o Structure Sensor suporte nativamente iPads selecionados e Xcode (a linguagem de codificação usada por aplicativos iOS), aqueles com conhecimento podem usar o kit de desenvolvimento de software aberto para fazer o sensor funcionar com dispositivos não-iOS dispositivos.

Falta de aplicativos

Como mencionamos, existem poucos aplicativos disponíveis que tiram proveito do sensor, pelo menos no momento. Por ser tão novo, os desenvolvedores de aplicativos provavelmente ainda estão ocupados criando software. Ao comprar o Structure Sensor, você obtém o aplicativo Structure, um aplicativo bastante básico para iPad que permite medir distâncias, verificar a bateria do sensor e transmitir uma visualização 3D para um computador via Wi-Fi.

Occipital também tem alguns aplicativos de exemplo que mostram o que é possível com o sensor:

  • Scanner demonstra como um objeto pode ser escaneado
  • Buscar é um jogo de realidade aumentada e Física da Bola é um simulador de realidade aumentada
  • Visualizador é um “visualizador de dados brutos”

Os aplicativos são todos gratuitos, mas sua utilidade é muito limitada, além de mostrar o que o sensor pode fazer.

ItSeez3D é nosso aplicativo favorito, mas está envolvido

O aplicativo mais desenvolvido disponível atualmente é o ItSeez3D da ItSeez, uma empresa de visão computacional 3D. Usando os dados de profundidade do sensor e as informações de cores da câmera do iPad, o ItSeez3D pode criar imagens 3D modelos de objetos e pessoas que você pode carregar, publicar e incorporar em sites via 3D on-line visualizador Sketchfabou envie os arquivos por e-mail (PLY e OBJ) para uso em programas de renderização 3D.

Uma ferramenta promissora para desenvolvedores e entusiastas 3D.

Nós jogado pela primeira vez com o aplicativo ItSeez3D sem o sensor, e ficamos impressionados com o quão realistas e detalhadas as varreduras de amostra pareciam, então ficamos entusiasmados em tentar nossa própria digitalização 3D. Infelizmente, no início, não conseguimos criar modelos que parecessem tão bons quanto as amostras. A digitalização de um objeto exige que você o mova; ao fazer isso, o sensor mede o objeto para criar uma malha 3D, enquanto, a cada pausa, a câmera do iPad tira uma fotografia de alta resolução para obter informações coloridas e sobrepor o modelo 3D. À medida que você se move 360 ​​graus em torno de um objeto ou pessoa, um indicador no canto inferior esquerdo mostra o progresso das varreduras; também mostra áreas onde faltam dados, que você pode mover de volta para essa posição para digitalizar novamente. Quanto mais rotações e varreduras você fizer, mais informações serão capturadas e, quando atingir 100%, você poderá parar e iniciar o processo de renderização.

O problema é que o processo parece mais fácil do que realmente é. Muitas vezes, o sensor perderia dados “planos” ou não seria capaz de determinar com precisão o que faz parte do objeto e o que não faz. Em algumas de nossas digitalizações 3D, notamos que faltavam partes ou que capturava algo que não fazia parte delas. Uma digitalização 3D de um iMac ficou distorcida porque havia muita uniformidade e falta de contraste. O processo de circular o objeto também demora um pouco e nunca sabemos quando ele realmente tirará uma foto quando fizermos uma pausa. Além disso, houve momentos em que o aplicativo perdia contato com o sensor; você só precisa reconectar o cabo. Tivemos mais sucesso ao escanear a cabeça das pessoas: o sensor e o aplicativo não tiveram problemas ao digitalizar um colega de trabalho, embora nem isso fosse perfeito.

Lego de digitalização do sensor de estrutura occipital
Modelo de varredura do sensor de estrutura occipital

Para descobrir por que não estávamos alcançando os resultados desejáveis, vimos alguns vídeos do ItSeez e conferimos as dicas no menu Ajuda que mostra você o que precisa fazer, como iluminar e colocar jornal sob o objeto para ajudar o sensor a distingui-lo do fundo e superfície. Percebemos que é tudo uma questão de iluminação e, em outra tentativa, obtivemos melhores resultados. Certificamo-nos de que um objeto estava bem iluminado por todos os lados e montamos uma pequena mesa redonda que nos permitiu manobrar melhor em torno dele. Desta vez, nossas varreduras ficaram mais completas e detalhadas, embora algumas ainda parecessem “desligadas” em alguns lugares. Digitalizamos alguns bichinhos de pelúcia desde a infância, e ver seus brinquedos favoritos imortalizados como um objeto 3D pode ser um pouco sentimental e incrível. A digitalização de um banco de moedas foi a melhor, apesar de ser escura e de uma única cor; a iluminação, pensamos, ajudou muito. Percebemos que o Sensor de Estrutura sozinho não fornecerá varreduras perfeitas todas as vezes e você precisará de uma boa configuração envolvendo iluminação adequada. O processo de digitalização 3D não é algo único – exigirá várias tentativas.

Assim que a verificação for concluída, as informações são carregadas nos servidores em nuvem do ItSeez. Após cerca de 5 minutos, um modelo 3D será enviado de volta para você. Você pode enviar as digitalizações por e-mail para edição adicional em software compatível com 3D, como Maya, AutoCAD ou Blender, ou fazer upload para o Sketchfab, como nosso banco de gatos acima. Você também pode enviar o arquivo OBJ para o Shapeways, um mercado 3D online que o ajudará a transformar suas digitalizações 3D em um modelo 3D real. Em um futuro próximo, no entanto, o ItSeez poderá incorporar ao aplicativo a capacidade de imprimir seus objetos em 3D ou outro aplicativo. Embora seja bastante limitado para os consumidores, ver um objeto ou pessoa transformado em um objeto tridimensional (mesmo que seja ruim) é legal.

Conclusão

Não há dúvida de que a digitalização (e impressão) 3D está se tornando mais acessível e acessível, e dispositivos como o Structure Sensor ajudarão a introduzir isso para consumidores e desenvolvedores. Mas o Structure Sensor também mostra que esse tipo de digitalização 3D ainda está em sua infância. Não é que o aparelho seja ruim ou os aplicativos não funcionem, mas no momento o uso para os consumidores é limitado e ainda há coisas que podem ser melhoradas. No entanto, ainda nos divertimos usando-o e é incrível ver objetos do cotidiano sendo transformados em modelos 3D simplesmente usando um acessório para iPad.

À medida que a Occipital continua a melhorar o produto e mais aplicativos são introduzidos no futuro (para não mencionar mencionar outros produtos e tecnologias concorrentes que estão em desenvolvimento), poderia haver alguns formulários. Até então, o Structure Sensor é uma ferramenta promissora para desenvolvedores e entusiastas 3D hardcore, mas ainda é um território de adoção inicial para a maioria das pessoas.

Recomendações dos Editores

  • Como tirar uma foto 3D de praticamente qualquer smartphone
  • O Photoshop para iPad finalmente tem detecção de borda – veja como usá-lo
  • O iPad Pro está pronto para edição de fotos reais? Abandonei meu MacBook para descobrir
  • Esta IA o aplicativo converte qualquer foto em 3D, sem necessidade de lentes duplas
  • O Photoshop para iPad obtém seleções com um toque e dá um pequeno passo em direção ao poder do desktop