Платформа дополненной реальности Apple ARKit — убийственная функция iOS 11

Некоторые из крупнейших технологических компаний — Apple, Google и Microsoft, и это лишь некоторые из них — похоже, уверены, что дополненная реальность (AR) выведет смартфоны на новый уровень. Пока все это только разговоры, но ситуация может измениться до конца этого года. Apple готовится выпустить ARKit, совершенно новая платформа для создания такого рода контента.

AR уже некоторое время является приоритетом для Apple. Компания потратила много времени и сил. найм персонала и приобретение стартапов, чтобы гарантировать, что у них есть все необходимые таланты, как только технология станет достаточно зрелой для масс. Теперь мы находимся на пороге вечеринки Apple в области дополненной реальности: выпуска iOS 11.

Чтобы понять значение ARKit, мы поговорили с разработчиком, который работал над технологией дополненной реальности для большую часть десятилетия, и уже потратил некоторое время на тестирование комплекта разработчика Apple.

Первый этаж АР

Ян-Хейн Пулленс и его команда создают AR-контент для клиентов, занимающихся обустройством дома и недвижимостью. отраслях – и спрос на их работу может резко возрасти, поскольку Apple попытается внедрить эту технологию в массы.

Однако, когда Пулленс и Питер Аартс основали КомнатаОоми Еще в 2009 году технологический ландшафт был совсем другим. Пройдет еще три года, прежде чем кампания Oculus Rift на Kickstarter хотя бы принесет виртуальную реальность в общественное сознание. Google Glass, один из первых громких проектов дополненной реальности, был успешно прототипирован только в середине 2011 года.

Пуленс и Аартс изначально были воодушевлены перспективой дать людям возможность увидеть, как большие предметы мебели могут выглядеть в их собственном доме с помощью AR. Однако оборудование для запуска такого программного обеспечения просто не было доступно публике.

«Например, восемь лет назад не было iPad», — сказал Пулленс в интервью Digital Trends по телефону в прошлом месяце. «У людей были настольные компьютеры и телефоны».

Настольные ПК не идеальны для контента AR, поскольку вы не можете перемещать их, чтобы увидеть разные углы. И тогда ситуация со смартфонами была не намного лучше. У них просто не было мощности (или датчиков), необходимой для представления программного обеспечения AR.

Независимо от того, пытаетесь ли вы продать кому-то роскошный диван или роскошную квартиру, крайне важно, чтобы ваша виртуальная визуализация подчеркивала сильные стороны продукта. «Это должно быть очень реалистично, иначе это будет выглядеть бесполезно и похоже на игру», — объяснил он.

Сегодня у некоторых владельцев телефонов достаточно оборудования и инфраструктуры для запуска высококачественного AR-контента. Гугл Танго на данный момент является самой авторитетной платформой на сцене. К сожалению, он совместим только с двумя смартфонами – Леново Фаб 2 Pro и Asus Zenfone AR. Вы знаете кого-нибудь, у кого есть эти телефоны? Мы тоже. Но когда в бой вступил iPhone, внезапно появился огромный кусок смартфон пользователи будут поддерживать AR.

Apple открывает ворота

ARKit будет поддерживаться устройствами iOS, использующими процессоры Apple A9 или A10: iPad 2017 года, айфон 6С, и дальше. Следует признать, что в результате миллионы пользователей со старым оборудованием не могут получить доступ к AR-контенту, созданному с использованием платформа, но она абсолютно затмевает базу пользователей Google Tango, Microsoft HoloLens и любой другой AR-платформы.

Есть еще одна сложность. Некоторые из наиболее сложных функций дополненной реальности требуют наличия специализированных датчиков, таких как камера, чувствительная к глубине. Это правда, что айфон 7 Plus имеет некоторые возможности определения глубины, используя две синхронизированные линзы для измерения относительного расстояния. Однако в более широкой схеме AR-технологий это относительно примитивное решение.

В феврале 2017 года ходили слухи, что в следующем iPhone будет инфракрасный датчик, аналогичный тому, который используется в аксессуаре Microsoft Kinect для Xbox 360, как сообщает издание Грань. Датчик такого типа предоставит гораздо более подробную информацию об относительном положении объекта относительно устройства, чем нынешняя установка с двумя объективами. Также ходят слухи, что Apple представит какой-то компонент, который будет служить этой цели, в рамках обновления iPhone 2017 года (читайте последние новости). слухи об айфоне 8), но официального пока ничего нет.

Эти новые устройства будут считаться основой для продвижения разработчиков AR, особенно из-за преимуществ, связанных с камерами с измерением глубины. Однако сочетание ARKit и текущего оборудования уже приносит свои плоды. Пулленс и его команда некоторое время работали с ранней версией комплекта разработки, и им понравилось то, что они увидели.

«Первые результаты, которые мы получили с помощью Apple ARKit, многообещающие, на самом деле они очень многообещающие», — сказал Пулленс. Он похвалил то, как платформа справляется с окклюзией, и ее способность предотвращать взаимодействие виртуальных объектов друг с другом.

Для Пулленса самым впечатляющим аспектом ARKit является его стабильность. Виртуальные объекты часто могут «дрейфовать», если они не выровнены должным образом с реальным миром. окружения, что может стать большой проблемой для того типа визуализации, над которым он и его команда работают. Комнатная продукция.

«Под дрейфом я подразумеваю, например, стул в представлении AR», — сказал он. «Вам бы хотелось, чтобы этот стул был очень устойчивым – вы не хотели бы, чтобы он шатался или дрожал. Итак, первые результаты, которые мы получили от Apple, очень многообещающие, потому что она довольно стабильна».

Виртуальное кожаное кресло бесполезно, если оно постоянно плывет к потолку или раскачивается, как будто под подушкой сидит кошка.

Хотя Пуллен получил много похвал, он также упомянул некоторые области, в которых Apple могла бы внести улучшения. Он отметил, что ARKit хорошо визуализирует карты света и теней, но добавил, что ожидает, что когда платформа будет готова к выпуску, она станет еще лучше. Он также предположил, что его возможности обнаружения поверхности значительно улучшатся с помощью улучшенная камера с определением глубины — было бы идеально, если бы слухи об инфракрасной камере на iPhone 8 доказать правду.

ARKit делает все проще

Разработчики AR в восторге от ARKit, поскольку он должен открыть технологию для гораздо более широкой аудитории. Apple, кажется, сильно инвестировал в AR, поэтому мы можем ожидать, что этот вид контента станет приоритетом для iPhone и iPad. Это привлекательное предложение для людей, создающих AR-опыт.

Однако более широкая аудитория — не единственное преимущество комплекта разработки Apple. ARKit также стремится снять большую часть рутинной работы по созданию программного обеспечения, позволяя разработчикам сосредоточиться на том, как они могут использовать функциональность для предоставления новых и интересных возможностей.

«Это помогает таким разработчикам, как мы, предоставлять новые функции и эффективно использовать технологию AR», — сказал Пулленс. «Иначе придется все строить самому».

Например, каждому AR-приложению необходимо обнаружение поверхности, которое позволяет виртуальному объекту находиться на столе или на полу. Раньше разработчики могли потратить месяцы на создание собственных алгоритмов обнаружения поверхностей или обойтись посредственным промежуточным программным обеспечением, предоставленным другой компанией. Благодаря ARKit они получают доступ к сложному решению, уже адаптированному для iOS.

«В этом комплекте вы уже получаете множество функций бесплатно», — добавил Пулленс, имея в виду такие функции, как окклюзия и карты света и теней. «Это даст большой толчок сообществу разработчиков к появлению новых AR-решений».

Ранние творения ARKit уже впечатляют.

Разработчики, которым интересна предварительная версия ARKit, могут получить ее, загрузив бета-версия Xcode 9, который включает в себя iOS 11 SDK. Это уже ведет к новым идеям. Лента дополненной и виртуальной реальности СмешаннаяРеальностьДизайн создал веб-сайт под названием Сделано с помощью ARKit, который курирует подборку самых лучших проектов.

Немного жуткий «Робот танцует в моей гостиной» демонстрирует превосходную стабильность, о которой говорил Пулленс. Ан андроид исполняет несколько плавных танцевальных движений перед диваном, и, несмотря на движение камеры, сцена выглядит невероятно естественно. Тень, которую робот отбрасывает на пол, особенно впечатляет.

«Межпространственный портал» помещает окно в другой мир посреди городской улицы. Графика, используемая для визуализации этого виртуального пространства, не очень усовершенствована, но общий эффект поражает, особенно когда пользователь проходит через портал. Легко увидеть, как такая идея может быть использована в игре, основанной на локации, по типу Покемон Го.

Хотя эти два примера забавны, «ARKit изменит то, как мы заказываем еду» гораздо практичнее. Вместо просмотра плоских изображений в бумажном меню приложение создает трехмерную визуализацию вариантов выбора прямо на столе. Еще одной практической реализацией является «Демонстрация приложения AR Measure», который предлагает виртуальную рулетку.

У этих проектов есть острые углы: от неуклюжих пользовательских интерфейсов до уродливых ресурсов. Важно помнить, что это ранние концепции, созданные с использованием инструментов, доступных уже несколько недель. Тем не менее, ARKit обеспечивает прочную основу, позволяющую реализовать некоторые интригующие идеи.

Apple, как обычно, потратила время на то, чтобы правильно реализовать AR, вместо того, чтобы быть первой. Первая волна результатов предполагает, что это шаг за пределы Google Tango и других аналогов. Следующим шагом станет предоставление передового AR-совместимого оборудования в руки широкого круга пользователей, и, похоже, это произойдет, когда будет анонсирован следующий iPhone.

Рекомендации редакции

• Эта скрытая функция Apple Watch лучше, чем я мог себе представить
• Я надеюсь, что Apple внедрит эту функцию Vision Pro на iPhone.
• 6 крупнейших функций iOS 17, которые Apple украла у Android
• Apple наконец-то исправила мою самую большую проблему с iPhone 14 Pro Max
• iOS 17: Apple не добавила ту функцию, которую я ждал