Прочтите любой обширное освещение виртуальной реальности и, несомненно, вы встретите слово «погружение» хотя бы раз или два. Это относительно расплывчатый термин для ощущения присутствия в виртуальном мире, но он настолько близок, насколько мы можем себе представить. предоставить единую точку отсчета для оценки успеха разработчика виртуальной реальности в создании правдоподобного опыт.
Содержание
- До свидания, шарики для пинг-понга, здравствуйте, голограммы.
- Правильный партнер по танцам
- От звезд до экранов
- Игра с голограммами
- (Осознанно) мечтая о будущем
Большинство разработчиков используют аналогичную технику для достижения погружения. Они работают в рамках существующих гарнитур виртуальной реальности и создают небольшие сцены с высокой точностью воспроизведения с бинауральным звуком. Если они делают достаточно хорошую работу, вы можете обнаружить, что забрели в жуткая долина. Редко удается подняться на подъем на другой стороне — но это именно то, что Бодрствующий из дома по производству виртуальной реальности Запустить VR пытается сделать.
Рекомендуемые видео
Его первый эпизод продолжительностью примерно 20 минут представляет собой слегка интерактивный кинематографический опыт виртуальной реальности, рассказывающий захватывающую историю на тему осознанных сновидений. Но каким бы интригующим ни было повествование, именно техника объемного захвата, использованная для его создания, БодрствующийСамый яркий элемент.
Конечным результатом являются персонажи с невероятно реалистичной мимикой, движениями и жестами. Это не захват движения в стиле пинг-понгового мячика. Это совсем другое.
**Небольшие спойлеры к Пробудитесь история может быть представлена в следующем интервью.**
До свидания, шарики для пинг-понга, здравствуйте, голограммы.
«Техника, которая Бодрствующий был специально написан вокруг объемного видео», — объяснил создатель и режиссер Мартин Тейлор. «Таким образом, это новый тип съемки, который берет всю игру актера, включая весь гардероб и все выражение лица, и фиксирует их в виде кинематографической голограммы».
Объемный захват — это не то, что Start VR мог бы выполнить в одиночку. Ему требовалась помощь Microsoft.
Это сильно отличается от методов захвата движения, используемых для создания большинства игровых персонажей как для виртуальной реальности, так и для более традиционных 2D-игр. В то время как они используют образцы движений для создания 3D-моделей, на которые наносится кожа, чтобы оживить виртуальных персонажей, объемный захват фиксирует человека целиком. Так сказать, снаружи и внутри.
«Он использует специальную установку со 106 камерами с датчиками глубины, направленными на цилиндрический объем в в центре, и до двух актеров могут стоять в этом объеме и показывать свои спектакли», — сказал Тейлор Digital. Тенденции. «Все эти камеры и датчики фиксируют это, а множество средств обработки и программного обеспечения объединяют это в совершенно правдоподобную и надежную цифровую копию выступления».
Это дает разработчикам не только точное трехмерное представление о том, где находятся эти актеры и как они позируют в любой конкретный момент, но и почти фотореалистичное видеоизображение о них.
«Необработанная версия снимков представляет собой огромную серию моделей OBJ, которые уникально отличаются друг от друга, а затем поверх них накладывается видеотекстура», — сказал Тейлор.
Первые пионеры в использовании объемного захвата не могли справиться с задачей Start VR в одиночку. Ему требовалась помощь Microsoft.
Правильный партнер по танцам
В одном из наиболее воодушевляющих отрывков из Пробуждение: Эпизод первый, наш главный герой Гарри танцует со своим партнером, и изображение расплывается по игровой стене, как будто из какого-то невидимого проектора. Так же, как эти персонажи нашли друг друга во вселенной игры, Start VR потребовался конкретный партнер, который помог бы создать объемные представления, которые составляют центральную часть игры. Пробудитесь опыт.
«Мы провели несколько очень грубых ранних испытаний этой технологии с Microsoft Кинект и Камера Кэнон 7Д объединились, и результаты оказались до смешного грубыми», — объяснил Тейлор. «Но было что-то в этом опыте пребывания внутри виртуальной реальности и осознания того, что ты смотришь на настоящую реальность. человек […] Вам понадобилось немного приблизиться к тому, чтобы пересечь зловещую долину, чтобы дать вам очень связанную информацию опыт. Это был действительно захватывающий момент на самом раннем этапе нашего бизнеса».
Первоначально компания «Старт ВР» рассматривала возможность разработки собственной установки для объемного захвата, но сложности управления таким объектом а первоначальные затраты на приобретение и настройку такого количества камер и датчиков глубины были слишком велики. учитывать.
«Я думал, что мы не сможем справиться с этим без такого уровня ворчания».
Команда потратила пару лет на поиск местных поставщиков и студий с собственными установками для объемного захвата. Никто из них не мог сделать то, что хотел Start VR, а именно не только записывать выступления, но и иметь возможность повторно зажечь их после записи. Один из самых уникальных аспектов Бодрствующий заключается в том, что игрок, хотя и ограничен в интерактивных возможностях, может выпускать из своих виртуальных рук небольшие точки света, которые могут освещать затененные области игрового процесса.
Единственной компанией, которая сделала это возможным, а также предоставила систему захвата движения, необходимую для Start VR, была Microsoft.
«Так было до тех пор, пока мы не появились в их студия что мы поняли, что необходимо для того, чтобы эта работа заработала», — продолжил Тейлор. «Количество компьютеров, вычислительная мощность, аппаратное обеспечение и инфраструктура заставили нас задуматься. Я сразу подумал, что мы не сможем справиться с этим без такого уровня ворчания».
От звезд до экранов
После того, как игра актеров была запечатлена, перенести ее в игровую среду оказалось непростой задачей. Start VR проложил путь как в программном, так и в аппаратном обеспечении.
«Другой большой проблемой было [создание] опыта на движке Unreal», — объяснил Тейлор. «Плагин не позволял поддерживать динамическое освещение. Нам нужно было выполнить базовые функции, такие как создание точки входа и выхода. Если два персонажа снимались в одном объеме, нам приходилось разделять их и помещать в разные стороны комнаты».
«Мы определенно заставляем движок делать то, чего он изначально не делает. Мы работаем над этим ежедневно».
Как только эта проблема была решена и опыт начал накапливаться, следующей большой проблемой стала оптимизация. Компания Start VR тесно сотрудничала с Nvidia, чтобы обеспечить бесперебойную работу на GTX 1080 Ti. видеокарта а затем начал работать над тем, чтобы увидеть, какие сокращения можно сделать, чтобы позволить этому опыту работать на более слабом оборудовании.
Бодрствующий на данный момент предлагает два режима игры. Вариант с высокой точностью воспроизведения, безусловно, более приятен, хотя Start VR предполагает, что GTX 1080 как минимальная требуемая спецификация. Нам удалось заставить его работать на AMD Radeon Fury X, но частота кадров иногда заикалась. Стандартный вариант гораздо более щадящий, но визуальные эффекты серьезно страдают.
Однако с такого рода технологиями это не всегда так. Генеральный директор Start VR Кейн Титцель рассказал Digital Trends, что, по его мнению, Nvidia может использовать специальное оборудование (возможно, похожее на ядра Tensor и RT, найденные в его видеокарты RTX), чтобы обеспечить улучшенную производительность при объемном захвате видео.
«Никто на самом деле не написал ничего конкретного для такого рода рендеринга», — сказал он. «Поскольку спрос увеличится и производство станет более распространенным, я думаю, мы начнем видя, что Nvidia использует специальное аппаратное ускорение, чтобы повысить производительность реалистично».
Размер установки также был серьезной проблемой для Start VR.
«Необработанный захват — это 10 ГБ необработанного объемного захвата в секунду, поэтому требуется много работы, чтобы втиснуть 15 минут в 10 ГБ [загрузка]», — сказал Тейлор. «Он использует новейший и лучший из всех плагинов Unreal Engine. Мы определенно заставляем движок делать то, чего он изначально не делает. Мы работаем над этим ежедневно».
Вы не участник этого мира. Ты вуайерист. Для Start VR это был план с самого начала.
Start VR может выбрать модели с еще более высокой точностью воспроизведения, чем те, которые используются сейчас. Более ранние реализации объемного захвата, такие как Фабрика 42-х»Держи мир“ образовательный опыт, организованный Дэвидом Аттенборо, выглядит лучше, чем Бодрствующий в некотором смысле. Это потому, что они обеспечивают виртуальную реальность всего с тремя степенями движения. Они также сосредотачивают все внимание на лице и верхней части тела.
«Вы можете увеличить количество полигонов, которое мы разрешаем [в Бодрствующий] прямо в лицо, а затем изображение приобретает сверхвысокое разрешение», — объяснил Тейлор. «Мы выбираем некоторые компромиссы. Мы решили сделать снимок всего тела, потому что хотим, чтобы люди могли видеть каждую часть персонажа, ходить вокруг него. Я видел, как люди катались по полу, проверяя, настойчивы ли персонажи».
Игра с голограммами
После всех усилий и особого внимания, необходимых для создания Пробудитесь В объемном опыте конечный результат сильно отличается от того, к чему привыкло большинство геймеров. «Текстура» персонажей варьируется от чрезвычайно детализированной на лицах до грубоватой и размытой в труднодоступных местах. Сочетание чрезвычайно реалистичного движения и несколько блочных моделей напомнило нам релиз Rockstar 2011 года. Черный с его уникальным визуальным стилем. Или как если бы кто-то обернул UHD-видео поверх оболочки оригинального персонажа Xbox.
Он далек от совершенства: технология, в частности, испытывает трудности с промежутками между пальцами и волосами, а также с немного квадратным контуром персонажей. Но это увлекательно, что редко встретишь в виртуальной или любой другой моделируемой реальности, и оно таит в себе огромный потенциал для интерактивного опыта другого типа.
Хотя скриншоты Бодрствующий у них может возникнуть атмосфера жуткой долины, когда вы на самом деле находитесь в Пробудитесь В мире есть что-то такое в объемном захвате, что полностью препятствует этой депрессии. Актеры не выглядят идеально, но они выглядят реальными, чего нельзя сказать даже о лучших моделях CGI, снятых в движении.
«Даже понимание того, как мы освещаем и направляем выступления, также изменится».
Это погружение в виртуальный мир также каким-то образом усиливается, заставляя вас отступить от него. Вы не участник этого мира. Ты вуайерист. Для Start VR это был план с самого начала.
«[Другие кинематографисты] всегда чувствуют себя обязанными, чтобы актеры на сцене смотрели на вас, в камеру, и я не знаю, обязательно ли это работает постоянно», – сказал Титцель в интервью Digital Trends. «Если с тобой постоянно обращаются так, будто на тебя нужно смотреть, я думаю, это меняет характер выступления, и я думаю, что редко можно увидеть правдоподобное представление, снятое на камеру, и вы должны реагировать на это их."
https://www.facebook.com/startvr/photos/a.558965407540304/1534047166698785/
Это не значит, что вы никогда не чувствуете себя вовлеченным в эту сцену. Бодрствующий. Бывают моменты, специально созданные, когда вы оказываетесь в поле зрения персонажа, заставляя вас задуматься о том, видят ли они вас или нет. Это не отвлекает вас от переживаний, но напоминает о вашем вуайеризме в сцене. Во всяком случае, это подчеркивает, насколько личная история, несмотря на намеки на более обширное повествование, выходящее за рамки этого первого эпизода.
(Осознанно) мечтая о будущем
У Start VR запланировано восемь эпизодов Бодрствующий сериал уже есть, и Тейлор уже потратил годы на создание истории, которая была бы одновременно личной и обширной. Нам говорят, что по мере выхода этих эпизодов мы можем ожидать множества улучшений.
«Технологии, точность и частота кадров кардинально изменятся», — сказал Титцель в интервью Digital Trends. «Даже понимание того, как мы освещаем и направляем спектакли – как лучше всего добиться от актеров выступления в этом пространстве, также изменится. Это полезный опыт».
«Итак, бывают моменты, когда персонаж протягивает вам руку, чтобы что-то дать. Вы чувствуете себя обязанным попытаться снять с них это?
Помимо расширения собственного опыта в режиссуре актеров и разработке VR-игр, Start VR также работает. совместно с Microsoft продолжат совершенствовать технику объемного захвата, чтобы привнести новые морщины в виртуальную реальность. холст.
«Заставить персонажа заметить вас — это один из способов рассказать историю, и я думаю, что уже есть варианты, в которых мы можем добавить линию глаз», — подчеркнул Тейлор. «Мы работаем с Microsoft, чтобы контролировать движение головы персонажа, чтобы он мог поворачиваться и фиксироваться на вас. примерно до 30 градусов в обе стороны от записанного положения […] Также вынуждает людей совершать реактивные действия. Так что бывают моменты, когда персонаж протягивает вам руку, чтобы что-то дать. Чувствуете ли вы себя обязанным попытаться лишить их этого? Мы пытаемся использовать разные способы взаимодействия с персонажем, а не просто смотреть на него».
Start VR также планирует экспериментировать с несколькими средами (Пробуждение: Эпизод первый происходит почти исключительно в одном. Может быть, полтора), но это выходит за рамки виртуальной реальности, в которой, по мнению Тейлора и Титцеля, их эксперименты с объемным захватом будут наиболее ощутимы.
«Мы уже изучаем, что может означать перенос такого рода съемок в дополненную реальность, и следующим шагом станут реальные представления в реальном мире», — сказал Титцель. «Ранние испытания в этой области дали потрясающие результаты».
Этот опыт и первый эпизод Start VR Бодрствующий подчеркнуть захватывающий потенциал объемного захвата. Они обходят стороной сбои в производительности таких технологий, как трассировка лучей для реалистичного игрового освещения и создания чего-то правдоподобного вблизи, даже если в нем все еще есть несколько дефектов.
Пробуждение: Эпизод первый — это захватывающий первый шаг в повествовательном путешествии, но это еще больший скачок для технологических усовершенствований, которые помогли ему появиться на свет. Мы рады тому, что Пробудитесь история и технологии захвата, которые она отстаивает, могут развиться, и представьте, что в будущем мы увидим гораздо больше их обоих.
Пробуждение: Эпизод первый доступен на Пар и Вивепорт по цене 8 долларов.
«Пробуждение» — тизер-трейлер | Запустить VR
Рекомендации редакции
- По словам разработчиков, перенести лучшую VR-игру по «Звездным войнам» на PlayStation VR2 было несложно.
- Впечатляющая лазертаг-игра в смешанной реальности может стать новым козырем VR
- Если вам нужен Quest 2, купите его до того, как на следующей неделе его цена сильно поднимется.
- Что за Гольф? продолжение, Twilight Zone VR и многое другое, показанное на стриме UploadVR
- Среди нас VR, «Охотники за привидениями» и многое другое появится в Meta Quest 2
