Събудете се: Обемните холограми на Episode One са нова гледка, която трябва да видите

Прочетете всякакви широко покритие на виртуалната реалност и несъмнено ще срещнете думата „потапяне“ поне веднъж или два пъти. Това е сравнително неясен термин за усещането за присъствие във виртуалния свят, но е възможно най-близо до него за осигуряване на единствена отправна точка за измерване на успеха на разработчик на VR в изработването на правдоподобен опит.

Повечето разработчици използват подобна техника за постигане на потапяне. Те работят в границите на съществуващите слушалки за виртуална реалност и създават сцени с висока прецизност в малък мащаб с бинаурално аудио. Ако вършат достатъчно добра работа, може да откриете, че се лутате в зловеща долина. Рядко се изкачва възвишение от другата страна - но това е точно това Събуден от продуцентска къща за виртуална реалност Стартирайте VR се опитва да направи.

Неговият приблизително 20-минутен първи епизод е леко интерактивно кинематографично VR изживяване, което предоставя завладяваща история около темата за осъзнатото сънуване. Но колкото и интригуващ да е разказът, техниката на обемно улавяне, използвана за изработването му, е 

Събуденнай-забележителният елемент.

Крайният резултат са герои с невероятно реалистични изражения на лица, движения и жестове. Това не е улавяне на движение на топка за пинг-понг. Това е нещо съвсем друго.

**Леки спойлери за Събудете се историята може да присъства в следващото интервю.**

Довиждане топки за пинг-понг, здравейте холограми

„Техниката, която Събуден беше специално написано около обемното видео“, обясни създателят и режисьор Мартин Тейлър. „Така че това е нов тип улавяне на представление, което взема пълното представяне на актьора, включително целия гардероб и пълното изражение, и ги улавя като филмова холограма.“

Това е много различно от техниките за улавяне на движение, използвани за изработване на повечето герои в играта както за изживявания във виртуална реалност, така и за по-традиционни 2D игри. Докато те използват образци от движения, за да изработят 3D моделите, които са облечени, за да съживят виртуалните герои, обемното улавяне записва целия човек. Отвътре и отвън, така да се каже.

„Използва се специална платформа със 106 камери със сензори за дълбочина, всички насочени към цилиндричен обем в център и до двама актьори могат да стоят в този обем и да представят своите изпълнения“, каза Тейлър пред Digital Тенденции. „Всички тези камери и сензори улавят това и много обработка и софтуер го свързват заедно в напълно правдоподобно и солидно цифрово копие на изпълнението.“

Това дава на разработчиците не само точно 3D представяне на това къде са тези актьори и как са позирали във всеки конкретен момент, но и почти фотореалистично видео впечатление от тях.

„Необработената версия на заснеманията представлява огромна поредица от OBJ модели, които са уникално различни един от друг и след това видео текстура, която е обвита отгоре“, каза Тейлър.

Ранните пионери в използването му, обемното улавяне не беше нещо, което Start VR можеше да изпълни сам. Имаше нужда от помощта на Microsoft.

Правилният партньор за танци

В един от по-приповдигнатите сегменти от Буден: Епизод едно, нашият главен герой, Хари, споделя танц с партньора си, като изображението се разплиска по стената в играта, сякаш от някакъв невидим проектор. Точно както тези герои се намериха един друг във вселената на играта, Start VR изискваше конкретен партньор, който да помогне за създаването на обемни изпълнения, които формират централната част на Събудете се опит.

„Направихме някои много груби ранни тестове с тази технология с a Microsoft Kinect и а Фотоапарат Canon 7D обединени и резултатите бяха комично груби“, обясни Тейлър. „Но имаше нещо в изживяването да си във VR и да знаеш, че гледаш реално човек […] Отне ви малко по-близо до прекосяването на тайнствената долина, за да получите много свързан опит. Това беше наистина вълнуващ момент и много рано в нашия бизнес.“

Първоначално Start VR се зае да разработи своя собствена платформа за обемно улавяне, но сложността на управлението на такова съоръжение, както и първоначалните разходи, свързани с придобиването и конфигурирането на толкова много камери и сензори за дълбочина, бяха твърде високи за обмисли.

Екипът прекара няколко години в разглеждане на местни доставчици и студия със собствени настройки за обемно улавяне. Никой от тях не можеше да направи това, което Start VR искаше, което беше не само да записва изпълнения, но и да може да ги запали отново след запис. Един от най-уникалните аспекти на Събуден е, че играчът, макар и с ограничени интерактивни възможности, може да пусне малки частици светлина от своите виртуални ръце, които могат да осветят сенчестите области на изживяването.

Единствената компания, която щеше да направи това възможно, както и да достави типа система за улавяне на движение, необходима на Start VR, беше Microsoft.

„Едва когато се появихме в тяхното студио че осъзнахме какво е необходимо, за да направим тази работа,” продължи Тейлър. „Количеството компютри, суровата процесорна мощност, хардуерът и инфраструктурата ни накараха да се замислим. Веднага си помислих, че няма начин да успеем да направим това без това ниво на мрънкане.”

От звезди до екрани

След като изпълненията на актьорите бяха заснети, въвеждането им в игровата среда не беше просто постижение. Start VR проправи пътека както в софтуера, така и в хардуера.

„Другото голямо предизвикателство беше [изграждането] на опита в Unreal engine“, обясни Тейлър. „Плъгинът не съществуваше, за да приема динамично осветление. Трябваше да направим основни функции като създаване на входна точка и изходна точка. Ако двама герои бяха заснети в един и същи обем, трябваше да ги разделим и да ги поставим в различни страни на стаята.”

След като това беше решено и опитът започна да се събира, следващият голям проблем беше оптимизацията. Start VR работи в тясно сътрудничество с Nvidia, за да осигури гладко изживяване на GTX 1080 Ti графична карта и след това започна да си проправя път надолу, за да види какви съкращения могат да бъдат направени, за да се позволи изживяването да работи на по-слаб хардуер.

Събуден в момента предлага два режима на игра. Опцията с висока точност е далеч по-приятното изживяване, въпреки че Start VR предполага това GTX 1080 като минимално необходима спецификация. Успяхме да го накараме да работи на AMD Radeon Fury X, но честотата на кадрите заекваше на моменти. Стандартната опция е много по-прощаваща, но визуалните ефекти понасят значителен удар.

Това обаче не винаги може да е така с този вид технология. Главният изпълнителен директор на Start VR, Kain Tietzel каза пред Digital Trends, че вярва, че Nvidia може да използва персонализиран хардуер (може би подобен на ядрата Tensor и RT, намиращи се в своите RTX графични карти), за да предложи подобрена производителност за обемно заснемане на видео.

„Никой не е написал нищо конкретно, за да се справи с този вид изобразяване“, каза той. „Тъй като търсенето се увеличава и производството започва да става все по-често срещано място, предполагам, че ще започнем виждайки, че Nvidia има специално хардуерно ускорение, за да направи производителността по-висока и по-голяма реалистично.”

Размерът на инсталирането също беше основна грижа за Start VR.

„Необработеното улавяне е 10 GB в секунда необработено обемно улавяне, така че има много работа, която отива в натискането на 15 минути в 10 GB [изтегляне]“, каза Тейлър. „Използва най-новия и най-добрия от всички добавки в Unreal Engine. Определено караме двигателя да прави неща, които не прави изначално. Работим върху това ежедневно.“

Start VR може да избере дори модели с по-висока прецизност, отколкото използва сега. По-ранни реализации на обемно улавяне като Фабрика 42“Дръж Света“ образователен опит, организиран от Дейвид Атънбъро, изглежда по-добре от Събуден в някои смисъл. Това е така, защото те предоставят само три степени на движение във виртуална реалност. Те също така фокусират цялото внимание върху лицето и горната част на тялото.

„Можете да увеличите броя на полигоните, които разрешаваме [вътре Събуден] само в лицето и след това става със супер висока разделителна способност“, обясни Тейлър. „Има някои компромиси, които избираме там. Избрахме да заснемем цялото тяло, защото искаме хората да могат да видят всяка част от героя, да се разхождат около тях. Виждал съм хора да се търкалят по пода, за да видят дали героите са упорити.

Игра с холограми

След всички усилия и специално внимание, необходими за изработката Събудете се обемно изживяване, крайният резултат е нещо много различно от това, с което повечето геймъри биха свикнали. „Текстурата“ на героите варира от изключително детайлна върху лицата им, до груба и замъглена в по-труднодостъпните места. Комбинацията от изключително реалистично движение и донякъде блокови модели ни напомни за изданието на Rockstar от 2011 г. LA Noire със своя уникален визуален стил. Или сякаш някой е обвил UHD видео върху черупката на оригинален герой на Xbox.

Далеч не е идеален, като технологията се бори по-специално с празнини между пръстите и космите и леко неравномерно очертание на героите. Но е завладяващ по начин, който рядко се среща във виртуална или друга симулирана реалност, и притежава огромен потенциал за различен вид интерактивно изживяване.

Докато екранни снимки на Събуден може да имат необичайна атмосфера на долина, когато всъщност сте вътре Събудете се свят, има нещо в обемното улавяне, което възпрепятства напълно тази депресия. Актьорите не изглеждат идеални, но изглеждат истински, а това е нещо, което не може да се каже дори за най-добрите CGI модели, заснети с движение.

Това потапяне във виртуалния свят също е някак подобрено, като ви принуждава да направите крачка назад от него. Вие не сте участник в този свят. Вие сте воайор. За Start VR това беше планът през цялото време.

„[Други режисьори] винаги се чувстват задължени да накарат изпълнителите в сцената да гледат вас, камерата, и не знам дали това непременно работи през цялото време“, каза Тиетцел пред Digital Trends. „Ако към теб постоянно се отнасят така, сякаш трябва да те гледат, мисля, че това променя характера на представянето и аз мисля, че е рядкост действително да видите правдоподобни изпълнения пред камера и трябва да реагирате на тях."

https://www.facebook.com/startvr/photos/a.558965407540304/1534047166698785/

Това не означава, че никога не се чувствате въвлечени в сцената Събуден. Има моменти, особено изработени, в които се озовавате в полезрението на герой, което ви кара да се чудите дали могат да ви видят или не. Това не ви извлича от изживяването, но ви напомня за вашето воайорско преобръщане в сцената. Ако не друго, то подобрява колко лична е историята, въпреки намеците за по-обширен разказ отвъд този първи епизод.

(Ясно) мечтае за бъдещето

Start VR има осем планирани епизода за Събуден серия вече, като Тейлър вече е прекарал години в изработването на история, която е едновременно лична и обширна. С пускането на тези епизоди можем да очакваме много подобрения, казаха ни.

„Технологията, точността, скоростта на кадрите ще се променят драстично“, каза Тицел пред Digital Trends. „Дори разбирането как осветяваме и режисираме представления – кой е най-добрият начин да извлечем представления от актьорите в това пространство, също ще се промени. Това е учебен опит.“

Освен че разширяват собствения си опит с режисьорски актьори и разработка на VR игри, Start VR също работи с Microsoft, за да продължи да подобрява техниката за обемно улавяне, за да внесе нови бръчки във виртуалното платно.

„Да накараш героя да те забележи е един от начините да разкажеш история и вече мисля, че идват варианти, където можем да добавим очна линия“, подчерта Тейлър. „Ние работим с Microsoft, за да контролираме движението на главата на героя, за да може да се обърне и да се заключи към вас до около 30 градуса от двете страни на записаната позиция […] Също така принуждава хората да правят реактивни неща. Така че има моменти, в които героят протяга ръка, за да ви даде нещо. Чувствате ли се длъжни да опитате да премахнете това от тях? Ние опитваме тези различни начини да се свържем с герой, вместо просто да го гледаме.

Start VR също планира да експериментира с множество среди (Буден: Епизод едно протича почти изключително в едно. Може би един и половина), но това е извън обхвата на виртуалната реалност, която Тейлър и Тицел смятат, че техните експерименти с обемно улавяне ще бъдат най-лесно усетени.

„Вече проучваме какво би могло да означава да внесем този вид улавяне в разширена реалност, а изпълненията в реалния живот в реалния свят са следващата стъпка“, каза Тицел. „Ранните тестове в тази област дадоха някои очарователни резултати.“

Тези преживявания и първият епизод на Start VR на Събуден подчертават вълнуващия потенциал на обемното улавяне. Те заобикалят хълцане на производителността на технологии като проследяване на лъчи за реалистично осветление по време на игра и предоставяне на нещо, което е правдоподобно отблизо, дори ако все още има няколко дефекта.

Буден: Епизод едно е вълнуваща първа стъпка в едно наративно пътешествие, но е още по-голям скок за технологичното подобрение, което помогна за раждането му на света. Ние сме развълнувани за какво Събудете се историята и технологиите за улавяне, които той защитава, може да се развият и си представете, че ще виждаме много повече от тях и двете в бъдеще.

Буден: Епизод едно се предлага на Пара и Viveport с цена от $8.

Препоръки на редакторите

• Пренасянето на най-добрата VR игра Star Wars в PlayStation VR2 беше безпроблемно, казват разработчиците
• Впечатляващата игра с лазерни етикети със смесена реалност може да е новият ас на VR
• Ако искате Quest 2, купете си такъв, преди да получи голямо увеличение на цените следващата седмица
• Какво е голфът? продължение, Twilight Zone VR и други, показани в UploadVR поток
• Among Us VR, Ghostbusters и други, идващи в Meta Quest 2