Awake: 에피소드 1의 체적 홀로그램은 새로운 볼거리입니다

무엇이든 읽어보세요 가상 현실의 광범위한 범위 그리고 의심할 바 없이 여러분은 "몰입"이라는 단어를 적어도 한두 번은 접하게 될 것입니다. 이는 가상 세계 내에서의 존재감을 나타내는 비교적 모호한 용어이지만, 우리가 얻을 수 있는 것만큼 가깝습니다. VR 개발자가 믿을 수 있는 작품을 제작하는 데 있어 성공 여부를 측정하기 위한 단일 기준점을 제공하는 것입니다. 경험.

대부분의 개발자는 몰입감을 달성하기 위해 유사한 기술을 사용합니다. 그들은 기존 가상 현실 헤드셋의 범위 내에서 작업하고 바이노럴 오디오를 통해 소규모의 고품질 장면을 제작합니다. 그들이 일을 충분히 잘한다면, 당신은 방황하는 자신을 발견할 수 있습니다 기괴한 계곡. 반대편에서 오르막길을 오르는 경우는 거의 없습니다. 하지만 그게 바로 그 이유입니다. 깨어 있는 가상 현실 제작사에서 VR 시작 하려고 노력하고 있습니다.

약 20분 분량의 첫 번째 에피소드는 자각몽을 주제로 한 매혹적인 스토리를 전달하는 가벼운 인터랙티브 영화적 VR 경험입니다. 하지만 내러티브만큼이나 흥미로운 것은 이를 제작하는 데 사용된 체적 캡처 기술입니다. 깨어 있는가장 눈에 띄는 요소입니다.

최종 결과는 믿을 수 없을 만큼 사실적인 얼굴 표정, 동작 및 몸짓을 갖춘 캐릭터입니다. 이것은 탁구공 모션 캡처가 아닙니다. 그것은 완전히 다른 것입니다.

**약한 스포일러가 있습니다. 어웨이크스 다음 인터뷰에 이야기가 나올 수도 있습니다.**

너무 긴 탁구공, 안녕 홀로그램

“그 기술은 깨어 있는 볼륨메트릭 비디오를 중심으로 특별히 작성되었습니다.” 제작자이자 감독인 마틴 테일러(Martin Taylor)가 설명했습니다. “그래서 의상과 표정 전체를 포함한 배우의 연기 전체를 ​​필름처럼 홀로그램으로 담아내는 새로운 형태의 퍼포먼스 캡쳐인 거죠.”

이는 가상 현실 경험과 전통적인 2D 게임 모두를 위해 대부분의 게임 내 캐릭터를 제작하는 데 사용되는 모션 캡처 기술과 매우 다릅니다. 가상 캐릭터에 생명을 불어넣기 위해 스킨 처리된 3D 모델을 만들기 위해 움직임 샘플을 사용하는 반면, 볼륨 측정 캡처는 사람 전체를 기록합니다. 말하자면 내부와 외부입니다.

“깊이 센서가 모두 원통형 볼륨을 향하고 있는 106개의 카메라가 있는 특수 장비를 사용하고 있습니다. 중앙에는 최대 두 명의 배우가 서서 자신의 연기를 선보일 수 있습니다.”라고 Taylor는 Digital에 말했습니다. 동향. "이러한 모든 카메라와 센서는 이를 포착하고, 많은 처리와 소프트웨어를 통해 이를 완전히 믿을 수 있고 견고한 디지털 퍼포먼스 복사본으로 결합합니다."

이를 통해 개발자는 해당 배우의 위치와 특정 시간에 포즈를 취하는 방법을 정확하게 3D로 표현할 수 있을 뿐만 아니라 거의 사진처럼 사실적인 비디오 느낌도 얻을 수 있습니다.

Taylor는 "캡처의 원본 버전은 서로 고유하게 다른 일련의 OBJ 모델과 그 위에 래핑된 비디오 텍스처입니다."라고 말했습니다.

초기 사용 선구자인 체적 캡처는 Start VR만으로는 수행할 수 있는 작업이 아니었습니다. Microsoft의 도움이 필요했습니다.

올바른 댄스 파트너

에서 가장 기분이 좋아지는 부분 중 하나에서 어웨이크: 에피소드 1, 우리의 주인공 해리는 마치 보이지 않는 프로젝터에서 나온 것처럼 게임 내 벽에 이미지가 튀어 나오면서 파트너와 춤을 추고 있습니다. 이러한 캐릭터가 게임의 세계 내에서 서로를 찾은 것처럼 Start VR에는 게임의 중심을 형성하는 볼륨 있는 퍼포먼스를 만드는 데 도움을 줄 특정 파트너가 필요했습니다. 어웨이크스 경험.

“우리는 이 기술을 사용하여 매우 조악한 초기 테스트를 수행했습니다. 마이크로소프트 키넥트 그리고 캐논 7D 카메라 합쳐졌고 결과는 우스꽝스러울 정도로 조잡했습니다.”라고 Taylor는 설명했습니다. “하지만 VR 안에 들어가 실제 VR을 보고 있다는 것을 아는 경험에는 뭔가가 있었습니다. 사람 […] 당신에게 매우 연결된 연결을 제공하기 위해 불쾌한 계곡을 건너는 데 조금 더 가까워졌습니다. 경험. 정말 흥미로운 순간이었으며 사업 초기 단계였습니다.”

처음에 Start VR은 자체 체적 캡처 장비 개발을 고려했지만 그러한 시설을 관리하는 복잡성으로 인해 뿐만 아니라 너무 많은 카메라와 깊이 센서를 구입하고 구성하는 데 드는 초기 비용이 너무 커서 고려하다.

팀은 자체 볼륨 캡처 설정을 갖춘 현지 공급업체와 스튜디오를 살펴보는 데 몇 년을 보냈습니다. 그들 중 누구도 Start VR이 원하는 것을 할 수 없었습니다. 즉, 공연을 녹화할 뿐만 아니라 녹화 후 다시 조명을 켤 수도 있었습니다. 의 가장 독특한 측면 중 하나는 깨어 있는 플레이어는 비록 상호작용 가능성이 제한되어 있지만 가상 손에서 작은 빛의 티끌을 방출하여 경험의 어두운 영역을 밝힐 수 있다는 것입니다.

이를 가능하게 하고 Start VR에 필요한 모션 캡처 시스템을 제공한 유일한 회사는 Microsoft였습니다.

“우리가 나타나기 전까지는 아니었어. 그들의 스튜디오 우리는 이 작업을 수행하는 데 필요한 것이 무엇인지 깨달았습니다.”라고 Taylor는 계속 말했습니다. “컴퓨터의 양, 원시 처리 능력, 하드웨어 및 인프라가 우리를 생각하게 만들었습니다. 즉시 이 정도의 투덜거림 없이는 이 일을 해낼 수 있는 방법이 없다고 생각했습니다.”

스타부터 스크린까지

배우들의 연기를 캡처한 후 이를 게임 환경으로 가져오는 것은 간단한 일이 아니었습니다. Start VR은 하드웨어뿐 아니라 소프트웨어 분야에서도 새로운 길을 개척했습니다.

“또 다른 큰 과제는 Unreal 엔진에서의 경험을 [구축]하는 것이었습니다.”라고 Taylor는 설명했습니다. “동적 조명을 수용하는 플러그인이 존재하지 않았습니다. 우리는 인 포인트와 아웃 포인트를 생성하는 것과 같은 기본적인 기능을 수행해야 했습니다. 만약 두 캐릭터가 같은 볼륨으로 촬영된다면 우리는 그들을 나누어서 방의 서로 다른 면에 배치해야 했습니다.”

문제가 해결되고 경험이 하나로 합쳐지기 시작하자 다음으로 큰 문제는 최적화였습니다. Start VR은 GTX 1080 Ti에서 원활하게 실행되는 경험을 얻기 위해 Nvidia와 긴밀히 협력했습니다. 그래픽 카드 그런 다음 더 약한 하드웨어에서도 경험을 실행할 수 있도록 어떤 종류의 삭감이 이루어질 수 있는지 알아보기 위해 작업을 시작했습니다.

깨어 있는 현재 두 가지 플레이 모드를 제공합니다. 높은 충실도 옵션은 훨씬 더 즐거운 경험이지만 Start VR에서는 다음과 같이 제안합니다. GTX 1080 최소 필수 사양으로. 우리는 AMD Radeon Fury X에서 작동하게 했지만 프레임 속도가 때때로 끊겼습니다. 표준 옵션은 훨씬 더 관대하지만 시각적으로 상당한 타격을 입습니다.

하지만 이러한 종류의 기술이 항상 그런 것은 아닙니다. Start VR CEO인 Kain Tietzel은 Digital Trends에 Nvidia가 맞춤형 하드웨어(아마도 Tensor 및 RT 코어와 유사)를 활용할 수 있다고 믿습니다. RTX 그래픽 카드) 체적 캡처 비디오에 대한 향상된 성능을 제공합니다.

“이런 종류의 렌더링을 처리하기 위해 구체적인 내용을 작성한 사람은 아무도 없습니다.”라고 그는 말했습니다. “수요가 증가하고 생산이 더욱 보편화되기 시작하면 우리가 시작할 것이라고 생각합니다. Nvidia가 성능을 더욱 향상시키기 위해 전용 하드웨어 가속기를 사용하는 것을 보고 있습니다. 현실적이다.”

설치 크기도 Start VR의 주요 관심사였습니다.

Taylor는 "원시 캡처는 원시 볼륨 캡처의 초당 10GB이므로 10GB [다운로드]에 15분을 압축하는 데 많은 작업이 필요합니다"라고 말했습니다. “언리얼 엔진 내 모든 플러그인 중 가장 뛰어난 최신 플러그인을 사용하고 있습니다. 우리는 엔진이 기본적으로 수행하지 않는 작업을 수행하도록 확실히 추진하고 있습니다. 우리는 매일 노력하고 있습니다.”

Start VR은 현재 사용하는 것보다 훨씬 더 높은 충실도의 모델을 선택할 수 있습니다. 다음과 같은 체적 캡처의 초기 구현 팩토리 42의 “세상을 잡아라“ David Attenborough가 주최하는 교육 경험은 다음보다 좋아 보입니다. 깨어 있는 어떤 의미에서는. 단지 3도의 모션 가상 현실 경험을 제공하고 있기 때문입니다. 얼굴과 상체에도 온 신경을 집중하고 있어요.

“우리가 허용하는 다각형 수를 [in]으로 늘릴 수 있습니다. 깨어 있는] 얼굴에 넣으면 초고해상도가 됩니다.”라고 Taylor는 설명했습니다. “우리가 선택하는 몇 가지 절충안이 있습니다. 우리는 사람들이 캐릭터의 각 부분을 보고 주위를 걸을 수 있기를 원하기 때문에 전신 캡처를 선택했습니다. 캐릭터가 끈질긴지 확인하기 위해 사람들이 바닥에 뒹굴고 있는 모습도 봤어요.”

홀로그램으로 놀기

제작에 필요한 모든 노력과 특별한 배려 끝에 어웨이크스 체적 경험, 최종 결과는 대부분의 게이머에게 익숙한 것과는 매우 다릅니다. 캐릭터의 "질감"은 얼굴의 매우 세밀한 부분부터 손이 닿기 어려운 부분의 거칠고 흐릿한 부분까지 다양합니다. 극도로 사실적인 모션과 다소 뭉툭한 모델의 혼합은 Rockstar의 2011년 출시를 연상시켰습니다. LA 느와르 독특한 시각적 스타일로. 또는 마치 누군가가 원래 Xbox 캐릭터의 껍질 위에 UHD 비디오를 감싼 것처럼 말입니다.

특히 손가락과 머리카락 사이의 틈과 캐릭터의 약간 뭉툭한 윤곽선 문제로 기술이 어려움을 겪는 등 완벽과는 거리가 멀습니다. 하지만 이는 가상이나 다른 종류의 시뮬레이션 현실 경험에서는 보기 힘든 방식으로 매혹적이며, 다른 종류의 상호작용 경험에 대한 엄청난 잠재력을 갖고 있습니다.

스크린샷을 찍는 동안 깨어 있는 당신이 실제로 그곳에 있을 때 그들에게는 불쾌한 계곡 분위기가 느껴질 수도 있습니다 어웨이크스 세상에는 우울증을 완전히 방해하는 체적 캡처에 관한 것이 있습니다. 배우들은 완벽해 보이지는 않지만 실제처럼 보이며 이는 최고의 모션 캡처 CGI 모델이라 할지라도 말할 수 없는 것입니다.

가상 세계에 대한 몰입도는 사용자가 가상 ​​세계에서 한 걸음 물러나도록 함으로써 어느 정도 향상됩니다. 당신은 이 세상에 참여하는 사람이 아닙니다. 당신은 관음증자입니다. Start VR의 경우 이것이 바로 계획이었습니다.

"[다른 영화제작자들은] 항상 현장의 연기자들이 당신과 카메라를 보도록 강요당하는 느낌을 받습니다. 그리고 그것이 항상 효과가 있는지는 모르겠습니다."라고 Tietzel은 Digital Trends에 말했습니다. “계속해서 쳐다봐야 한다는 식의 대우를 받으면 퍼포먼스의 성격이 바뀌는 것 같아요. 카메라에 반응하는 믿을 수 있는 연기를 실제로 보는 경우는 거의 없다고 생각합니다. 그들을."

https://www.facebook.com/startvr/photos/a.558965407540304/1534047166698785/

그렇다고 당신이 그 장면에 전혀 관여하지 않는다는 말은 아닙니다. 깨어 있는. 특별히 제작된 순간에는 캐릭터의 시야에 들어가 캐릭터가 당신을 볼 수 있는지 없는지 궁금해지는 순간이 있습니다. 그것은 당신을 그 경험에서 끌어내지는 않지만, 그 장면에서 당신의 관음증적 역할을 상기시켜 줍니다. 오히려 이 첫 번째 에피소드 이후에 더 광범위한 내러티브에 대한 힌트에도 불구하고 스토리가 얼마나 개인적인지를 향상시킵니다.

(루시드) 미래를 꿈꾸다

Start VR에는 8개의 에피소드가 계획되어 있습니다. 깨어 있는 Taylor는 이미 개인적이고 광범위한 이야기를 만드는 데 수년을 보냈습니다. 해당 에피소드가 출시되면서 많은 개선이 있을 것으로 예상됩니다.

Tietzel은 Digital Trends에 “기술, 정확성, 프레임 속도가 극적으로 변할 것입니다.”라고 말했습니다. “우리가 어떻게 연기를 조명하고 연출하는지 이해하는 것조차, 그 공간에서 배우들의 연기를 끌어내는 가장 좋은 방법이 무엇인지도 바뀔 것입니다. 이것은 학습 경험입니다.”

스타트VR은 배우 연출과 VR 게임 개발 등으로 자신의 전문성을 확장하는 것은 물론, Microsoft와 함께 가상 현실에 새로운 주름을 가져오기 위해 체적 캡처 기술을 계속해서 향상시켜 나갈 것입니다. 캔버스.

“캐릭터가 당신을 주목하게 하는 것은 이야기를 전달하는 한 가지 방법이며 이미 아이라인을 추가할 수 있는 변형이 나올 것이라고 생각합니다.”라고 Taylor는 강조했습니다. “우리는 캐릭터의 머리 움직임을 제어하여 당신에게 돌아서 고정할 수 있도록 Microsoft와 협력하고 있습니다. 기록된 위치에서 양쪽으로 최대 약 30도 […] 또한 사람들이 반응적인 작업을 하도록 강요합니다. 그래서 캐릭터가 당신에게 무언가를 주기 위해 손을 뻗는 순간이 있습니다. 당신은 그것을 없애려고 노력해야 한다고 생각합니까? 우리가 시도하는 것은 단순히 캐릭터를 보는 것이 아니라 캐릭터와 연결되는 다양한 방법입니다.”

Start VR도 다양한 환경에서 실험할 계획입니다(어웨이크: 에피소드 1 거의 독점적으로 한 번에 발생합니다. 아마도 1.5개 정도), 그러나 Taylor와 Tietzel이 체적 캡처에 대한 실험을 가장 쉽게 느낄 수 있는 것은 가상 현실의 범위를 넘어서는 것입니다.

Tietzel은 "우리는 이미 이런 종류의 캡처를 증강 현실로 가져오는 것이 무엇을 의미할지 탐구하고 있으며 현실 세계에서의 실제 성능이 다음 단계입니다"라고 말했습니다. "이 분야의 초기 테스트에서는 몇 가지 흥미로운 결과가 나왔습니다."

이러한 경험과 Start VR의 첫 번째 에피소드는 깨어 있는 체적 캡처의 흥미로운 잠재력을 강조합니다. 그들은 옆으로 비켜섰다 레이 트레이싱과 같은 기술의 성능 문제 사실적인 게임 내 조명을 위해 아직 몇 가지 흠집이 있더라도 가까이서 믿을 수 있는 것을 제공합니다.

어웨이크: 에피소드 1 는 내러티브 여정의 흥미진진한 첫 단계이지만 이를 세상에 탄생시키는 데 도움이 된 기술 향상을 위한 훨씬 더 큰 도약입니다. 우리는 무엇을 기대합니다 어웨이크스 스토리와 그것이 옹호하는 캡처 기술이 진화할 수 있으며, 앞으로 두 가지 모두를 더 많이 보게 될 것이라고 상상해보세요.

어웨이크: 에피소드 1 에 사용할 수 있습니다 증기 그리고 비브포트 8달러의 가격으로.

편집자의 추천

• VR 최고의 스타워즈 게임을 PlayStation VR2로 가져오는 것은 생각할 필요도 없는 일이었다고 개발자들은 말합니다.
• 인상적인 혼합 현실 레이저 태그 게임이 VR의 새로운 에이스가 될 수 있습니다.
• Quest 2를 원한다면 다음 주에 가격이 크게 인상되기 전에 구매하세요.
• 골프는 무엇입니까? 속편, Twilight Zone VR 등 UploadVR 스트림에서 공개
• 우리 가운데 VR, 고스트버스터즈 등이 메타 퀘스트 2에 등장합니다