Bangun: Hologram Volumetrik Episode Satu Adalah Pemandangan Baru untuk Dilihat

Baca apa saja cakupan realitas virtual yang luas dan pastinya Anda akan menemukan kata “perendaman” setidaknya sekali atau dua kali. Itu adalah istilah yang relatif samar untuk perasaan kehadiran di dunia maya, tapi itu adalah istilah yang paling mendekati yang bisa kita dapatkan. untuk memberikan titik referensi tunggal untuk mengukur keberhasilan pengembang VR dalam menciptakan sesuatu yang dapat dipercaya pengalaman.

Sebagian besar pengembang menggunakan teknik serupa untuk mencapai imersi. Mereka bekerja dalam batasan headset realitas virtual yang ada dan membuat adegan berskala kecil dengan ketelitian tinggi, dengan audio binaural. Jika mereka melakukan pekerjaan dengan cukup baik, Anda mungkin menemukan diri Anda berjalan ke dalam lembah yang luar biasa. Jarang sekali kita bisa mendaki tanjakan di sisi lain – namun memang itulah yang terjadi Bangun dari rumah produksi realitas virtual Mulai VR sedang mencoba untuk melakukan.

Episode pertamanya yang berdurasi sekitar 20 menit adalah pengalaman VR sinematik interaktif ringan yang menghadirkan kisah menawan seputar tema mimpi jernih. Namun yang menarik dari narasinya, teknik penangkapan volumetrik yang digunakan untuk membuatnya Bangunelemen yang paling mencolok.

Hasil akhirnya adalah karakter dengan ekspresi wajah, gerakan, dan gerak tubuh yang sangat realistis. Ini bukan penangkapan gerak bola ping-pong. Ini adalah sesuatu yang sama sekali berbeda.

**Spoiler ringan untuk Bangun cerita mungkin ada pada wawancara berikut.**

Bola pingpong begitu panjang, halo hologram

“Teknik itu Bangun yang secara khusus ditulis adalah video volumetrik,” jelas pencipta dan sutradara Martin Taylor. “Jadi ini adalah jenis rekaman pertunjukan baru yang mengambil keseluruhan penampilan aktor termasuk seluruh pakaian dan ekspresi penuhnya dan menangkapnya sebagai hologram film.”

Hal ini sangat berbeda dengan teknik penangkapan gerak yang digunakan untuk membuat sebagian besar karakter dalam game untuk pengalaman realitas virtual dan game 2D yang lebih tradisional. Meskipun mereka menggunakan sampel gerakan untuk membuat model 3D yang dikuliti untuk menghidupkan karakter virtual, tangkapan volumetrik merekam keseluruhan orang. Di dalam dan di luar, boleh dikatakan begitu.

“Ini menggunakan peralatan khusus dengan 106 kamera dengan sensor kedalaman yang semuanya mengarah ke volume silinder di dalamnya center dan maksimal dua aktor dapat berdiri dalam volume itu dan menampilkan penampilan mereka,” kata Taylor kepada Digital Tren. “Semua kamera dan sensor ini menangkap hal tersebut, dan banyak pemrosesan serta perangkat lunak yang menyatukannya menjadi salinan digital yang benar-benar dapat dipercaya dan solid dari performa tersebut.”

Hal ini tidak hanya memberi para pengembang representasi 3D yang akurat tentang keberadaan para aktor tersebut dan bagaimana mereka berpose pada waktu tertentu, namun juga kesan video yang hampir foto-realistis tentang mereka.

“Versi mentah dari rekaman tersebut adalah serangkaian besar model OBJ yang semuanya secara unik berbeda satu sama lain dan kemudian tekstur video yang dibungkus di atasnya,” kata Taylor.

Pelopor awal dalam penggunaannya, penangkapan volumetrik bukanlah sesuatu yang dapat dilakukan sendiri oleh Start VR. Ini membutuhkan bantuan Microsoft.

Mitra dansa yang tepat

Di salah satu segmen yang lebih menggembirakan dari Bangun: Episode Satu, protagonis kita, Harry, berbagi tarian dengan rekannya dengan gambar yang terpampang di dinding dalam game seolah-olah dari proyektor yang tidak terlihat. Sama seperti karakter-karakter yang bertemu satu sama lain dalam dunia game, Start VR memerlukan mitra khusus untuk membantu menciptakan pertunjukan volumetrik yang menjadi inti dari permainan. Bangun pengalaman.

“Kami melakukan beberapa pengujian awal yang sangat kasar dengan teknologi ini dengan a Microsoft Kinect dan sebuah Kamera Canon 7D digabungkan dan hasilnya sangat lucu,” jelas Taylor. “Tetapi ada sesuatu dalam pengalaman berada di dalam VR dan mengetahui bahwa Anda sedang melihat dunia nyata orang […] Anda perlu sedikit lebih dekat untuk melintasi lembah yang luar biasa untuk memberi Anda koneksi yang sangat baik pengalaman. Itu adalah momen yang sangat menarik dan merupakan awal mula bisnis kami.”

Awalnya Start VR mempertimbangkan untuk mengembangkan rig penangkapan volumetriknya sendiri, namun kompleksitas dalam mengelola fasilitas tersebut, serta biaya di muka yang diperlukan untuk memperoleh dan mengonfigurasi begitu banyak kamera dan sensor kedalaman terlalu mahal mempertimbangkan.

Tim tersebut menghabiskan beberapa tahun untuk mencari pemasok dan studio lokal yang memiliki pengaturan pengambilan volumetrik sendiri. Tak satu pun dari mereka dapat melakukan apa yang diinginkan Start VR, yaitu tidak hanya merekam pertunjukan, tetapi juga dapat menyalakannya kembali setelah rekaman. Salah satu aspek paling unik dari Bangun adalah bahwa pemain, meskipun kemungkinan interaktifnya terbatas, dapat melepaskan titik cahaya kecil dari tangan virtualnya, yang dapat menerangi area pengalaman yang gelap.

Satu-satunya perusahaan yang memungkinkan hal ini, serta menghadirkan sistem penangkapan gerak yang dibutuhkan Start VR, adalah Microsoft.

“Baru setelah kami muncul studio mereka bahwa kami menyadari apa yang diperlukan untuk membuat ini berhasil,” lanjut Taylor. “Jumlah komputer, kekuatan pemrosesan, perangkat keras, dan infrastruktur membuat kami berpikir. Saya langsung berpikir tidak mungkin kami bisa melakukan ini tanpa tingkat kegeraman seperti ini.”

Dari bintang hingga layar

Setelah penampilan para aktor terekam, membawa mereka ke dalam lingkungan game bukanlah hal yang mudah. Start VR merintis jejak dalam perangkat lunak dan perangkat keras.

“Tantangan besar lainnya adalah [membangun] pengalaman dalam mesin Unreal,” jelas Taylor. “Plugin ini tidak ada untuk menerima pencahayaan dinamis. Kami harus melakukan fungsi dasar seperti membuat titik masuk dan titik keluar. Jika dua karakter difilmkan dalam volume yang sama, kami harus memisahkannya dan menempatkannya di sisi ruangan yang berbeda.”

Setelah hal tersebut terselesaikan dan pengalaman mulai muncul, masalah besar berikutnya adalah pengoptimalan. Start VR bekerja sama dengan Nvidia untuk mendapatkan pengalaman berjalan lancar di GTX 1080 Ti kartu grafik dan kemudian mulai turun ke bawah untuk melihat jenis pemotongan apa yang dapat dilakukan agar pengalaman dapat berjalan pada perangkat keras yang lebih lemah.

Bangun saat ini menawarkan dua mode permainan. Opsi fidelitas tinggi sejauh ini merupakan pengalaman yang lebih menyenangkan, meskipun Start VR menyarankan hal itu sebuah GTX 1080 sebagai spesifikasi minimum yang diperlukan. Kami berhasil menjalankannya pada AMD Radeon Fury X, tetapi frame rate terkadang tersendat-sendat. Opsi standar jauh lebih mudah dimaafkan, tetapi visualnya sangat berpengaruh.

Namun hal ini tidak selalu terjadi pada teknologi semacam ini. CEO Start VR, Kain Tietzel mengatakan kepada Digital Trends bahwa dia yakin Nvidia dapat memanfaatkan perangkat keras yang dipesan lebih dahulu (mungkin mirip dengan inti Tensor dan RT yang ditemukan di kartu grafis RTX-nya) untuk menawarkan peningkatan kinerja untuk pengambilan video volumetrik.

“Belum ada yang benar-benar menulis sesuatu yang spesifik untuk menangani rendering semacam ini,” katanya. “Ketika permintaan meningkat dan produksi mulai menjadi lebih umum, saya membayangkan kita akan memulainya melihat Nvidia memiliki akselerasi perangkat keras khusus untuk membuat kinerja lebih baik dan lebih baik realistis."

Ukuran instalasi juga menjadi perhatian utama bagi Start VR.

“Pengambilan data mentah adalah 10GB per detik dari pengambilan volumetrik mentah sehingga ada banyak pekerjaan yang harus dilakukan untuk memeras 15 menit menjadi [unduhan] 10GB,” kata Taylor. “Ini menggunakan plugin terbaru dan terhebat dalam Unreal Engine. Kami benar-benar mendorong mesin untuk melakukan hal-hal yang tidak dapat dilakukan secara alami. Kami sedang mengerjakannya setiap hari.”

Start VR dapat memilih model dengan fidelitas yang lebih tinggi daripada yang digunakan sekarang. Implementasi sebelumnya dari penangkapan volumetrik seperti Pabrik 42 “Pegang Dunia“ pengalaman pendidikan yang dibawakan oleh David Attenborough, terlihat lebih baik daripada Bangun dalam beberapa hal. Itu karena mereka hanya memberikan pengalaman realitas virtual gerak tiga derajat. Mereka juga memusatkan seluruh perhatian pada wajah dan tubuh bagian atas.

“Anda dapat menambah jumlah poligon yang kami izinkan [masuk Bangun] langsung ke wajah lalu menjadi resolusi super tinggi,” jelas Taylor. “Ada beberapa trade-off yang kami pilih di sana. Kami memilih untuk mengambil foto seluruh tubuh karena kami ingin orang dapat melihat setiap bagian dari karakter, dan berjalan di sekitar mereka. Saya telah melihat orang-orang berguling-guling di lantai untuk melihat apakah karakternya gigih.”

Bermain dengan hologram

Bagaimanapun juga diperlukan usaha dan pertimbangan khusus untuk membuat kerajinan tersebut Bangun pengalaman yang banyak, hasil akhirnya adalah sesuatu yang sangat berbeda dari apa yang biasa dialami oleh sebagian besar gamer. “Tekstur” karakternya bervariasi, mulai dari yang sangat detail di wajahnya, hingga yang kasar dan buram di area yang sulit dijangkau. Perpaduan antara gerakan yang sangat realistis dan model yang agak kotak-kotak mengingatkan kita pada rilisan Rockstar tahun 2011, LA Noire dengan gaya visualnya yang unik. Atau seolah-olah seseorang telah membungkus video UHD di atas cangkang karakter Xbox asli.

Ini jauh dari sempurna, dengan teknologi yang berjuang khususnya dengan celah antara jari dan rambut, dan garis karakter yang agak kotak-kotak. Namun hal ini menarik dengan cara yang jarang ditemukan dalam pengalaman realitas virtual atau simulasi lainnya, dan hal ini memiliki potensi besar untuk jenis pengalaman interaktif yang berbeda.

Sementara tangkapan layar dari Bangun mungkin memiliki suasana lembah yang luar biasa, saat Anda benar-benar berada di dalamnya Bangun dunia, ada sesuatu tentang penangkapan volumetrik yang sepenuhnya menghambat depresi tersebut. Para aktornya tidak terlihat sempurna, tapi mereka terlihat nyata, dan itu adalah sesuatu yang tidak bisa dikatakan bahkan untuk model CGI yang menangkap gerak terbaik sekalipun.

Perendaman dalam dunia maya juga ditingkatkan dengan memaksa Anda untuk mengambil langkah mundur darinya. Anda bukan peserta di dunia ini. Anda seorang intip. Untuk Start VR, itulah rencananya selama ini.

“[Pembuat film lain] selalu merasa terdorong untuk membuat para pemain dalam adegan itu melihat Anda, ke kamera, dan saya tidak tahu apakah itu selalu berhasil,” kata Tietzel kepada Digital Trends. “Jika Anda terus-menerus diperlakukan seolah-olah Anda harus diperhatikan, saya pikir itu mengubah sifat penampilan dan saya Saya pikir jarang sekali Anda benar-benar melihat pertunjukan yang dapat dipercaya di depan kamera dan Anda memang seharusnya bereaksi terhadapnya mereka."

https://www.facebook.com/startvr/photos/a.558965407540304/1534047166698785/

Itu tidak berarti bahwa Anda tidak pernah merasa terlibat dalam adegan tersebut Bangun. Ada saat-saat, khususnya yang dibuat, di mana Anda berakhir berhadapan dengan sebuah karakter, memberi Anda kejutan bertanya-tanya apakah mereka dapat melihat Anda atau tidak. Ini tidak membuat Anda keluar dari pengalaman tersebut, tetapi mengingatkan Anda pada peran voyeuristik Anda dalam adegan tersebut. Bahkan, hal ini meningkatkan betapa personalnya cerita tersebut, meskipun ada petunjuk tentang narasi yang lebih luas di luar episode pertama ini.

(Lucid) memimpikan masa depan

Start VR memiliki delapan episode yang direncanakan untuk Bangun seri sudah, dengan Taylor telah menghabiskan waktu bertahun-tahun menyusun cerita yang bersifat pribadi dan ekspansif. Saat episode tersebut diluncurkan, kami diberitahu bahwa akan ada banyak peningkatan.

“Teknologi, akurasi, frame rate akan berubah secara dramatis,” kata Tietzel kepada Digital Trends. “Bahkan memahami bagaimana kita menerangi dan mengarahkan pertunjukan – cara terbaik untuk menampilkan penampilan para aktor di ruang tersebut juga akan berubah. Ini adalah pengalaman pembelajaran.”

Selain memperluas keahlian mereka dalam mengarahkan aktor dan pengembangan game VR, Start VR juga berupaya dengan Microsoft untuk terus meningkatkan teknik penangkapan volumetrik untuk menghadirkan kerutan baru pada dunia maya kanvas.

“Memiliki karakter yang memperhatikan Anda adalah salah satu cara untuk menceritakan sebuah cerita dan menurut saya ada variasi yang dapat kita tambahkan pada eyeline,” Taylor menyoroti. “Kami bekerja sama dengan Microsoft untuk mengontrol gerakan kepala karakter agar dapat berbalik dan mengunci Anda hingga sekitar 30 derajat di kedua sisi posisi yang direkam […] Juga memaksa orang untuk melakukan hal-hal yang reaktif. Jadi ada saat-saat di mana karakter tersebut mengulurkan tangan untuk memberi Anda sesuatu. Apakah Anda merasa terdorong untuk mencoba melepaskannya? Kami mencoba berbagai cara untuk terhubung dengan karakter, bukan sekadar melihatnya.”

Start VR juga berencana untuk bereksperimen dengan berbagai lingkungan (Bangun: Episode Satu terjadi hampir secara eksklusif di satu tempat. Mungkin satu setengah), namun di luar lingkup realitas virtual, Taylor dan Tietzel merasa eksperimen mereka dengan penangkapan volumetrik akan paling mudah dirasakan.

“Kami sudah menjajaki apa artinya membawa rekaman semacam ini ke dalam augmented reality, dan pertunjukan kehidupan nyata di dunia nyata adalah langkah selanjutnya,” kata Tietzel. “Tes awal di bidang ini telah memberikan beberapa hasil yang menarik.”

Pengalaman ini dan episode pertama Mulai VR Bangun menyoroti potensi menarik dari penangkapan volumetrik. Mereka menghindarinya gangguan kinerja teknologi seperti ray tracing untuk pencahayaan dalam game yang realistis dan menghadirkan sesuatu yang dapat dipercaya dari dekat, meskipun masih ada sedikit cacat.

Bangun: Episode Satu adalah langkah pertama yang menarik dalam perjalanan naratif, namun ini merupakan lompatan yang lebih besar lagi bagi peningkatan teknologi yang membantu melahirkannya ke dunia. Kami bersemangat untuk apa Bangun cerita dan teknologi penangkapan yang mungkin dikembangkan oleh perusahaan ini, dan bayangkan kita akan melihat lebih banyak lagi teknologi keduanya di masa depan.

Bangun: Episode Satu tersedia di Uap Dan pelabuhan hidup dengan harga $8.

Rekomendasi Editor

• Menghadirkan game Star Wars VR terbaik ke PlayStation VR2 bukanlah hal yang sulit, kata pengembang
• Permainan tag laser realitas campuran yang mengesankan mungkin merupakan andalan baru VR
• Jika Anda menginginkan Quest 2, belilah satu sebelum ada kenaikan harga yang besar minggu depan
• Apa Golfnya? sekuelnya, Twilight Zone VR, dan lainnya ditampilkan di streaming UploadVR
• Among Us VR, Ghostbusters, dan lainnya akan hadir di Meta Quest 2