Awake: Hologramy wolumetryczne z odcinka pierwszego to nowy widok

Przeczytaj dowolny obszerne pokrycie rzeczywistości wirtualnej i niewątpliwie co najmniej raz czy dwa razy spotkacie się ze słowem „zanurzenie”. To stosunkowo niejasne określenie na poczucie obecności w wirtualnym świecie, ale jest ono tak bliskie, jak tylko się dowiemy. po zapewnienie pojedynczego punktu odniesienia do oceny sukcesu twórcy VR w tworzeniu wiarygodnego filmu doświadczenie.

Większość programistów wykorzystuje podobną technikę, aby osiągnąć zanurzenie. Działają w ramach istniejących zestawów słuchawkowych do rzeczywistości wirtualnej i tworzą sceny na małą skalę o wysokiej jakości z dźwiękiem binauralnym. Jeśli wykonają wystarczająco dobrą robotę, może się okazać, że wędrujesz do Dolina niesamowitości. Rzadko zdarza się wspinać się na wzniesienie po drugiej stronie – a jednak właśnie o to chodzi Obudzony z domu produkcyjnego wirtualnej rzeczywistości Uruchom wirtualną rzeczywistość próbuje to zrobić.

Jego pierwszy odcinek trwający około 20 minut to lekko interaktywne kinowe doświadczenie VR, które przedstawia wciągającą historię wokół tematu świadomego śnienia. Ale niezależnie od tego, jak intrygująca jest narracja, jest to technika przechwytywania wolumetrycznego zastosowana do jej stworzenia Obudzonynajbardziej uderzający element.

Efektem końcowym są postacie o niezwykle realistycznej mimice, ruchach i gestach. To nie jest przechwytywanie ruchu piłką pingpongową. To coś zupełnie innego.

**Łagodne spoilery dla Przebudźcie się historia może pojawić się w poniższym wywiadzie.**

A więc długie piłeczki do ping-ponga, witajcie hologramy

„Technika, która Obudzony został specjalnie napisany wokół wideo wolumetrycznego” – wyjaśnił twórca i reżyser Martin Taylor. „Jest to więc nowy rodzaj rejestrowania występów, który uwzględnia cały występ aktora, w tym cały ubiór i pełną ekspresję, i ujmuje je w postaci hologramu filmowego”.

Różni się to bardzo od technik przechwytywania ruchu używanych do tworzenia większości postaci w grach zarówno do doświadczeń w wirtualnej rzeczywistości, jak i do bardziej tradycyjnych gier 2D. Podczas gdy te wykorzystują próbki ruchów do tworzenia modeli 3D, które są poddawane skórce w celu ożywienia wirtualnych postaci, przechwytywanie wolumetryczne rejestruje całą osobę. Wewnątrz i na zewnątrz, że tak powiem.

„Wykorzystuje specjalny zestaw ze 106 kamerami z czujnikami głębokości, wszystkie skierowane w stronę cylindrycznej objętości w centrum, w którym może występować maksymalnie dwóch aktorów” – Taylor powiedziała Digital Trendy. „Wszystkie te kamery i czujniki to rejestrują, a mnóstwo przetwarzania i oprogramowania łączy to w całkowicie wiarygodną i solidną cyfrową kopię występu”.

Daje to twórcom nie tylko dokładną reprezentację 3D tego, gdzie znajdują się ci aktorzy i jak są ustawieni w danym momencie, ale także niemal fotorealistyczne wrażenie wideo.

„Nieprzetworzona wersja przechwyconych materiałów to ogromna seria modeli OBJ, które różnią się od siebie w sposób wyjątkowy, a na wierzch nałożona jest tekstura wideo” – powiedział Taylor.

Jako pierwsi pionierzy w użyciu, przechwytywanie wolumetryczne nie było czymś, co Start VR mógł wykonać samodzielnie. Potrzebna była pomoc Microsoftu.

Właściwy partner do tańca

W jednym z bardziej podnoszących na duchu fragmentów Przebudźcie się: odcinek pierwszy, nasz bohater, Harry, tańczy ze swoim partnerem, a obraz pojawia się na ścianie w grze, jakby pochodził z niewidzialnego projektora. Gdy te postacie odnalazły się w uniwersum gry, Start VR potrzebował konkretnego partnera, który pomógłby stworzyć wolumetryczne spektakle, które stanowią centralny element Przebudźcie się doświadczenie.

„Przeprowadziliśmy kilka bardzo prymitywnych wczesnych testów tej technologii za pomocą: Microsoftu Kinect i a Aparat Canona 7D połączone razem, a wyniki były komicznie prymitywne” – wyjaśnił Taylor. „Ale było coś w doświadczeniu przebywania w rzeczywistości wirtualnej i świadomości, że patrzysz na rzeczywistość osoba […] Trochę przybliżyłeś się do przebycia niesamowitej doliny, aby zapewnić ci doskonałe połączenie doświadczenie. To był naprawdę ekscytujący moment, bardzo wcześnie w naszej działalności.”

Początkowo firma Start VR rozważała opracowanie własnego urządzenia do przechwytywania wolumetrycznego, ale złożoność zarządzania takim obiektem a także początkowe koszty związane z zakupem i konfiguracją tak wielu kamer i czujników głębokości były zbyt wysokie rozważać.

Zespół spędził kilka lat na przyglądaniu się lokalnym dostawcom i studiom posiadającym własne konfiguracje do przechwytywania wolumetrycznego. Żaden z nich nie potrafił zrobić tego, czego chciał Start VR, czyli nie tylko rejestrować występy, ale móc je ponownie naświetlić po nagraniu. Jeden z najbardziej unikalnych aspektów Obudzony polega na tym, że gracz, choć ma ograniczone możliwości interaktywne, może uwolnić małe drobinki światła ze swoich wirtualnych dłoni, które mogą oświetlić zacienione obszary doświadczenia.

Jedyną firmą, która to umożliwiła, a także dostarczyła system przechwytywania ruchu potrzebny Start VR, był Microsoft.

„Dopiero kiedy pojawiliśmy się o godz ich studio że zdaliśmy sobie sprawę, co jest potrzebne, aby to zadziałało” – kontynuował Taylor. „Ilość komputerów, surowa moc obliczeniowa, sprzęt i infrastruktura dała nam do myślenia. Od razu pomyślałem, że nie ma mowy, abyśmy mogli tego dokonać bez takiego poziomu chrząknięcia.

Od gwiazd po ekrany

Po zarejestrowaniu występów aktorów wprowadzenie ich do środowiska gry nie było łatwym zadaniem. Start VR przetarł szlaki zarówno pod względem oprogramowania, jak i sprzętu.

„Innym dużym wyzwaniem było [budowanie] doświadczenia na silniku Unreal” – wyjaśnił Taylor. „Wtyczka nie istniała, aby akceptować dynamiczne oświetlenie. Musieliśmy wykonać podstawowe funkcje, takie jak utworzenie punktu początkowego i końcowego. Jeśli w tym samym tomie kręcono dwie postacie, musieliśmy je rozdzielić i umieścić po różnych stronach pokoju.

Kiedy problem został rozwiązany i doświadczenie zaczęło się łączyć, kolejnym poważnym problemem była optymalizacja. Start VR ściśle współpracowało z firmą Nvidia, aby zapewnić płynne działanie na karcie GTX 1080 Ti karta graficzna a następnie zaczął pracować w dół, aby zobaczyć, jakie zmiany można wprowadzić, aby umożliwić działanie na słabszym sprzęcie.

Obudzony oferuje obecnie dwa tryby zabawy. Opcja wysokiej wierności jest zdecydowanie przyjemniejszym doświadczeniem, chociaż Start VR to sugeruje GTX1080 jako minimalna wymagana specyfikacja. Udało nam się go uruchomić na AMD Radeon Fury X, ale czasami liczba klatek na sekundę się zacinała. Opcja standardowa wybacza dużo więcej, ale oprawa wizualna znacząco ucierpiała.

Jednak nie zawsze tak jest w przypadku tego rodzaju technologii. Dyrektor generalny Start VR, Kain Tietzel, powiedział Digital Trends, że jego zdaniem Nvidia może wykorzystać sprzęt na zamówienie (być może podobny do rdzeni Tensor i RT dostępnych w swoich kart graficznych RTX), aby zapewnić lepszą wydajność w przypadku przechwytywania wolumetrycznego wideo.

„Nikt tak naprawdę nie napisał nic konkretnego na temat obsługi tego rodzaju renderowania” – powiedział. „Wyobrażam sobie, że zaczniemy, gdy popyt wzrośnie, a produkcja stanie się bardziej powszechna widząc, że Nvidia ma dedykowane przyspieszenie sprzętowe, aby wydajność była coraz większa realistyczny."

Rozmiar instalacji był również głównym problemem Start VR.

„Przechwytywanie nieprzetworzone wynosi 10 GB na sekundę w przypadku przechwytywania wolumetrycznego, więc zmieszczenie 15 minut w 10 GB [pobierania] wymaga dużo pracy” – powiedział Taylor. „Wykorzystuje najnowszą i najlepszą ze wszystkich wtyczek w Unreal Engine. Zdecydowanie zmuszamy silnik do robienia rzeczy, których natywnie nie robi. Pracujemy nad tym codziennie.”

Start VR mógłby zdecydować się na modele o jeszcze większej wierności niż obecnie. Wcześniejsze implementacje przechwytywania wolumetrycznego, takie jak Fabryka 42”Trzymaj świat“ doświadczenie edukacyjne prowadzone przez Davida Attenborough, wyglądają lepiej niż Obudzony w pewnym sensie. Dzieje się tak dlatego, że zapewniają wrażenia wirtualnej rzeczywistości o zaledwie trzech stopniach ruchu. Skupiają także całą uwagę na twarzy i górnej części ciała.

„Można zwiększyć liczbę wielokątów, na którą pozwalamy [in Obudzony] prosto w twarz, a następnie uzyskuje się bardzo wysoką rozdzielczość” – wyjaśnił Taylor. „Wybieramy tam pewne kompromisy. Zdecydowaliśmy się na ujęcia całego ciała, ponieważ chcemy, aby ludzie mogli zobaczyć każdą część postaci i przejść się po niej. Widziałem ludzi tarzających się po podłodze, żeby sprawdzić, czy bohaterowie są wytrwali”.

Zabawa z hologramami

Mimo całego wysiłku i szczególnej uwagi potrzebnej do rzemiosła Przebudźcie się wolumetryczne, efekt końcowy będzie zupełnie inny od tego, do czego przywykła większość graczy. „Tekstury” postaci różnią się od niezwykle szczegółowych na twarzach po szorstkie i rozmyte w trudniej dostępnych obszarach. Mieszanka niezwykle realistycznego ruchu i nieco blokowych modeli przypomniała nam premierę Rockstara z 2011 roku, Los Angeles Noire z unikalnym stylem wizualnym. Lub tak, jakby ktoś owinął wideo UHD na obudowę oryginalnej postaci Xbox.

Daleko mu do doskonałości, gdyż technologia boryka się szczególnie z przerwami między palcami i włosami oraz nieco blokowym zarysem postaci. Ale jest to wciągające w sposób, który rzadko można znaleźć w wirtualnej lub jakiejkolwiek innej symulowanej rzeczywistości, i kryje w sobie ogromny potencjał dla innego rodzaju interaktywnych doświadczeń.

Podczas gdy zrzuty ekranu z Obudzony mogą mieć niesamowitą atmosferę doliny, kiedy tam jesteś Przebudźcie się świecie, jest coś w przechwytywaniu wolumetrycznym, co całkowicie przełamuje tę depresję. Aktorzy nie wyglądają idealnie, ale wyglądają realistycznie, czego nie można powiedzieć nawet o najlepszych modelach CGI rejestrowanych w ruchu.

To zanurzenie w wirtualnym świecie jest też w jakiś sposób wzmocnione, zmuszając do cofnięcia się od niego o krok. Nie jesteś uczestnikiem tego świata. Jesteś podglądaczem. W przypadku Start VR taki był plan od początku.

„[Inni filmowcy] zawsze czują się zobowiązani, aby aktorzy obecni na scenie patrzyli na ciebie, na kamerę, i nie wiem, czy to zawsze działa” – Tietzel powiedział Digital Trends. „Jeśli ciągle jesteś traktowany tak, jakbyś musiał na ciebie patrzeć, myślę, że zmienia to charakter występu i mnie myślisz, że rzadko zdarza się, że widzisz wiarygodne występy grające przed kamerą, na które powinieneś zareagować ich."

https://www.facebook.com/startvr/photos/a.558965407540304/1534047166698785/

Nie oznacza to, że nigdy nie czujesz się zaangażowany w scenę Obudzony. Są chwile, specjalnie zaprojektowane, w których lądujesz na linii wzroku postaci, wywołując dreszcze zdziwienia, czy ona cię widzi, czy nie. Nie wyciąga cię to z doświadczenia, ale przypomina o twoim voyerystycznym rolowaniu się na scenie. W każdym razie zwiększa to osobisty charakter tej historii, pomimo wskazówek dotyczących bardziej ekspansywnej narracji wykraczającej poza pierwszy odcinek.

(Świadome) marzenie o przyszłości

Start VR ma zaplanowanych osiem odcinków Obudzony już serial, a Taylor spędził już lata na tworzeniu historii, która jest zarówno osobista, jak i ekspansywna. Powiedziano nam, że w miarę pojawiania się tych odcinków możemy spodziewać się wielu ulepszeń.

„Technologia, dokładność i liczba klatek na sekundę ulegną radykalnym zmianom” – Tietzel powiedział Digital Trends. „Nawet zrozumienie, w jaki sposób oświetlamy i reżyserujemy przedstawienia – jaki jest najlepszy sposób na wydobycie aktorów z danej przestrzeni, również się zmieni. To pouczające doświadczenie.”

Oprócz poszerzania własnej wiedzy o reżyserowaniu aktorów i tworzeniu gier VR, Start VR pracuje również z firmą Microsoft w celu dalszego udoskonalania techniki przechwytywania wolumetrycznego, aby wprowadzić nowe zmarszczki do rzeczywistości wirtualnej płótno.

„Powodowanie, że postać cię zauważa, to jeden ze sposobów opowiedzenia historii i już myślę, że pojawią się nowe warianty, w których będziemy mogli dodać linię wzroku” – podkreśliła Taylor. „Współpracujemy z Microsoftem, aby kontrolować ruchy głowy postaci, aby móc się do ciebie odwrócić i namierzyć do około 30 stopni w każdą stronę zarejestrowanej pozycji […] Zmusza również ludzi do robienia rzeczy reaktywnych. Są więc chwile, w których postać wyciąga rękę, aby ci coś dać. Czy czujesz się zmuszony spróbować im to zdjąć? Próbujemy różnych sposobów nawiązania kontaktu z postacią, a nie tylko patrzenia na nią.

Start VR planuje także eksperymentować z wieloma środowiskami (Przebudźcie się: odcinek pierwszy odbywa się niemal wyłącznie w jednym. Może półtora), ale wykracza to poza zakres wirtualnej rzeczywistości i według Taylora i Tietzela ich eksperymenty z przechwytywaniem wolumetrycznym będą najłatwiej odczuwalne.

„Już badamy, co mogłoby oznaczać wprowadzenie tego rodzaju przechwytywania do rzeczywistości rozszerzonej, a następnym krokiem będą występy w prawdziwym świecie” – powiedział Tietzel. „Wczesne testy w tej dziedzinie przyniosły fascynujące wyniki”.

Te doświadczenia i pierwszy odcinek Start VR Obudzony podkreślić ekscytujący potencjał przechwytywania wolumetrycznego. Omijają spadki wydajności technologii takich jak ray tracing dla realistycznego oświetlenia w grze i dostarczenia czegoś, co jest wiarygodne z bliska, nawet jeśli nadal ma kilka wad.

Przebudźcie się: odcinek pierwszy to ekscytujący pierwszy krok w narracyjnej podróży, ale jest to jeszcze większy krok w stronę ulepszeń technologicznych, które pomogły w narodzinach tej gry na świecie. Jesteśmy podekscytowani czym Przebudźcie się historię i technologie przechwytywania, w jakie mogą ewoluować jej mistrzowie, i wyobraźcie sobie, że w przyszłości zobaczymy o wiele więcej ich obu.

Przebudźcie się: odcinek pierwszy jest dostępny na Para I Viveport z ceną 8 dolarów.

Zalecenia redaktorów

• Twórcy twierdzą, że przeniesienie najlepszej gry z serii Star Wars na PlayStation VR2 było oczywiste
• Imponująca gra w tagi laserowe w mieszanej rzeczywistości może być nowym asem w rękawie VR
• Jeśli chcesz Questa 2, kup go, zanim w przyszłym tygodniu nastąpi duża podwyżka cen
• Co za Golf? kontynuacja, Twilight Zone VR i nie tylko pokazane w strumieniu UploadVR
• Among Us VR, Ghostbusters i nie tylko w Meta Quest 2