Die volumetrischen Hologramme von Awake: Episode One sind ein neuer Anblick

Lesen Sie irgendwelche Umfangreiche Berichterstattung über die virtuelle Realität Und zweifellos wird Ihnen das Wort „Immersion“ mindestens ein- oder zweimal begegnen. Das ist ein relativ vager Begriff für das Gefühl der Präsenz in der virtuellen Welt, aber er kommt dem näher, was wir erreichen können um einen einzigartigen Bezugspunkt für die Messung des Erfolgs eines VR-Entwicklers bei der Erstellung eines glaubwürdigen Produkts zu bieten Erfahrung.

Die meisten Entwickler verwenden ähnliche Techniken, um Immersion zu erreichen. Sie arbeiten innerhalb der Grenzen bestehender Virtual-Reality-Headsets und erstellen kleine, hochauflösende Szenen mit binauralem Audio. Wenn sie ihre Arbeit gut genug machen, Sie könnten sich dabei ertappen, in die zu wandern unheimliches Tal. Es ist selten, den Anstieg auf der anderen Seite zu erklimmen – doch genau das ist es 

Wach vom Virtual-Reality-Produktionshaus Starten Sie VR versucht es zu tun.

Die etwa 20-minütige erste Folge ist ein leicht interaktives, filmisches VR-Erlebnis, das eine fesselnde Geschichte rund um das Thema Klarträumen erzählt. Aber so faszinierend die Erzählung auch ist, es ist die volumetrische Aufnahmetechnik, mit der sie erstellt wurde Wachist das auffälligste Element.

Das Endergebnis sind Charaktere mit unglaublich realistischen Gesichtsausdrücken, Bewegungen und Gesten. Dies ist keine Ping-Pong-Ball-Bewegungserfassung. Es ist etwas ganz anderes.

**Leichte Spoiler für Erwachet Die Geschichte kann im folgenden Interview enthalten sein.**

So lange Tischtennisbälle, hallo Hologramme

„Die Technik, die Wach „Es wurde speziell um volumetrisches Video geschrieben“, erklärte Schöpfer und Regisseur Martin Taylor. „Es handelt sich also um eine neue Art der Performance-Aufnahme, die die gesamte Leistung des Schauspielers einschließlich seiner gesamten Garderobe und seines gesamten Ausdrucks als filmisches Hologramm festhält.“

Dies unterscheidet sich stark von den Motion-Capture-Techniken, mit denen die meisten In-Game-Charaktere sowohl für Virtual-Reality-Erlebnisse als auch für traditionellere 2D-Spiele erstellt werden. Während diese Bewegungsproben verwenden, um 3D-Modelle zu erstellen, die gehäutet werden, um virtuelle Charaktere zum Leben zu erwecken, erfasst die volumetrische Erfassung die gesamte Person. Innen und außen sozusagen.

„Es wird ein spezielles Rig mit 106 Kameras und Tiefensensoren verwendet, die alle auf ein zylindrisches Volumen im Raum gerichtet sind In der Mitte können bis zu zwei Schauspieler in diesem Volumen stehen und ihre Darbietungen abliefern“, sagte Taylor gegenüber Digital Trends. „Alle diese Kameras und Sensoren erfassen das, und viel Verarbeitung und Software fügen es zu einer völlig glaubwürdigen und soliden digitalen Kopie der Aufführung zusammen.“

Dadurch erhalten die Entwickler nicht nur eine genaue 3D-Darstellung davon, wo sich diese Schauspieler zu einem bestimmten Zeitpunkt befinden und wie sie posieren, sondern auch einen nahezu fotorealistischen Videoeindruck von ihnen.

„Die Rohversion der Aufnahmen besteht aus einer riesigen Serie von OBJ-Modellen, die sich alle auf einzigartige Weise voneinander unterscheiden, und dann aus einer Videotextur, die darüber gelegt wird“, sagte Taylor.

Als einer der ersten Pioniere seiner Nutzung war die volumetrische Erfassung nichts, was Start VR allein leisten konnte. Es brauchte die Hilfe von Microsoft.

Der richtige Tanzpartner

In einem der erhebenderen Segmente von Awake: Episode Eins, tanzt unser Protagonist Harry mit seinem Partner, wobei das Bild wie von einem unsichtbaren Projektor über die Wand im Spiel gespritzt wird. So wie diese Charaktere im Universum des Spiels zueinander gefunden haben, benötigte Start VR einen bestimmten Partner, der dabei half, die volumetrischen Darbietungen zu erschaffen, die das Herzstück von bilden Erwachet Erfahrung.

„Wir haben mit dieser Technologie einige sehr grobe frühe Tests durchgeführt Microsoft Kinect und ein Canon 7D-Kamera zusammengefügt und die Ergebnisse waren komisch grob“, erklärte Taylor. „Aber es war einfach etwas Besonderes an der Erfahrung, sich in der VR zu befinden und zu wissen, dass man etwas Reales vor sich hat Person […] Es hat Sie der Überquerung des unheimlichen Tals ein Stück näher gebracht und Ihnen eine sehr verbundene Verbindung gegeben Erfahrung. Es war ein wirklich aufregender Moment und noch am Anfang unseres Geschäfts.“

Anfangs dachte Start VR über die Entwicklung einer eigenen volumetrischen Erfassungsanlage nach, aber die Komplexität der Verwaltung einer solchen Anlage, Auch die Vorabkosten für die Anschaffung und Konfiguration so vieler Kameras und Tiefensensoren waren zu hoch halten.

Das Team verbrachte ein paar Jahre damit, sich lokale Lieferanten und Studios mit ihren eigenen volumetrischen Aufnahmeeinrichtungen anzusehen. Keiner von ihnen konnte das tun, was Start VR wollte, nämlich Auftritte nicht nur aufzuzeichnen, sondern sie nach der Aufnahme auch wieder beleuchten zu können. Einer der einzigartigsten Aspekte von Wach besteht darin, dass der Spieler, obwohl seine interaktiven Möglichkeiten begrenzt sind, kleine Lichtpartikel aus seinen virtuellen Händen freisetzen kann, die schattige Bereiche des Erlebnisses erhellen können.

Das einzige Unternehmen, das dies ermöglichen und das von Start VR benötigte Motion-Capture-System liefern würde, war Microsoft.

„Erst als wir ankamen ihr Atelier dass wir erkannten, was nötig war, damit das funktioniert“, fuhr Taylor fort. „Die Menge an Computern, die reine Rechenleistung, die Hardware und die Infrastruktur haben uns zum Nachdenken gebracht. Ich dachte sofort, dass wir das ohne dieses Maß an Grunzen auf keinen Fall schaffen würden.“

Von Sternen bis zu Bildschirmen

Sobald die Darbietungen der Schauspieler festgehalten waren, war es keine leichte Aufgabe, sie in die Spielumgebung zu integrieren. Start VR hat sowohl in der Software als auch in der Hardware den Weg geebnet.

„Die andere große Herausforderung bestand darin, das Erlebnis in der Unreal-Engine aufzubauen“, erklärte Taylor. „Das Plugin existierte nicht, um dynamische Beleuchtung zu akzeptieren. Wir mussten grundlegende Funktionen wie das Erstellen eines In-Points und eines Out-Points ausführen. Wenn zwei Charaktere im gleichen Band gefilmt wurden, mussten wir sie aufteilen und auf verschiedenen Seiten des Raums platzieren.“

Sobald das gelöst war und die Erfahrungen zu vereinen begannen, war das nächste große Problem die Optimierung. Start VR arbeitete eng mit Nvidia zusammen, um das Erlebnis auf einer GTX 1080 Ti reibungslos zum Laufen zu bringen Grafikkarte und begann dann, sich nach unten zu arbeiten, um zu sehen, welche Kürzungen vorgenommen werden könnten, damit das Erlebnis auf schwächerer Hardware ausgeführt werden kann.

Wach bietet derzeit zwei Spielmodi. Die High-Fidelity-Option ist bei weitem das angenehmere Erlebnis, obwohl Start VR dies vorschlägt eine GTX 1080 als mindestens erforderliche Spezifikation. Wir haben es geschafft, es auf einer AMD Radeon Fury X zum Laufen zu bringen, aber die Bildraten stotterten zeitweise. Die Standardoption ist viel nachsichtiger, aber die Optik muss deutlich darunter leiden.

Dies ist jedoch bei dieser Art von Technologie möglicherweise nicht immer der Fall. Kain Tietzel, CEO von Start VR, sagte gegenüber Digital Trends, dass er glaubt, dass Nvidia maßgeschneiderte Hardware nutzen könnte (vielleicht ähnlich den Tensor- und RT-Kernen, die in zu finden sind). seine RTX-Grafikkarten), um eine verbesserte Leistung für volumetrische Videoaufnahmen zu bieten.

„Niemand hat wirklich etwas Spezielles für diese Art der Darstellung geschrieben“, sagte er. „Wenn die Nachfrage steigt und die Produktion immer häufiger vorkommt, denke ich, dass wir anfangen werden Nvidia verfügt über eine dedizierte Hardwarebeschleunigung, um die Leistung immer weiter zu steigern realistisch."

Auch die Installationsgröße war für Start VR ein großes Problem.

„Die Roherfassung beträgt 10 GB pro Sekunde, also ist es eine Menge Arbeit, 15 Minuten in einen 10-GB-[Download] zu quetschen“, sagte Taylor. „Es verwendet die neuesten und besten Plugins der Unreal Engine. Wir drängen die Engine definitiv dazu, Dinge zu tun, die sie von Haus aus nicht kann. Wir arbeiten täglich daran.“

Start VR könnte sich für Modelle mit noch höherer Wiedergabetreue entscheiden, als es derzeit verwendet wird. Frühere Implementierungen der volumetrischen Erfassung wie „Fabrik 42“Halte die Welt“ Bildungserfahrung, moderiert von David Attenborough, sieht besser aus als Wach in gewisser Hinsicht. Das liegt daran, dass sie ein Virtual-Reality-Erlebnis mit lediglich drei Bewegungsgraden bieten. Sie richten ihre ganze Aufmerksamkeit auch auf das Gesicht und den Oberkörper.

„Sie könnten die Anzahl der Polygone, die wir zulassen, erhöhen [in Wach] einfach ins Gesicht und dann wird es eine superhohe Auflösung“, erklärte Taylor. „Es gibt einige Kompromisse, die wir dort wählen. Wir haben uns für Ganzkörperaufnahmen entschieden, weil wir möchten, dass die Menschen jeden Teil der Figur sehen und um sie herumgehen können. Ich habe Leute gesehen, die sich auf dem Boden herumwälzten, um zu sehen, ob die Charaktere hartnäckig sind.“

Mit Hologrammen spielen

Nach all dem Aufwand und der besonderen Rücksichtnahme, die für die Herstellung erforderlich waren Erwachet Beim volumetrischen Erlebnis unterscheidet sich das Endergebnis deutlich von dem, was die meisten Spieler gewohnt sind. Die „Textur“ der Charaktere variiert von äußerst detailliert in ihren Gesichtern bis hin zu rücksichtslos und verschwommen an schwer zugänglichen Stellen. Die Mischung aus äußerst realistischer Bewegung und etwas blockigen Modellen erinnerte uns an die Veröffentlichung von Rockstar aus dem Jahr 2011. LA Noire mit seinem einzigartigen visuellen Stil. Oder als hätte jemand ein UHD-Video über die Hülle eines Original-Xbox-Charakters gewickelt.

Es ist alles andere als perfekt, da die Technik vor allem mit den Lücken zwischen den Fingern und Haaren und den leicht blockigen Umrissen der Charaktere zu kämpfen hat. Aber es ist auf eine Weise fesselnd, wie man sie selten in virtuellen oder anderen simulierten Realitätserlebnissen findet, und es birgt ein enormes Potenzial für eine andere Art interaktiver Erfahrung.

Während Screenshots von Wach Sie könnten eine unheimliche Valley-Atmosphäre haben, wenn man tatsächlich drin ist Erwachet Welt, es gibt etwas an der volumetrischen Erfassung, das diese Depression völlig überwindet. Die Schauspieler sehen nicht perfekt aus, aber sie sehen echt aus, und das kann man selbst von den besten Motion-Capture-CGI-Modellen nicht behaupten.

Das Eintauchen in die virtuelle Welt wird auch dadurch verstärkt, dass man gezwungen ist, einen Schritt zurückzutreten. Du bist kein Teilnehmer dieser Welt. Du bist ein Voyeur. Für Start VR war das von Anfang an der Plan.

„[Andere Filmemacher] fühlen sich immer dazu gezwungen, dass die Darsteller in der Szene einen in die Kamera schauen, und ich weiß nicht, ob das unbedingt immer funktioniert“, sagte Tietzel gegenüber Digital Trends. „Wenn du ständig so behandelt wirst, als müsstest du angeschaut werden, verändert das meines Erachtens die Art der Leistung und mich.“ Ich denke, es kommt selten vor, dass man tatsächlich glaubwürdige Darbietungen vor der Kamera sieht und darauf reagieren soll ihnen."

https://www.facebook.com/startvr/photos/a.558965407540304/1534047166698785/

Das heißt nicht, dass man sich nie in die Szene eingebunden fühlt Wach. Es gibt Momente, die speziell gestaltet sind, in denen Sie im Blickfeld einer Figur landen und Sie sich fragen, ob sie Sie sehen kann oder nicht. Es reißt Sie nicht aus dem Erlebnis heraus, sondern erinnert Sie an Ihre voyeuristische Rolle in der Szene. Wenn überhaupt, unterstreicht es, wie persönlich die Geschichte ist, trotz der Hinweise auf eine umfassendere Erzählung über diese erste Episode hinaus.

(Luzides) Träumen von der Zukunft

Für Start VR sind acht Episoden geplant Wach Die Serie ist bereits in Serie, und Taylor hat bereits Jahre damit verbracht, eine Geschichte zu erschaffen, die sowohl persönlich als auch umfangreich ist. Mit der Veröffentlichung dieser Episoden können wir viele Verbesserungen erwarten, wurde uns gesagt.

„Die Technologie, die Genauigkeit und die Bildrate werden sich dramatisch ändern“, sagte Tietzel gegenüber Digital Trends. „Selbst das Verständnis, wie wir Aufführungen beleuchten und inszenieren – wie wir die Darbietungen der Schauspieler in diesem Raum am besten herausholen, wird sich ebenfalls ändern.“ Das ist eine Lernerfahrung.“

Neben der Erweiterung der eigenen Expertise in der Regie von Schauspielern und der Entwicklung von VR-Spielen arbeitet Start VR auch daran mit Microsoft, um die volumetrische Erfassungstechnik weiter zu verbessern, um dem Virtuellen neue Falten zu verleihen Leinwand.

„Eine Möglichkeit, eine Geschichte zu erzählen, besteht darin, dass die Figur auf einen aufmerksam wird, und ich denke, es werden sich bereits Variationen ergeben, bei denen wir die Augenlinie hinzufügen können“, betonte Taylor. „Wir arbeiten mit Microsoft zusammen, um die Kopfbewegung des Charakters zu steuern, damit er sich umdrehen und an Sie binden kann bis zu etwa 30 Grad auf beiden Seiten der aufgezeichneten Position […] Zwingt Menschen auch dazu, reaktive Dinge zu tun. Es gibt also Momente, in denen die Figur die Hand ausstreckt, um einem etwas zu geben. Fühlen Sie sich gezwungen, ihnen das abzunehmen? Es sind diese verschiedenen Arten, eine Verbindung zu einer Figur herzustellen, anstatt sie nur anzuschauen, die wir versuchen.“

Start VR plant außerdem, mit mehreren Umgebungen zu experimentieren (Awake: Episode Eins findet fast ausschließlich in einem statt. Vielleicht anderthalb), aber Taylor und Tietzel sind der Meinung, dass ihre Experimente mit der volumetrischen Erfassung außerhalb des Rahmens der virtuellen Realität am deutlichsten zu spüren sein werden.

„Wir untersuchen bereits, was es bedeuten könnte, diese Art der Erfassung in die erweiterte Realität zu übertragen, und reale Auftritte in der realen Welt sind der nächste Schritt“, sagte Tietzel. „Erste Tests in diesem Bereich haben einige faszinierende Ergebnisse geliefert.“

Diese Erfahrungen und die erste Folge von Start VR Wach unterstreichen das spannende Potenzial der volumetrischen Erfassung. Sie umgehen das Leistungseinbußen bei Technologien wie Raytracing für eine realistische Beleuchtung im Spiel und liefern Sie etwas, das aus der Nähe glaubhaft ist, auch wenn es noch ein paar Schönheitsfehler aufweist.

Awake: Episode Eins ist ein aufregender erster Schritt auf einer narrativen Reise, aber es ist ein noch größerer Sprung in Bezug auf die technologische Weiterentwicklung, die dazu beigetragen hat, dass es auf die Welt kam. Wir sind gespannt auf was Erwachet Die Geschichte und die Aufnahmetechnologien, für die sie sich einsetzt, könnten sich weiterentwickeln, und ich stelle mir vor, dass wir in Zukunft noch viel mehr davon sehen werden.

Awake: Episode Eins ist verfügbar auf Dampf Und Viveport mit einem Preis von 8 $.

Empfehlungen der Redaktion

• Das beste Star Wars-Spiel von VR auf PlayStation VR2 zu bringen, war laut Entwicklern eine Selbstverständlichkeit
• Beeindruckendes Mixed-Reality-Laser-Tag-Spiel könnte das neue Ass im VR sein
• Wenn Sie ein Quest 2 möchten, kaufen Sie eines, bevor es nächste Woche zu einer großen Preiserhöhung kommt
• Was zum Golf? Fortsetzung, Twilight Zone VR und mehr im UploadVR-Stream gezeigt
• Among Us VR, Ghostbusters und mehr kommen zu Meta Quest 2