Lees een uitgebreide dekking van virtual reality en ongetwijfeld zul je het woord ‘onderdompeling’ minstens een of twee keer tegenkomen. Dat is een relatief vage term voor het gevoel van aanwezigheid in de virtuele wereld, maar het komt er zo dicht mogelijk in de buurt. om een uniek referentiepunt te bieden voor het meten van het succes van een VR-ontwikkelaar bij het maken van een geloofwaardige film ervaring.
Inhoud
- Dus lange pingpongballen, hallo hologrammen
- De juiste danspartner
- Van sterren tot schermen
- Spelen met hologrammen
- (Lucide) dromen over de toekomst
De meeste ontwikkelaars gebruiken een vergelijkbare techniek om onderdompeling te bereiken. Ze werken binnen de grenzen van bestaande virtual reality-headsets en maken kleinschalige, hifi-scènes met binaurale audio. Als ze het maar goed genoeg doen, misschien loop je wel eens rond in de griezelige vallei. Het komt zelden voor dat je de heuvel aan de andere kant beklimt, maar dat is precies wat Wakker van een virtual reality-productiehuis VR starten probeert te doen.
Aanbevolen video's
De eerste aflevering van ongeveer 20 minuten is een licht interactieve filmische VR-ervaring die een boeiend verhaal oplevert rond het thema lucide dromen. Maar hoe intrigerend het verhaal ook is, het is de volumetrische opnametechniek die wordt gebruikt om het te maken Wakker’s meest opvallende element.
Het eindresultaat zijn personages met ongelooflijk realistische gezichtsuitdrukkingen, bewegingen en gebaren. Dit is geen pingpongbal-bewegingsregistratie. Het is iets heel anders.
** Milde spoilers voor Ontwaakt verhaal kan aanwezig zijn in het volgende interview.**
Dus lange pingpongballen, hallo hologrammen
“De techniek die Wakker waar speciaal over geschreven is, is volumetrische video”, legt bedenker en regisseur Martin Taylor uit. “Het is dus een nieuw soort prestatieregistratie waarbij de volledige uitvoering van de acteur, inclusief de hele garderobe en de volledige expressie, wordt vastgelegd als een filmisch hologram.”
Volumetrische opname was niet iets dat Start VR alleen kon uitvoeren. Het had de hulp van Microsoft nodig.
Dit is heel anders dan de motion capture-technieken die worden gebruikt om de meeste in-game personages te maken voor zowel virtual reality-ervaringen als meer traditionele 2D-games. Terwijl deze voorbeelden van bewegingen gebruiken om de 3D-modellen te maken die zijn gevild om virtuele karakters tot leven te brengen, registreert volumetrische opname de hele persoon. Binnen en buiten, om het zo maar te zeggen.
“Er wordt gebruik gemaakt van een speciale opstelling met 106 camera’s met dieptesensoren die allemaal naar een cilindervormig volume in de diepte wijzen. centrum en maximaal twee acteurs kunnen in dat volume staan en hun optredens geven”, vertelde Taylor aan Digital Trends. "Al deze camera's en sensoren vangen dat op, en veel verwerking en software voegt het samen tot een volledig geloofwaardige en solide digitale kopie van de voorstelling."
Dat geeft de ontwikkelaars niet alleen een nauwkeurige 3D-weergave van waar die acteurs zich bevinden en hoe ze op een bepaald moment poseren, maar ook een bijna fotorealistische video-impressie van hen.
"De onbewerkte versie van de opnames bestaat uit een enorme reeks OBJ-modellen die allemaal uniek van elkaar verschillen, en vervolgens een videotextuur die eroverheen wordt gewikkeld", zei Taylor.
Vroege pioniers in het gebruik ervan, volumetrische opname was niet iets dat Start VR alleen kon uitvoeren. Het had de hulp van Microsoft nodig.
De juiste danspartner
In een van de meer opbeurende segmenten van Wakker: aflevering één, deelt onze hoofdpersoon, Harry, een dans met zijn partner, waarbij het beeld over de in-game muur spat alsof het van een onzichtbare projector komt. Net zoals deze personages elkaar vonden in het universum van de game, had Start VR een specifieke partner nodig om te helpen bij het creëren van de volumetrische uitvoeringen die het middelpunt vormen van de game. Ontwaakt ervaring.
“We hebben een aantal zeer ruwe vroege tests met deze technologie uitgevoerd met een Microsoft Kinect en een Canon 7D-camera samengevoegd en de resultaten waren komisch grof, 'legde Taylor uit. “Maar er zat gewoon iets in de ervaring om in VR te zijn en te weten dat je naar een echte kijkt persoon […] Het kostte je iets dichter bij het oversteken van de griezelige vallei om je een zeer verbonden gevoel te geven ervaring. Het was een heel spannend moment en heel vroeg in ons bedrijf.”
Aanvankelijk onderzocht Start VR de ontwikkeling van een eigen volumetrische opvanginstallatie, maar de complexiteit van het beheer van een dergelijke faciliteit evenals de initiële kosten die gepaard gingen met de aanschaf en configuratie van zoveel camera's en dieptesensoren waren te hoog overwegen.
"Ik dacht dat het onmogelijk was dat we dit voor elkaar zouden krijgen zonder dit niveau van grunt."
Het team heeft een paar jaar lang gekeken naar lokale leveranciers en studio's met hun eigen volumetrische opnamesystemen. Geen van hen kon doen wat Start VR wilde, namelijk niet alleen optredens opnemen, maar deze na opname opnieuw kunnen belichten. Een van de meest unieke aspecten van Wakker is dat de speler, hoewel beperkt in interactieve mogelijkheden, kleine lichtdeeltjes uit zijn virtuele handen kan vrijgeven, die schaduwgebieden van de ervaring kunnen verlichten.
Het enige bedrijf dat dit mogelijk zou maken en het soort motion capture-systeem zou leveren dat Start VR nodig had, was Microsoft.
‘Pas toen we kwamen opdagen hun atelier dat we beseften wat er nodig was om dit te laten werken”, vervolgde Taylor. “De hoeveelheid computers, ruwe rekenkracht, hardware en infrastructuur zette ons aan het denken. Ik dacht meteen dat het onmogelijk was dat we dit voor elkaar zouden krijgen zonder dit niveau van grunt.
Van sterren tot schermen
Nadat de uitvoeringen van de acteurs eenmaal waren vastgelegd, was het niet eenvoudig om ze in de spelomgeving te brengen. Start VR baande een weg in zowel software als hardware.
“De andere grote uitdaging was het [bouwen] van de ervaring in de Unreal-engine”, legde Taylor uit. “De plug-in bestond niet om dynamische verlichting te accepteren. We moesten basisfuncties uitvoeren, zoals het creëren van een in- en een uitpunt. Als twee personages in hetzelfde volume werden gefilmd, moesten we ze uit elkaar halen en aan verschillende kanten van de kamer plaatsen.”
“We pushen de motor absoluut om dingen te doen die hij van nature niet doet. Wij zijn er dagelijks mee bezig.”
Toen dat eenmaal was opgelost en de ervaring begon samen te komen, was het volgende grote probleem optimalisatie. Start VR werkte nauw samen met Nvidia om de ervaring soepel te laten verlopen op een GTX 1080 Ti grafische kaart en begon vervolgens naar beneden te werken om te zien wat voor bezuinigingen er konden worden doorgevoerd om de ervaring op zwakkere hardware te laten draaien.
Wakker biedt momenteel twee spelmodi. De hifi-optie is veruit de leukste ervaring, hoewel Start VR dat suggereert een GTX1080 als minimaal vereiste specificatie. We zijn erin geslaagd om het werkend te krijgen op een AMD Radeon Fury X, maar de framesnelheden haperden soms. De standaardoptie is veel vergevingsgezinder, maar de beelden krijgen wel een flinke klap.
Dit is echter niet altijd het geval bij dit soort technologie. Kain Tietzel, CEO van Start VR, vertelde Digital Trends dat hij gelooft dat Nvidia gebruik kan maken van op maat gemaakte hardware (misschien vergelijkbaar met de Tensor- en RT-kernen die te vinden zijn in zijn RTX grafische kaarten) om verbeterde prestaties te bieden voor volumetrische video-opnamen.
"Niemand heeft echt iets specifieks geschreven om dit soort weergave aan te pakken", zei hij. “Naarmate de vraag toeneemt en de productie steeds normaler wordt, stel ik me voor dat we zullen beginnen zien dat Nvidia speciale hardwareversnelling heeft om de prestaties steeds groter te maken realistisch."
De installatiegrootte was ook een groot probleem voor Start VR.
“De onbewerkte opname bedraagt 10 GB per seconde aan ruwe volumetrische opname, dus er zit veel werk in het persen van 15 minuten in een [download] van 10 GB,” zei Taylor. “Het gebruikt de nieuwste en beste van alle plug-ins binnen Unreal Engine. We pushen de motor absoluut om dingen te doen die hij van nature niet doet. Wij zijn er dagelijks mee bezig.”
Je bent geen deelnemer aan deze wereld. Je bent een voyeur. Voor Start VR was dat altijd het plan.
Start VR zou kunnen kiezen voor modellen met een nog hogere betrouwbaarheid dan het nu gebruikt. Eerdere implementaties van volumetrische opname zoals Fabriek 42’s “Houd de wereld vast“ educatieve ervaring georganiseerd door David Attenborough, ziet er beter uit dan Wakker in sommige opzichten. Dat komt omdat ze slechts een virtual reality-ervaring van drie graden bieden. Ze richten ook alle aandacht op het gezicht en het bovenlichaam.
“Je zou het aantal polygonen dat we toestaan [in Wakker] gewoon in het gezicht en dan wordt het een superhoge resolutie”, legde Taylor uit. “Er zijn een aantal afwegingen waar we voor kiezen. We hebben ervoor gekozen om het hele lichaam vast te leggen, omdat we willen dat mensen elk deel van het personage kunnen zien en er omheen kunnen lopen. Ik heb mensen over de vloer zien rollen om te zien of de karakters volhardend zijn.
Spelen met hologrammen
Na alle moeite en speciale aandacht die nodig is om te knutselen Ontwaakt volumetrische ervaring is het eindresultaat iets heel anders dan wat de meeste gamers gewend zullen zijn. De ‘textuur’ van de personages varieert van extreem gedetailleerd op hun gezichten tot ruig en wazig op moeilijker bereikbare plaatsen. De mix van uiterst realistische bewegingen en ietwat blokkerige modellen deed ons denken aan de release van Rockstar uit 2011, LA Noir met zijn unieke visuele stijl. Of alsof iemand een UHD-video over de schaal van een origineel Xbox-personage had gewikkeld.
Het is verre van perfect, waarbij de technologie vooral worstelt met openingen tussen vingers en haren, en een enigszins blokkerige omtrek van de karakters. Maar het is boeiend op een manier die je zelden tegenkomt in virtuele of enige andere vorm van gesimuleerde realiteitservaring, en het biedt een enorm potentieel voor een ander soort interactieve ervaring.
Terwijl screenshots van Wakker hebben misschien een griezelige vallei-sfeer, als je er daadwerkelijk bent Ontwaakt wereld, er is iets aan de volumetrische vangst dat deze depressie volledig hindert. De acteurs zien er niet perfect uit, maar ze zien er echt uit, en dat kan niet gezegd worden van zelfs de beste CGI-modellen die in beweging zijn vastgelegd.
“Zelfs het begrijpen hoe we optredens belichten en regisseren, zal ook veranderen.”
Die onderdompeling in de virtuele wereld wordt op de een of andere manier ook versterkt door je te dwingen een stapje terug te doen. Je bent geen deelnemer aan deze wereld. Je bent een voyeur. Voor Start VR was dat altijd het plan.
“[Andere filmmakers] voelen zich altijd gedwongen om de artiesten in de scène naar jou, de camera, te laten kijken, en ik weet niet of dat noodzakelijkerwijs altijd werkt”, vertelde Tietzel aan Digital Trends. “Als je constant wordt behandeld alsof er naar je gekeken moet worden, denk ik dat dit de aard van de voorstelling verandert en ik Ik denk dat het zelden voorkomt dat je geloofwaardige uitvoeringen voor een camera ziet optreden en waarop je moet reageren hen."
https://www.facebook.com/startvr/photos/a.558965407540304/1534047166698785/
Dat wil niet zeggen dat je je nooit betrokken voelt bij de scène Wakker. Er zijn momenten, speciaal ontworpen momenten, waarop je in de gezichtslijn van een personage terechtkomt, waardoor je je afvraagt of ze je kunnen zien of niet. Het haalt je niet uit de ervaring, maar herinnert je aan je voyeuristische rol in de scène. Het vergroot in ieder geval hoe persoonlijk het verhaal is, ondanks de hints naar een uitgebreider verhaal dat verder gaat dan deze eerste aflevering.
(Lucide) dromen over de toekomst
Start VR heeft acht afleveringen gepland voor de Wakker serie al, waarbij Taylor al jaren bezig is met het bedenken van een verhaal dat zowel persoonlijk als uitgebreid is. Naarmate deze afleveringen verschijnen, kunnen we veel verbeteringen verwachten, zo wordt ons verteld.
“De technologie, de nauwkeurigheid en de framesnelheid gaan dramatisch veranderen”, vertelde Tietzel aan Digital Trends. “Zelfs als we begrijpen hoe we uitvoeringen belichten en regisseren – wat de beste manier is om uitvoeringen uit de acteurs in die ruimte te halen, zal ook veranderen. Dit is een leerervaring.”
“Er zijn dus momenten waarop het personage contact met je opneemt om je iets te geven. Voel je je gedwongen om te proberen dat van hen af te nemen?
Naast het uitbreiden van de eigen expertise met het regisseren van acteurs en het ontwikkelen van VR-games, is Start VR ook bezig met Microsoft om de volumetrische opnametechniek te blijven verbeteren om nieuwe rimpels naar het virtuele te brengen canvas.
“Het karakter je laten opmerken is een manier om een verhaal te vertellen en ik denk nu al dat er variaties op komst zijn waar we een eyeline aan kunnen toevoegen”, benadrukt Taylor. “We werken samen met Microsoft om de hoofdbeweging van het personage te controleren, zodat hij zich kan omdraaien en zich op jou kan concentreren tot ongeveer 30 graden aan weerszijden van de geregistreerde positie […] Dwingt mensen ook reactieve dingen te doen. Er zijn dus momenten waarop het personage contact met je opneemt om je iets te geven. Voel je je gedwongen om te proberen dat van hen af te nemen? Het zijn die verschillende manieren om verbinding te maken met een personage, in plaats van er alleen maar naar te kijken, die we proberen.
Start VR is ook van plan om met meerdere omgevingen te experimenteren (Wakker: aflevering één vindt vrijwel uitsluitend in één plaats plaats. Misschien anderhalf), maar het valt buiten het bereik van de virtuele realiteit waarvan Taylor en Tietzel denken dat hun experimenten met volumetrische opname het gemakkelijkst voelbaar zullen zijn.
“We onderzoeken al wat het zou kunnen betekenen om dit soort opnames in augmented reality te brengen, en echte optredens in de echte wereld zijn de volgende stap”, aldus Tietzel. “Eerste tests op dit gebied hebben een aantal fascinerende resultaten opgeleverd.”
Deze ervaringen en Start VR’s eerste aflevering van Wakker benadrukken het opwindende potentieel van volumetrische opvang. Ze omzeilen de prestatieproblemen van technologieën zoals ray tracing voor realistische in-game verlichting en iets leveren dat van dichtbij geloofwaardig is, zelfs als het nog steeds een paar onvolkomenheden heeft.
Wakker: aflevering één is een opwindende eerste stap in een verhalende reis, maar het is een nog grotere sprong voor de technologische verbetering die heeft bijgedragen aan de geboorte ervan in de wereld. We zijn enthousiast over wat Ontwaakt verhaal en de opnametechnologieën waar het voor pleit, en stel je voor dat we er in de toekomst nog veel meer van zullen zien.
Wakker: aflevering één is beschikbaar op Stoom En Viveport met een prijs van $ 8.
Ontwaakt - Teasertrailer | VR starten
Aanbevelingen van de redactie
- Het was een no-brainer om de beste Star Wars-game van VR naar PlayStation VR2 te brengen, zeggen ontwikkelaars
- Indrukwekkende mixed-reality lasergame-game kan de nieuwe troef van VR zijn
- Als je een Quest 2 wilt, koop er dan een voordat deze volgende week een grote prijsstijging krijgt
- Wat de golf? vervolg, Twilight Zone VR en meer getoond in de UploadVR-stream
- Among Us VR, Ghostbusters en meer komen naar Meta Quest 2
