Hvordan Ready Player Ones FX-team brukte sin egen AI for å lage OASIS

I forkant av den 91. Oscar-utdelingen på søndag, vår Oscar Effects-serien setter søkelyset på hver av de fem filmene som er nominert for «Visuelle effekter», og ser på det fantastiske triks filmskapere og deres effektteam brukte for å få hver av disse filmene til å fremstå som visuelle briller.

Ernest Clines roman fra 2011 Klar Player One ble en gang antatt å være utilpasselig med sine legioner av lisensierte karakterer fra TV, filmer, videospill og tegneserier som samles for et vidstrakt eventyr i et virtuelt univers kjent som OASIS. Og så kom Steven Spielberg til bevise at skeptikerne tar feil.

Spielbergs tilpasning av Klar Player One ikke bare klarte å oversette det store omfanget av kildematerialet, men det klarte også å levere en fullpakket film med de ikoniske karakterene og popkulturreferansene som gjorde boken så populær blant en viss generasjon av lesere. Det gjorde det ved hjelp av et talentfullt team for visuelle effekter ledet av en fire ganger Oscar-nominert Roger Guyett, som fikk i oppgave ikke bare å bygge et virtuelt univers befolket av en rekke kjente og ikke fullt så kjente karakterer, men også sørge for at de digitale avatarene til filmens hovedkarakterer var i stand til å formidle like mye følelser som deres menneskelige motparter.

Digital Trends snakket med Guyett om opplevelsen av å bringe Klar Player One til skjermen, bygge virtuelle universer og finne ekte følelsesmessig dybde blant mer enn en halv million CG-kreasjoner.

Denne store kampscenen i Klar Player One på Planet Doom brukte en helt ny visuell effektmotor som brukte kunstig intelligens for å generere store mengder systemer.Industrielt lys og lyd

Digitale trender: Med Klar Player One, du hadde i hovedsak i oppgave å skape et helt virtuelt univers uten noen reelle grenser. Hva var din første reaksjon på omfanget av prosjektet?

Roger Guyett: Det var fantastisk, virkelig. For å være ærlig, undervurderte vi hvor mye arbeid som var involvert. Det var åpenbart designutfordringen, men vi har gjort store show før. Dette var definitivt et par hakk vanskeligere og intensivt, bare i den store skalaen, men vi hadde et flott team og et flott samarbeid med produksjonsdesigner Adam Stockhausen.

… Vi ønsket å få en god spredning av alle typer karakterer, enten de var filmkarakterer eller tegneseriefigurer eller superhelter eller hva som helst.

Steven [Spielberg] var utrolig samarbeidsvillig og ønsket å sørge for at det var konsistens i ideene hele veien fra skrivingen til arbeidet vi gjorde. Ernest Cline og Zak Penn, forfatterne, var også involvert - så det hjalp enormt. Men uten tvil undervurderte vi kompleksiteten i det. Den designet i en bokstavelig talt verdensbyggende skala.

Det store antallet tegn representert i Klar Player One er massiv. Hvordan nærmet du deg prosessen med å bestemme hvilke karakterer du skulle inkludere og når?

Du må bare begynne med å legge ut noen av scenene og begynne å få en følelse av spredningen av karakterene og hva slags karakterer du bruker. Det vi gjorde på et tidspunkt var å ha et kort for hver enkelt karakter som vi anså for å være en "helt" karakter i filmen, og vi satte dem opp på et brett og Steven og alle andre brukte timer på å tildele dem til scener. Vi ville si: "Det er her vi vil ha hvem det enn måtte være... Batman, Chun-Li eller hvem som helst." Og så gikk vi gjennom hele filmen og gjorde det. Etter hvert som scenene utviklet seg, fikk vi en forståelse av hvor mange karakterer vi trengte.

Klar Player One Behind the Scenes Visual Effects VFX
Klar Player One Behind the Scenes Visual Effects VFX
Klar Player One Behind the Scenes Visual Effects VFX
Klar Player One Behind the Scenes Visual Effects VFX
Warner Bros. Studios

Når det gjelder karakterene selv, trengte vi alltid mer - men vi ønsket å få en god spredning av alle typer karakterer, enten de var filmfigurer eller tegneseriefigurer eller superhelter eller samme det. Det var en veldig komplisert prosess, og vi skrev en rekke forskjellige verktøy for å prøve å hjelpe oss med å holde styr på det hele. Det er slike prosesser du ofte virkelig kan undervurdere til du kommer inn i det.

Hva var involvert i å sette sammen den enorme listen med karakterer fra så mange forskjellige eiendommer og andre kilder?

Tydeligvis hadde vi karakterer som vi fullstendig designet og bygget selv. Så har du karakterer som til en viss grad var kjent, og vi kunne appellere til noen av selskapene som var involvert i å lisensiere disse karakterene. Vi ville si: "Hei, har du en tredimensjonal versjon av denne karakteren?" og ganske ofte gjorde de det, eller de ga oss et utgangspunkt for dem. Det andre aspektet av dette som er veldig komplisert er lisensieringen, som er veldig vanskelig. Du må være veldig følsom for hvordan du spiller noen av disse karakterene.

Det er rundt en halv million karakterer eller mer i noen av disse bildene på slutten av filmen. Det er vilt.

Så vi hadde bygget karakterer som vi gjorde, vi hadde karakterer som vi prøvde å hente versjoner av, og så det var en konkurranse der folk sendte inn karakterdesign - og jeg tror det var et dusin eller så av de. Det var en annen slags morsom ting. Vi utviklet også denne tingen vi kalte "klaner", med karakterer av en bestemt type - kanskje en [Ray] Harryhausen skjeletthærkarakter eller noe sånt - og variasjoner av det temaet. Hvis det for eksempel var en soldat fra den amerikanske hæren eller noe sånt, ville klanen hatt en fyr med jakke, en fyr med en skjorte, en fyr med en bazooka, en annen fyr med en rifle, en fyr som er lav, og en fyr som er høyere, og så på. Du kan bygge opp en stor gruppe karakterer med den typen tilnærming.

Når du kjente karakterene som gikk i bestemte scener, hvordan fant du balansen mellom å håndtere disse mengdene av karakterer og fortsatt beholde deres individuelle, gjenkjennelige elementer?

Det var et stort spørsmål vi måtte svare på: Hvordan genererer du enorme antall karakterer og får dem alle til å oppføre seg fornuftig og overholde visse regler og gjøre noe vagt intelligent? Måten vi oppnådde det på var ved å skrive vårt eget publikumssystem. Det var nøkkelen til prosjektets suksess. Gutta gjorde en helt utrolig jobb med å lage et helt nytt og skreddersydd publikumssystem.

Et klipp fra Ready Player One som viser hvordan de forskjellige lagene av CGI ble brukt til å lage OASIS.Industrielt lys og lyd

Vi hadde et ganske bra publikumssystem i begynnelsen av prosjektet, men ikke et system som ville tillate oss å gjøre det vi endte opp med. Det var virkelig øyeblikket for oss å "hoppe utfor en klippe og håpe at fallskjermen skulle åpne seg". Alle var veldig sikre på at vi kunne klare det, men det var tidssensitivt. Det er rundt en halv million karakterer eller mer i noen av disse bildene på slutten av filmen. Det er vilt.

… [Mengdesystemet] hadde dette utrolige nivået av kunstig intelligens, [og] du kunne på en måte styre det også. Du kan gi grupper av karakterer visse mål, og endre oppførselen deres underveis. Det var det som virkelig gjorde dette så imponerende.

En ting som virkelig slo meg Klar Player One er hvor mye ekte følelser avatarene har i OASIS. Hvordan opprettholdt du det følelsesnivået når du gikk over fra de menneskelige karakterene til deres avatarer?

Jeg er veldig overbevist om at du kan ha all denne teknologien og alt, men hvis du ikke følger den emosjonelle tråden til karakteren, er alt for intet. … Dave Shirk, animasjonsveilederen, og alle andre brukte enormt mye tid på å bekymre seg for å sørge for at hver karakter speilet prestasjonene til skuespillerne.

Klar Player One Behind the Scenes Visual Effects VFX

For eksempel, hvis [Art3mis-skuespillerinnen Olivia Cooke] så flørtende ut, eller hun så trist ut, eller hun hadde en bestemt type smil, du måtte sette det på karakteren og den må oversettes og få samme type reaksjon fra karakter. Du prøver å automatisere det så godt du kan, men det du virkelig trenger å sørge for er at når den oversettelsen skjer, er det 1:1-kartlegging … .

Du må justere kartleggingen din slik at du føler på samme måte om hva karakterens ansikt gjør som du ville føle om skuespilleren... Det er egentlig her kunsten møter teknologien. Teknologien lar deg spore ansiktsstrukturen og trofastheten til motion-capture-systemet som vi brukte til Klar Player One var betydelig mer imponerende enn noe annet vi har brukt før, men det handler ikke bare om det.

Det er det fine med den typen virtuell verden: Du kan gjøre disse justeringene.

Du må sørge for at Steven kan gjøre en side-ved-side-sammenligning av de to forestillingene, ved å spille av forestillingen til skuespilleren og forestillingen til karakter, og si: "Ja, du har fanget den forestillingen." … hvis du ikke får den ytelsen ut av den karakteren, må du gå tilbake og prøve og forstå hvorfor. Den prosessen kan være veldig møysommelig, og veldig spesifikk for hver enkelt skuespiller.

Noen tidlige rapporter indikerte at VR spilte inn i utformingen av filmens versjon av OASIS og at Spielberg faktisk brukte VR-briller for å utforske noen av verdenene du skapte. Hva innebar det?

En av utfordringene med et motion-capture-prosjekt er at skuespillerne og regissøren egentlig ikke forstår verden de er i, eller at de ikke får nok visuell tilbakemelding fra det. Hvis du regisserer en scene i live-action-verdenen, går du ganske enkelt inn på et sted og alle sansene dine reagerer på det rommet. Vi ønsket å gi Steven den samme følelsen, så vi bygde mer eller mindre sofistikerte versjoner av hver av stedene vi prøvde å bruke for filmen i virtuelle miljøer. Hvis det var Planet Doom og du gjør en scene på slagmarkene, ville vi tatt det inn i systemet og både skuespillerne og Steven kunne ta på seg virtual reality-briller og bevege seg rundt i det rommet og bli inspirert av den.

Klar Player One Behind the Scenes Visual Effects VFX
Steven Spielberg på settet til Klar Player One.Warner Bros. Studios

Den tilbakemeldingen hjelper deg virkelig. Du kan forstå hvordan det føles å stå på 100 eller 200 fot høye brystvern, og vi kan også gjøre justeringer. Steven ville si: "Det ville vært flott om jeg kunne se en utsikt over... hva som helst," eller han spurte: "Kan vi flytte det tårnet og få bedre utsikt over feltet?» Det er det flotte med den typen virtuell verden: Du kan lage dem justeringer.... Steven forstår teknologien fullstendig og han bruker virkelig alle fordelene ved den, men det viktigste for oss var å få skuespillerne til å føle seg kjent med rommet og føle seg inspirert av det.

Klar Player One slår meg som en film som en som jobber med visuelle effekter virkelig kan identifisere seg med, ettersom OASIS er en fantastisk miljø som fungerer best når du ikke skjønner hvor mye arbeid det krever å skape og vedlikeholde. Visuelle effekter handler om å lage ting som ikke føles produsert eller kunstig. Gjorde det resonans hos deg?

Jeg har alltid følt at det var noe rart der vi bygde OASIS. Det var rart å speile historien og mange av tingene de gjorde i filmen. Hvis du skulle gjøre noe som å reise inn The Shining, for eksempel, da ville du sannsynligvis ha gjort det på samme måte som vi gjorde det. Det var fascinerende.

Var det en spesiell karakter eller scene fra Klar Player One som virkelig innkapsler opplevelsen av å jobbe med denne filmen for deg?

Det er vanskelig å skille ut bare én eller to ting fordi jeg tror en av de viktigste aspektene i et prosjekt som dette er å prøve å være konsekvent og prøve å bli forelsket i hvert øyeblikk, slik at du bringer hvert av disse øyeblikkene til det beste det kan være.

Flere Oscar Effects-intervjuer

  • Hvordan "usynlige" effekter vekket Brumm til liv i "Christopher Robin"
  • Hvordan store skjermer og små eksplosjoner formet VFX of Solo: A Star Wars Story
  • Hvorfor First Mans Oscar-nominerte visuelle effekter er et stort sprang for filmskaping
  • How Avengers: Infinity Wars Oscar-nominerte VFX-team gjorde Thanos til en filmstjerne

Men jeg bare elsket å jobbe på New York-løpet av alle mulige forskjellige grunner, fordi det var så gøy. Men jeg elsket også å jobbe med The Shining, fordi jeg elsket å høre Stevens historier om [Stanley] Kubrick og lage The Shining film og bygge den verden. Jeg er så stor fan av filmen, og jeg har en så lidenskap for den. Så det å bare kunne bygge det opp igjen slik var utrolig.

Klar Player Onehadde premiere 29. mars 2018. Den 91. Oscar-utdelingen starter 24. februar klokken 20:00 ET på ABC.