Hur Irishman's FX Team använde Bleeding-edge Tech för att avåldra De Niro

Netflix och den hyllade regissören Martin Scorsese verkade initialt som ett udda par Irländaren, filmskaparens anpassning av Charles Brandts roman från 2004 Jag hörde dig måla hus. Eventuella osäkerheter kring det samarbetet avfärdades snabbt av filmens framgång både i stort skärmen och på streamingtjänsten, men den anses nu vara en föregångare i de kommande utmärkelserna säsong.

Krönika livet för den påstådda maffianmördaren Frank Sheeran och hans möjliga koppling till Teamsters fackliga ledare Jimmy Hoffas försvinnande, Irländaren har imponerande framträdanden av ledande män Robert De Niro, Al Pacino och Joe Pesci när de porträtterar en trio av verkliga karaktärer vars liv sammanflätade under flera generationer. Filmen följer karaktärerna över ett brett spektrum av åldrar med hjälp av visuella effekter, men den förlitar sig inte på vanliga högteknologiska hjälmar, motion-capture-dräkter eller ansiktsmarkörer, istället för en innovativ ny teknologi.

Ledande för teamet för visuella effekter var Industrial Light & Magic's Pablo Helman, som tidigare arbetat med Scorsese på 2016-talet Tystnad och har två gånger nominerats till en Oscar för sitt arbete med visuella effekter. Digital Trends pratade med Helman om utmaningarna med att utveckla och testa den visuella effekttekniken som används i Irländaren, och kanske viktigast av allt, att övertyga en av de mest hyllade regissörerna genom tiderna att lita på digitala avåldringstekniker på några av Hollywoods mest kända ansikten.

Digitala trender: Om vi ​​går tillbaka till det här projektets tidiga dagar, hur övertygade du Martin Scorsese? att denna typ av digital avåldring inte bara var möjlig, utan skulle fungera med hans stil filmskapande?

Pablo Helman: Allt kommer med tillit. När man jobbar med film litar man på varandra för alla möjliga saker. Det är en del av det. Vi pratade också om teknik, och Marty är öppen för att testa nya saker när det är vettigt. Så jag gjorde ett bra argument för varför det skulle vara en bra idé att försöka göra filmen på det sättet.

Vad var kärnan i den diskussionen om tekniken?

Jo, vi pratade om olika metoder. Det fanns inget sätt att göra den här filmen genom att ta in en annan skådespelare och ersätta hans ansikte på grund av hur filmen skulle redigeras, fram och tillbaka och fram och tillbaka över tiden. Det skulle vara omöjligt att byta ut kropparna om och om igen. Så det alternativet försvann.

Det andra alternativet var att casta en yngre skådespelare. Marty ville behålla kopplingen mellan karaktärerna (i) olika åldrar, och du vill att publiken också ska behålla den kopplingen - så det var kommer att bli väldigt svårt att ha de tre huvudskådespelarna plus tre yngre skådespelare, plus allt smink de var och en behövde bära för att behålla den kopplingen, och så vidare. Så det fanns egentligen inget annat sätt att göra det på. Så när vi väl tänkte att vi skulle behöva gå med den digitala avåldringen, var vi tvungna att visa honom hur det skulle se ut.

Hur kom du till rätta med en viss typ av digital avåldring? Det finns så många sätt som studios hanterar den här typen av effekter på senaste tiden.

Marty sa, "Om vi ​​ska gå med avåldring, kommer Robert De Niro inte att vara någon som bär all den tekniken i ansiktet. Han kommer inte att bära [ansikts] markörer. Han kommer inte att ha en hjälm med små kameror. Han kommer inte att ha på sig en grå pyjamaskostym, [och] han kommer att vilja vara på inspelningsplatsen. Så om du kan lista ut det, då kan vi göra det."

Jag blev väldigt exalterad över det eftersom det var en fantastisk möjlighet för oss att driva tekniken mot den naturliga plats där vi vill att den ska gå. Om du tänker på historien om performance capture började det med att spåra kropparna manuellt. Sedan satte vi markörer på skådespelarnas kroppar och spårade dem på det sättet, eftersom man kunde se så mycket mer, och så småningom tränade vi datorn att spåra dessa markörer. Och sedan migrerade markörer till ansiktet, och vi fick datorer för att spåra dessa markörer också. Så den naturliga utvecklingen är för oss att inte trycka på några som helst markörer. Jag hoppade på att försöka driva filmskapandet i den riktningen, men först var jag tvungen att visa den för Marty.

Hur var de tidiga testerna?

Jag föreslog att ta in De Niro och låta honom återskapa en scen från Goodfellas, för det var ett sätt att lägga grunden, och det var något Marty visste mycket väl. Så [De Niro] kommer in och gör scenen som en 74-årig skådespelare, och vi kunde förändra honom för att se ut som han gjorde för 30 till 40 år sedan. Vid det laget skulle de lita på mig.

Vilken scen från Goodfellas hade du De Niro reenact?

Det var Rosa Cadillac-scen, efter att de stjäl miljontals dollar och alla börjar köpa saker. De Niros karaktär sa åt alla att inte köpa något för pengarna, men sedan dyker en av karaktärerna upp med en ny rosa Cadillac, och De Niro säger: "Vad fan är det för fel på dig?"

Vi valde den här scenen för att han var så överdriven i den. De där extrema föreställningarna är så svåra att arbeta med, och vi ville testa beteendets likhet avåldringseffekten – för det handlar inte bara om att se ut som en 40-årig man, det är också hur han beter sig. Det gör honom till den han är. Det skulle bli väldigt svårt att fånga utan markörer, så det testet visade att vi kunde göra det här utan markörer och utan att störa skådespelaren.

Så vad kom du på för att fånga alla dessa detaljer utan markörer?

Tja, om vi inte har markörer, då är det enda vi har skådespelaren, som är ett 3D-objekt framför kameran, och belysningen som träffar skådespelaren. Så vi bestämde oss för att fånga ljuset och texturerna som skapas av den belysningen, och göra lite 3D-geometri av det. För att göra det var vi tvungna att skaffa så mycket information som möjligt. Vi hade en kamera, regissörens kamera, för att fånga händelserna. Men om vi hade ett sätt att fånga handlingen från olika synvinklar, med olika kameror, skulle vi kunna triangulera från var och en av kamerorna för att skapa den 3D-geometrin.

Så vi kom på en rigg med tre kameror. Mittkameran är fortfarande regissörskameran, och sedan till vänster och höger om mittkameran fanns det vi kallar "vittneskameror", som är infraröda kameror. Mjukvaran vi skapade, Flux, tar en titt på informationen som kommer genom de tre kamerorna och triangulerar sedan allt som finns framför kameran för att skapa 3D-geometri från den.

Så du har tre kameror med skuggning och djup och information från olika perspektiv?

Exakt. I slutändan, ju mer information du har, desto bättre är chanserna att skapa något ur ingenting.

Du har arbetat på några filmer med massiva, spektakeldrivna visuella effekter, såväl som filmer med en subtil inställning till visuella effekter. Irländaren faller i den senare kategorin. Hur förändras ditt förhållningssätt till visuella effekter när du tar dig an ett projekt som detta, där subtilitet är så viktigt?

Du måste ta en titt på saker du förbiser när du har att göra med större atmosfäriska effekter eller saker (som) är handlingsdrivna. Med detta rör sig inte kameran, inramningen är panna till haka, och det finns ingenstans att gömma sig. Allt framför dig handlar om prestanda, och du måste titta på skådespelarnas prestationer och dekonstruera den föreställningen för att göra det du behöver göra.

Så vad som slutar med att hända är att du börjar förstå vad som får en bekymrad blick, eller en glad blick, och vad som får alla dessa olika känslor att komma igenom. Du börjar förstå att hakan rör sig på ett specifikt sätt och att näsan eller ögonbrynen alla rör sig på specifika sätt baserat på känslorna som kommer igenom också. Du måste verkligen förstå vad som får den karaktären att se ut som den ikoniska skådespelaren du går förbi.

Hur fångar och tolkar tekniken all denna information?

Så den här mjukvaran vi skapade och skrev gjorde bort med markörer, men den gav oss alla pixlar som kameran ser i någons ansikte. Nu, istället för 200 markörer, har du tusentals markörer som ständigt rör sig. Så programvaran tar en titt på det och fångar alla möjliga saker som till exempel hur ansiktet rör sig under dialog.

Många gånger [med visuella effekter som används på en persons ansikte] tappar du vikten av dialogen, för när vi sätter en konsonant tillsammans med ett fonem vibrerar vårt ansikte på ett specifikt sätt. Det är som en rytm. Med markörer har du inte tillgång till den rytmen, eftersom programvaran inte är tillräckligt känslig. Men utan markörer är datorn känsligare för den typen av saker, och den fångar dem åt dig. Nu börjar dialogen och hela föreställningen gå ihop, för man ser allt röra sig samtidigt.

Och när två skådespelare är tillsammans och deras repliker träffar den andra personen på rätt sätt, och den andra personen förstår vad de säger och reagerar på det, och deras ögon och ansikten och kroppar registrerar allt, vilket också påverkar rytmen i prestanda. Om du kan fånga allt detta får du en fantastisk bild.

Du har nämnt i några intervjuer att du vill ha Irländaren att vara en folkomröstning om visuell effektteknik i filmer. Vad menar du med det?

Så, vad jag menade var att tekniken är till för att prestanda ska kunna komma igenom. Regissören vill ha kontroll, och skådespelarna vill också ha kontroll. Så det skulle vara bra för tekniken vi använder att vara borta från där prestandan kommer från. Tekniken måste tjäna historien, inte tvärtom.

Ingen regissör gillar att bli tillsagd, "Du kan inte flytta kameran på det sättet" eller "Du kan inte flytta skådespelarna på det sättet." Du borde inte ha att säga åt en regissör att inte tända skådespelarna på ett specifikt sätt, eller att de måste bära en hjälm eller en kostym för teknik skäl. Så tanken är att, allt eftersom tekniken blir bättre och bättre, håller vi oss borta från saker som kan påverka prestandan.

I slutet av dagen är föreställningarna och historierna som berättas av föreställningarna de saker som publiken behöver få. Det är då publiken blir kopplad till karaktärer: När föreställningarna är så sanna som möjligt.

Redaktörens rekommendationer

• Hur VFX drev Spider-Man: No Way Homes skurkteam-up
• Hur 1917 års single-shot-stil förändrade spelet för visuella effekter