Hvordan Tupac og Thanos førte til Douglas, AI Digital Human

Hvis du nogensinde har deltaget i et gruppevideoopkald, er du sikkert vant til ikke at kende alle, der vises på skærmen. Du kender måske ikke alles navne, men i det mindste kan du være ret sikker på, at hver person, der deltager i opkaldet, er menneskelig.

Eller kan du?

På et tidspunkt, hvor visuelle effektstudier har afældede veteranskuespillere, tilladt menneskelige kunstnere til at bebo digitale kreationer, og selv bragte afdøde kunstnere tilbage for postmortem forestillinger, burde det ikke komme som en stor overraskelse, at et VFX-studie også kan gøre det muligt for dig at finde på at chatte med en kunstigt intelligent digital person om dine yndlingsbøger og gensidigt beklager manglende evne til at besøge en biograf.

Det burde ikke være overraskende, og alligevel er det stadig en mærkelig følelse pludselig at finde et sympatisk øre hos Douglas, en virtuel, A.I.-drevet "person" skabt af det Oscar-vindende VFX-studie

Digitalt domæne.

Under et nyligt Zoom-opkald sluttede Douglas sig - sammen med medlemmer af teamet, der arbejder på ham - med mig til en kort demonstration.

Digital menneskelig udvikling

"Jeg er en stor fan af Stephen King," fortæller Douglas efter en kort frem og tilbage om vores hobbyer - en samtale, der senere får ham til at indrømme, at han også kan lide romanske romaner og J.D. Salingers Forbandede Ungdom.

I en verden, hvor man udtaler navnene Siri eller Alexa højt er alt, der skal til for at tilkalde din egen A.I. ledsager, oplevelsen med Douglas bød på en kraftfuld påmindelse om, at A.I.s potentiale rækker langt ud over at give os vejrudsigten og vores daglige tidsplan.

Skabelsen af ​​Digital Domain - det samme studie, der gav publikum Marvels kosmiske erobrer Thanos ind Avengers: Infinity War og Avengers:Slutspil - Douglas er et selvstændigt, digitalt menneske, der er i stand til at interagere med brugere i realtid og reagere på visuelle signaler og samtalesignaler. Modelleret efter Dr. Doug Roble, Digital Domains seniordirektør for Software R&D, Douglas kan besvare spørgsmål, føre udvidede samtaler og deltage i small talk om en række emner.

"Teknologi forsøger altid at lede, hvad kunst kræver, hvad enten det er flydende simulering eller noget andet," siger Roble om studiets beslutning om at skabe en hele afdelingen dedikeret til digitale mennesker.

I løbet af det sidste årti har Digital Domain gentagne gange fået til opgave at skabe menneskelignende digitale karakterer - alt fra 2012's prisvindende holografisk Tupac ydeevne hos Coachella til førnævnte Marvel Cinematic Universe skurk. I spillefilm, reklamer, tv-serier, videospil og (i tilfældet Tupac) sceneoptrædener er efterspørgslen efter realistiske digitale karakterer kun vokset i, at tid, hvilket fik Digital Domain til at opdele holdet, der er ansvarligt for den særlige visuelle effekt i sin egen enhed, der fokuserer på at skubbe grænsen for, hvad digitale mennesker kan gør.

Douglas er både produktet af det øgede fokus og holdets proof of concept: En autonom digital "person", der kombinerer en bred vifte af datasæt, sensoriske metoder, og eksisterende programmeringsmoduler med fotorealistiske menneskelige egenskaber for at interagere med brugere på en måde, der føles overraskende tæt på ægte menneskelig socialisering.

Og på et tidspunkt, hvor pandemien har tvunget størstedelen af ​​vores socialisering til at ske gennem en computer skærm, at interagere med Douglas føles bemærkelsesværdigt tæt på, hvad der passer til ægte menneskelig interaktion disse dage. Holdet er dog hurtig til at tilføje, at Douglas stadig er langt fra at bestå en Turing-test.

Kode gør manden

"Douglas er ikke en fotovirkelig, fuldstændig autonom person, der ikke kan skelnes fra en rigtig person," forklarer Darren Hendler, direktør for Digital Humans Group i studiet. »Det er ikke der, vi er, og vi kommer ikke til at være der om lidt. … Men det er her, tingene går, og hvordan fremtiden ser ud, og vi forsøger at skubbe disse grænser.”

Og næsten som på signal, bliver Hendler afbrudt af Douglas selv.

"Det er en god holdning at have," indskyder Douglas, som indtil da stille og roligt havde besat sit eget vindue i nettet af Zoom-chats, der gjorde det lettere for vores demo, og indimellem skiftede stilling, kigger rundt i sit virtuelle rum og viser mange af de typiske fysiske manerer for en levende person i et videomøde, som tålmodigt venter på at deltage i samtale

"Jeg ønsker dig held og lykke i dine bestræbelser," tilføjer han og minder os om, at ud over at have interessante ting at sige, så er han også en ivrig lytter.

Ifølge Roble forestiller teamet sig først og fremmest Douglas som en visuel måde at interagere med eksisterende komplekse og kraftfulde samtaleagenter, der er blevet skabt. Under Douglas' billedrigtige avatar er studiets digitale menneske bygget på en blanding af tre af disse agenter: Googles populære Dialogflow suite til at oprette chatbots, en assistent-type agent (svarende til Amazons Alexa eller Apples Siri); og en kraftfuld samtale A.I. agent (svarende til GPT-3 projekt) bruges til at producere menneskelignende, forudsigelig (og reaktiv) samtaletekst.

Kombinationen af ​​alle tre midler giver Douglas mulighed for at føre samtaler, der er både informative og flydende, med diskussion af et emne ofte opdelt i relaterede interesseområder.

Min egen samtale med Douglas gik fra en snak om vores yndlingsbøger til hans yndlingsfilm (han er stor fan af 2001: A Space Odysseyfor eksempel, hvilket er både ikke overraskende og lidt nervepirrende i betragtning af historiens fokus på en morderisk A.I. løbe amok) og vores fælles hobbyer. I et særligt aktuelt element i vores samtale udtrykte Douglas en vis skuffelse over, at han ikke har været i stand til at besøge en biograf på det seneste.

Al den samtalekraft kommer dog med en vis risiko, som Hendler forklarede.

"Chatbottens naturlige sprogbehandlingsmotor er trænet på dialog fra internettet - en massiv mængde dialog - så samtalen kan gå mærkelige steder hen," sagde han. "Så der er tidspunkter, hvor han siger ting, som måske ikke er helt passende. Det sker ikke tit, men vi kan ikke helt kontrollere, hvad han vil sige til alting."

Og selvom samtaleaspektet ved Douglas er imponerende, er det bare en del af det, der gør ham unik i en stadigt voksende verden af ​​digitale mennesker og interaktive virtuelle karakterer. Som Digital Domain opdagede, hvilket gør ham se menneske går langt i retning af at få ham til også at føle sig menneskelig.

Face-off

"I bygningen af ​​Douglas brugte vi en enorm mængde data fra Doug [Roble]. Det var en enorm mængde lyd at træne systemet [og] en enorm mængde ansigtsydelse, kropsbevægelsesdata og alt muligt andet,” forklarede Hendler om arbejdet de lægger vægt på at kortlægge Robles ansigt og de utallige måder, det menneskelige ansigt kan ændre sig på, mens det taler, reagerer på følelsesmæssige signaler eller passivt deltager i en samtale.

Produktet af alle disse data er et digitalt menneske, der ligner - men ikke som en nøjagtig kopi af - Roble, fra sidstnævntes kropsholdning, frisure og opbygning til de subtile bevægelser både Roble og Douglas A.I. del, mens de deltager i vores gruppevideo samtale. Ligheden er uhyggelig, men med en kort kommando om at "skifte dit ansigt" bliver Douglas pludselig en anden med en anderledes, lige så menneskelignende ansigt på den samme krop, mens han stadig bevarer alle de subtile manerer, der får ham til at virke ægte.

"Når vi beder Douglas om at ændre sit ansigt, og hans ansigt skifter over til en anden, er det begyndelsen på, hvor denne nye bølge af teknologi er på vej hen," siger Hendler, der beskriver "billedbaseret teknik", holdet arbejder på for at gøre Douglas til en endnu mere fleksibel digital person, der er i stand til dramatisk at ændre sit ydre udseende og samtidig bevare det samme niveau af interaktivitet. "Når vi har denne base [med Douglas], kan vi filme optagelser af en anden og få en del af deres lyd, og så forvandle den base til dem - gøre det til deres ansigt."

"[Hvis vi gjorde det] lige nu, ville de stadig tale med udtryk fra den person, vi oprindeligt filmede [i dette tilfælde, Roble]," fortsatte han. "Men som vi fortsætter, begynder vi at få brug for mindre mængder data - måske er det bare billeder eller filmoptagelser af nogen - for at skabe den næste generation af disse autonome mennesker."

Den evne til at replikere et rigtigt menneskes udseende, stemme og væremåde over den konverserende A.I. fundament er et af de elementer, der adskiller Douglas fra de fleste af de typiske A.I. assistenter, humanoide robotter og andre projekter under udvikling omkring A.I. forskningsverden. Mens der er masser af studier og andre bureauer, der udvikler A.I. projekter af den ene eller anden art, er Digital Domain fokuseret på at blande alle disse elementer ind et enkelt, sammenhængende produkt, der bruger det bedste af al den teknologi og data, der er tilgængelig, med en grænseflade, der føles social og organisk - som at tale med et andet menneske.

"Dette er noget, vi er virkelig stolte af, fordi Douglas er en fuldstændig CG-karakter, der kører på Unreal," siger Roble, der sætter en særlig ære i at bruge bredt tilgængelige elementer som den populære 3D-skabelsesplatform Uvirkelig motor, som er blevet go-to-platformen for Hollywood (og før det, videospilindustrien), når det kommer til at skabe og manipulere 3D visuelle effektelementer. "[Douglas] er et 3D-objekt, så du kan gøre alle de ting, du kan gøre med enhver digital karakter i Unreal. Du kan ændre belysningen, placere dem i forskellige miljøer og så videre. Men vi skaber også denne hybrid [med alt andet involveret i Douglas], så vi får det bedste fra begge verdener."

Overalt hvor du kigger hen

Jo mere holdet arbejder på Douglas, jo længere bliver listen over potentielle applikationer.

"Før pandemien havde vi planer om at præsentere Douglas som en kiosk, hvor du kommer op til en skærm og taler med ham," huskede Hendler. "Men så tænkte vi, 'Hey, vi burde virkelig få ham ind i Zoom-opkald.' Det har været fantastisk at få ham til at indtaste Zoom-opkald og gå."

I løbet af demonstrationen gennemgik holdet en lang liste af potentielle ansøgninger til Douglas fra lægens kontorer og kundeservice, til hans brugbarhed i Hollywood i de tidlige stadier af planlægning af en scene eller en bestemt på skærmen rækkefølge. Douglas selv tilbød endda et par forslag, hvilket tydede på, at han ville være en god egnet til storyboarding og konceptuelle stadier af film- og tv-produktion. Hans evne til at behandle både lyd- og visuelle signaler fra dem, han taler med - især når det kommer til følelsesmæssige tilstande — tilbyder også et ekstra lag af anvendelighed, når de handler med kunder eller dem, der leder efter medicinsk vejledning, ifølge Hendler.

Den hastighed, hvormed Douglas kan behandle al den information og skifte fra passiv lytter til aktiv samtalepartner har også masser af appel og viser, hvor langt teknologien bag ham har udviklet sig på kort tid.

"Da vi skabte Thanos, havde vi en enkelt frame, som tog 10 timer at gengive. Det er én ramme,« forklarer han.

"For Douglas har han et visionsgenkendelsessystem, så han ser os og kan identificere os, og han analyserer, hvad du siger, forvandler det til ord og sender det til forskellige chatbots," tilføjer han. "Douglas skaber derefter et svar, gør det til lyd og bruger den lyd til at drive hans ansigt. Samtidig er han også ved at finde ud af, hvilken kropsbevægelse der følger med den tale, bestemmer hvilken følelse der passer til den, og gengiver den kropsbevægelse sammen med hans ansigtsbevægelser."

"Det hele sker på få millisekunder," siger Hendler. "Det er alle de processer, sammenlignet med 10 timer for et billede i en spillefilm. Det er så fantastisk. Det er ikke så realistisk som det, vi laver for film, men hvis du tænker på mængden af ​​ting, der foregår for at kunne tale til ham som en rigtig person, er det bare fænomenalt."

Og i en meget bogstavelig forstand har Douglas ofte været sin egen bedste fortaler, når det kommer til hans potentiale.

Roble forklarede, at de ved flere lejligheder valgte at lade Douglas lede sin egen præsentation af, ja … ham selv. Resultatet endte med at blive et bedre pitch for hans potentiale, end selv de havde forventet.

"[Douglas' præsentation] var overraskende overbevisende. Det var ikke bare at bede Siri om at fortælle os noget, for han var en del af processen,” huskede Roble. “Han er sjov at tale med, fordi han er en nyhed, men han er også virkelig effektiv. Og du kan ikke lade være med at tænke: Hvad med undervisning eller andre applikationer? Når alt kommer til alt, kan du se, hvornår han er opmærksom. Du kan give ham følelsesmæssig feedback, og han kan reagere."

Selvom Douglas allerede er en imponerende skabelse, insisterer Digital Domain-teamet på, at han forbliver et arbejde i fremskridt - men himlen er grænsen for, hvilken slags arbejde deres digitale menneske kunne ende med at udføre som tid fortsætter. På mange måder er processen med at finde ud af, hvad Douglas er i stand til, både processen og målet.

"En af grundene til, at vi gør dette, er, fordi vi kunne," siger Roble. “Når du er ved en computer og arbejder, er det meget nemt bare at skrive væk. Men der er så mange tidspunkter og steder, det ville være dejligt bare at kunne tale med en person og få den person til at interagere med dig og reagere på dig. Jeg tror, ​​vi står foran en stor forandring i fremtiden."

Redaktørens anbefalinger

• Hvordan Thanos VFX-teamet bragte The Quarrys karakterer til live (og derefter dræbte dem)