Utviklere fra GT Sophy forklarer hvordan det lærte en AI-sportslig oppførsel

Som den første betydelige offentlige utgivelsen av teknologi fra Sony AI, som ble dannet i 2020, den kommende Gran Turismo Sophy Race Together-modusen for Gran Turismo 7 vil være mange spilleres første eksponering for kompleks AI-teknologi som kan ha en varig innvirkning på mange av Sony Interactive Entertainments spill. Som sådan, hvis AI er frekk, urettferdig og uslåelig for mange spillere, kan GT Sophy sees på som enda et varseltegn på at AI ikke er klar for primetime ennå. Derfor er det en prioritet for utviklerne å sikre at GT Sophy har riktig sportsetikett.

I racing må du sørge for at du kjører aggressivt fordi du ønsker å vinne, men samtidig vil du kjøre rettferdig.» Sony AI COO Michael Spranger sier til Digital Trends. "Du kan ikke støte på andre biler for å få en fordel og må sørge for at alle kan konkurrere rettferdig. Det er et interessant område fordi disse reglene er ganske upresise; det er en regelbok, men den trenger tolkning fra dommere. Å få dette riktig – å kjøre aggressivt og konkurransedyktig versus å kjøre rettferdig – er en av de store utfordringene til GT Sophy.»

Anbefalte videoer

Sony AI, Sony Interactive Entertainment og Polyphony Digital har bekreftet at spillere vil kunne kjøre GT Sophy på en begrenset tid Gran Turismo 7 modus som starter 21. februar. For å komme til det punktet, gjorde utviklerne mye arbeid med å forbedre ikke bare GT Sophys ferdigheter via forsterkende læring, men også dens etikette mot et tåkete sett med høflighetsdrevne regler. I forkant av tillegget til Gran Turismo 7, Digital Trends snakket med Sony AI COO Michael Spranger og GT Sophy prosjektleder Peter Wurman for å lære mer om deres etiske tilnærming til GT Sophys sportslige oppførsel, og hvilken fremtidig bruk de ser for denne teknologien i spilling.

Følgende intervju er redigert for å være kortfattet og tydelig.

Hva gjorde Gran Turismo til det mest tiltalende alternativet for å utvikle en avansert AI for først?

Et hodebilde av Sony AI COO Michael Spranger, PhD.
Michael Spranger, PhD, COO i Sony AI

Michael Spranger: Det var fordi det var mulig og fordi Gran Turismo er et virkelig spennende spill. Gran Turismo har vært en del av PlayStation helt fra begynnelsen. Det er et ikonisk spill som gir dette spesifikke utfordringsområdet fysisk realisme, strategi, beslutningstaking og sportsetikett. Dessuten har det et stort publikum av mennesker som faktisk følger spillet, og det betyr at all teknologi vi utvikler i spillet kan ha en potensielt meningsfull innvirkning på millioner av spillere. Jeg elsker også spillet. Disse tingene sammen gjorde at vi valgte Gran Turismo som et av de første målene for AI-spillprosjekter.

Hvordan lar forsterkende læring denne AI-en ta mer risiko eller kjøre mer imponerende enn din standard spill-AI? Er det bare å prøve å kjøre den mest presise racinglinjen?

Peter Wurman: Det er forskjellige ferdighetsnivåer. Grunnlinjen kjører raskere på banen, så forsterkende læring fungerer ved å la AI-agenten utforske hvilken effekt handlingene har på verden og deretter prøve å maksimere belønningen. Ved å gi den positive signaler for å gå fortere på banen, lærer den å kjøre rundt banen veldig fort. Den lærer å trykke på gasspedalen og bryte inn i svinger slik at den ikke krasjer, noe som fungerer utmerket for å trene den opp for et tidsprøvescenario.

Å faktisk gjøre det til en konkurrerende racer, vi måtte gi den andre belønningssignaler for å passere biler som står foran den og ikke hindre biler bak i å passere den. Vi ga den også straff for å kollidere eller støte på andre biler. Denne kombinasjonen av belønninger og straffer krevde litt innsats for å komme rett, men når vi først trente med riktig populasjon av motstandere, lærte den å være en veldig effektiv racer.

Et hodebilde av GT Sophy prosjektleder og direktør for Sony AI America Peter Wurman.
Peter Wurman, PhD, direktør for Sony AI America og prosjektleder på GT Sophy

Hva var den største lærdommen fra de første par Race Together-arrangementene du holdt med topp Gran Turismo Sport spillere?

Peter Wurman: Hvis du har fulgt prosjektet, vet du at det var to løp. Den første gjorde vi det bra, men vi vant ikke Lagscore. Noen av de interessante tingene vi lærte av som hadde å gjøre med å finne balansen mellom selvsikkerhet og å være en god sport. Vi fant ut to uker i forveien at agenten vi hadde trent var for aggressiv og ikke ville få lov til å løpe, så vi måtte rykke og justere ting. Du kan ikke ha en AI-agent som var veldig god til å kjøre fort og en annen som tenkte på de taktiske aspektene ved pasninger; i stedet måtte vi inkorporere dem sammen til én sammenhengende agent som gjorde begge deler samtidig. Det er de tingene vi så etter juli 2021 løp, så vi følte oss mye mer selvsikre på å gå inn i oktober 2021 løp.

Michael Spranger: Det var denne tingen der vi ble fortalt at den var for aggressiv, men på den første utstillingsløpsdagen tapte vi faktisk løpet fordi vi ikke var aggressive nok og sjenerte. Problemet med hvordan du balanserer disse tingene var virkelig tydelig under utviklingen av prosjektet.

En reprise av en Gran Turismo Sophy Race Together-kamp i Gran Turismo 7.

Hvilke endringer måtte gjøres på GT Sophy da du tok beslutningen om å legge den til Gran Turismo 7 og ikke bare trene den i et testmiljø?

Peter Wurman: Den største er at i alle utstillingene kjørte GT Sophy på en egen datamaskin og snakket gjennom en nettverksforbindelse til PlayStation-konsollen. Her er GT Sophy innebygd i spillet. Å få det til å fungere på en PlayStation med ressursene som var tilgjengelige for oss etter all gjengivelsen og andre ting som pågår, var litt ingeniørarbeid.

Den andre tingen er at Polyphony Digital virkelig ønsket at agenten skulle være et ekstremt godt eksempel på racingstil og racingferdigheter. Vi har lagt inn noen endringer for å oppmuntre GT Sophy til å holde seg mer innenfor linjene. Hvis du har sett noen av utstillingene, vil du se at den var veldig flink til å bruke hele banen, noen ganger å sette to dekk i gresset. Det er lovlig, men ikke akkurat det du kan gjøre i en ekte racerbil. Vi gjorde noen endringer for å holde GT Sophy mer mellom linjene. Det er fortsatt veldig raskt, men litt renere.

Vi er mest fokusert på å prøve å følge reglene for sportsånd i bilracing.

Hva er de viktigste tingene Sony AI-teamet håper å lære av å legge til Gran Turismo Sophy Race Together til Gran Turismo 7?

Peter Wurman: Den viktigste er at vi håper folk liker å spille mot det, føler at de virkelig blir utfordret på alle ferdighetsnivåer, og lærer å bli bedre simulerte racerbilførere.

Michael Spranger: Vi ønsker også å se hvordan folk samhandler med teknologien. Akkurat nå er det en håndfull mennesker som har erfart teknologien, så vi er nysgjerrige på å se hvordan folk kommer til å bruke dette til å lære selv, få nye ferdigheter og få nye erfaringer. Jeg tror det er kjernen i prosjektet på mange måter. Vi har det teknologiske gjennombruddet, og jeg tror det er veldig viktig, men jeg tror vi låser opp en helt ny scene for folk og i Gran Turismo. På mange måter har den innebygde AI et ganske smalt ytelsesbånd, og du kan overgå det når du først blir en middels driver på hver vanskelighetsgrad.

Selv med de relativt få belte-bil-kombinasjonene som vi avduket her, fra hva jeg kan gjøre til hva noen av toppspillerne kan gjøre, kan alle finne en virkelig interessant match. Vi håper å se mer av det og se hvordan folk lærer av det. Det er også veldig vanskelig for noen spillere å finne gode motstandere, og for første gang kan du ha det gjentatte interaksjoner med en verdig motstander uten å måtte ringe opp alle vennene dine og få dem alle til å komme sammen. Det kommer til å være noe der folk kan gjøre store fremskritt i å bli bedre i spillet fordi de til en viss grad kan ha disse skreddersydde opplevelsene.

Et førstepersonsperspektiv på et Gran Turismo Sophy Race Together-løp i Gran Turismo 7.

På den etiske siden av ting, kan du forklare prosessen med å avgjøre hva som utgjør sportslig oppførsel for GT Sophy, slik at den ikke trakasserer enkelte spillere?

Peter Wurman: Vi vil, den kan ikke snakke med deg, så det er mange dårlige ting GT Sophy ikke kan gjøre fordi det ikke er en del av spillet. Vi er mest fokusert på å prøve å følge reglene for sportsånd i bilracing; nå, de er ganske uklare. Du kan ikke blokkere en legitim forbigangsmulighet og slike ting. Det er en haug med uklare ord i disse reglene som var vanskelige å kode og programmere, så vi måtte tilnærme det med belønningssignaler og straffer hvis det gjorde ting som å støte en annen bil.

Så måtte vi gi den til Polyphony Digital og testførere og la dem gi oss tilbakemelding på grunn av racing mot andre AI-agenter viser oss egentlig ikke om den er klar til å konkurrere mot mangfoldet av menneskelig racing stiler. Det tok litt innsats og iterasjon for å få det riktig.

Michael Spranger: For denne utgivelsen synes jeg det er rimelig å si at den er konkurransedyktig. Den kommer til å prøve å forbigå spillere, men den kommer ikke til å bombe dem. Det er konkurransedyktig, men høflig. Det legger definitivt press på deg; du kommer til å se det i bakspeilene som prøver å overkjøre deg. Samtidig vil den prøve å gi deg litt plass slik at du kan løpe konkurransedyktig, men rettferdig.

Peter Wurman: Men hvis du lager et rot, vil det dra nytte.

Michael Spranger: Det stemmer, umiddelbart!

Gran Tursimo Sophy Race Together-modusens løpsalternativmeny i Gran Turismo 7.

Hvor ser du GT Sophy og AI-teknologi i Sony-spill gå over de neste fem årene?

Michael Spranger: Selvfølgelig kan vi ikke kunngjøre noe spesifikt, men generelt er det flere lag i det. Det er fortsatt utfordringer og ting vi kan gjøre i Gran Turismo for å låse opp nye opplevelser, og jeg tror ikke vi er ferdige med det. Det er virkelig spenning til å presse teknologien videre. Så, fra Sony AI-perspektivet til bedriftens FoU og strategiske initiativer, er vi veldig spente på hva denne teknologien kan bringe til gaming generelt.

Andre spill vil gi oss en annen utfordring å overvinne og vil fremme teknologiens muligheter. Det er en fremvoksende teknologi som har hatt noen suksesser tidligere, men jeg tror det vi gjør her er ganske distinkt i føler at vi gjør de vitenskapelige gjennombruddene, men så distribuerer vi det også og sørger for at folk får tak i AI teknologi. Det kommer til å presse teknologien fremover og låse opp for større opplevelser.

Interaksjon er kjernen i PlayStation, det er ikke en feil at det kalles Sony Interactive Entertainment. Det handler egentlig om hva din interaksjon med tingene du finner i spillet er, og jeg føler at dette teknologi har potensial til å virkelig låse opp neste generasjon spill, og vi er veldig begeistret for at.

Redaktørenes anbefalinger

  • CES 2023: Gran Turismo 7 kommer til PS VR2 som et lanseringsspill
  • Gran Turismo 7 for å endre kredittutbetalinger etter tilbakeslag
  • Gran Turismo 7 har et museum for bilhistorieinteresserte