GT Sophy-udviklere forklarer, hvordan det lærte en AI-sportsmandslignende adfærd

Som den første betydelige offentlige udgivelse af teknologi fra Sony AI, som blev dannet i 2020, den kommende Gran Turismo Sophy Race Together-tilstand for Gran Turismo 7 vil være mange spilleres første eksponering for kompleks AI-teknologi, der kan have en varig indvirkning på mange af Sony Interactive Entertainments spil. Som sådan, hvis AI'en er uhøflig, uretfærdig og uovervindelig for mange spillere, kan GT Sophy ses som endnu et advarselstegn på, at AI ikke er klar til primetime endnu. Derfor er det en prioritet for udviklerne at sikre, at GT Sophy har ordentlig sportsetikette.

“I racerløb skal du sørge for, at du kører aggressivt, fordi du vil vinde, men samtidig vil du køre retfærdigt." Sony AI COO Michael Spranger fortæller Digital Trends. "Man kan ikke støde ind i andre biler for at opnå en fordel, og man skal sørge for, at alle kan konkurrere retfærdigt. Det er et interessant område, fordi disse regler er ret upræcise; der er en regelbog, men den skal fortolkes fra dommere. At få dette rigtigt - at køre aggressivt og konkurrencedygtigt versus at køre retfærdigt - er en af ​​de store udfordringer ved GT Sophy."

Sony AI, Sony Interactive Entertainment og Polyphony Digital har bekræftet, at spillere vil være i stand til at køre GT Sophy i en begrænset periode Gran Turismo 7 tilstand, der starter den 21. februar. For at komme til det punkt gjorde dens udviklere en masse arbejde med at forfine ikke kun GT Sophys færdigheder via forstærkende læring, men også dens etikette mod et tåget sæt høflighedsdrevne regler. Forud for sin tilføjelse til Gran Turismo 7, Digital Trends talte med Sony AI COO Michael Spranger og GT Sophy projektleder Peter Wurman for at lære mere om deres etiske tilgang til GT Sophys sportslige adfærd, og hvilke fremtidige anvendelser de ser for denne teknologi i spil.

Følgende interview er blevet redigeret for at gøre det kort og tydeligt.

Hvad gjorde Gran Turismo til den mest tiltalende mulighed for først at udvikle en avanceret AI?

Michael Spranger: Det var fordi det var muligt, og fordi Gran Turismo er et rigtig spændende spil. Gran Turismo har været en del af PlayStation lige fra begyndelsen. Det er et ikonisk spil, der giver dette specifikke udfordringsområde fysisk realisme, strategi, beslutningstagning og sportsetikette. Det har også et stort publikum af mennesker, der faktisk følger spillet, og det betyder, at enhver teknologi, vi udvikler i spillet, kan have en potentielt meningsfuld indvirkning på millioner af spillere. Jeg elsker også spillet. Disse ting kombineret fik os til at vælge Gran Turismo som et af de første mål for gaming AI-projekter.

Hvordan gør forstærkningslæring det muligt for denne AI at tage flere risici eller køre mere imponerende end dit standardspil AI? Er det bare at prøve at køre den mest præcise racerlinje?

Peter Wurman: Der er forskellige færdighedsniveauer. Grundlinjen kører hurtigere på banen, så forstærkende læring fungerer ved at lade AI-agenten udforske, hvilken effekt dens handlinger har på verden og derefter forsøge at maksimere sin belønning. Ved at give den positive signaler for at køre hurtigere på banen, lærer den at køre meget hurtigt rundt på banen. Den lærer at trykke på speederen og bryde ind i sving, så den ikke styrter ned, hvilket fungerer fantastisk til at træne den til et tidskørselsscenarie.

For faktisk at gøre det til en konkurrencedygtig racer, vi var nødt til at give den andre belønningssignaler for at køre forbi biler, der er foran den og ikke forhindre biler bagved i at passere den. Vi gav den også bøder for at kollidere eller støde ind i andre biler. Denne kombination af belønninger og straffe krævede en del indsats for at komme rigtigt, men når vi først trænede med den rigtige bestand af modstandere, lærte den at være en meget effektiv racer.

Hvad var den største læring fra de første par Race Together-begivenheder, som du holdt med top Gran Turismo Sport spillere?

Peter Wurman: Hvis du har fulgt med i projektet, ved du, at der var to løb. Den første gjorde vi det godt, men vi vandt ikke holdresultatet. Nogle af de interessante ting, vi lærte af, havde at gøre med at finde balancen mellem selvsikkerhed og at være en god sport. Vi fandt ud af to uger i forvejen, at den agent, vi havde trænet, var for aggressiv og ikke ville have lov til at køre, så vi var nødt til at skrubbe og justere tingene. Du kan ikke have én AI-agent, der var rigtig god til at køre hurtigt, og en anden, der tænkte på de taktiske aspekter af afleveringer; i stedet var vi nødt til at inkorporere dem sammen i én sammenhængende agent, der gjorde begge dele på samme tid. Det er de ting, vi så efter juli 2021 løb, så vi følte os meget mere sikre på at gå ind i oktober 2021 løb.

Michael Spranger: Der var denne ting, hvor vi fik at vide, at den var for aggressiv, men på den første udstillingsløbsdag tabte vi faktisk løbet, fordi vi ikke var aggressive nok og frygtsomme. Problemet med, hvordan du balancerer disse ting, var virkelig tydeligt i hele udviklingen af ​​projektet.

Hvilke ændringer skulle der foretages på GT Sophy, da du tog beslutningen om at tilføje den Gran Turismo 7 og ikke bare træne det i et testmiljø?

Peter Wurman: Den største er, at i alle udstillingerne kørte GT Sophy på en separat computer og talte gennem en netværksforbindelse til PlayStation-konsollen. Her er GT Sophy indlejret i spillet. At få det til at fungere på en PlayStation med de ressourcer, der var tilgængelige for os efter al gengivelsen og andre ting, der foregår, var lidt ingeniørarbejde.

Den anden ting er, at Polyphony Digital virkelig ønskede, at agenten skulle være et ekstremt godt eksempel på racerstil og racerfærdigheder. Vi har indført nogle ændringer for at tilskynde GT Sophy til at holde sig mere inden for linjerne. Hvis du har set nogen af ​​udstillingerne, vil du se, at den var rigtig god til at bruge hele banen, nogle gange at sætte to dæk i græsset. Det er lovligt, men ikke ligefrem hvad du kunne gøre i en rigtig racerbil. Vi lavede nogle ændringer for at holde GT Sophy mere mellem linjerne. Det er stadig meget hurtigt, men lidt renere.

Hvad er de vigtigste ting, Sony AI-teamet håber at lære af at tilføje Gran Turismo Sophy Race Together til Gran Turismo 7?

Peter Wurman: Den vigtigste er, at vi håber, folk nyder at spille imod det, føler, at de virkelig er udfordret på alle niveauer af færdigheder og lærer at blive bedre simulerede racerkørere.

Michael Spranger: Vi vil også gerne se, hvordan folk interagerer med teknologien. Lige nu er det en håndfuld mennesker, der har oplevet teknologien, så vi er nysgerrige efter at se, hvordan folk kommer til at bruge dette til at lære selv, få nye færdigheder og få nye erfaringer. Det tror jeg er kernen i projektet på mange måder. Vi har det teknologiske gennembrud, og jeg tror, ​​det er rigtig vigtigt, men jeg tror, ​​vi låser op for en helt ny scene for mennesker og i Gran Turismo. På mange måder har den indbyggede AI et ret snævert bånd af ydeevne, og det kan du overgå, når du først bliver en mellemdriver på hver sværhedsgrad.

Selv med de relativt få bane-bil-kombinationer, som vi afslørede her, fra hvad jeg kan gøre til hvad nogle af topspillerne kan gøre, kan alle finde en virkelig interessant match. Vi håber at se mere af det og se, hvordan folk lærer af det. Det er også meget svært for nogle spillere at finde gode modstandere, og for første gang kan du få det gentagne interaktioner med en værdig modstander uden at skulle ringe til alle dine venner og få dem alle til at komme sammen. Det bliver noget, hvor folk kan gøre store fremskridt med at blive bedre til spillet, fordi de i et vist omfang kan få disse skræddersyede oplevelser.

På den etiske side af tingene, kan du forklare processen med at bestemme, hvad der udgør sportslig adfærd for GT Sophy, så det ikke chikanerer visse spillere?

Peter Wurman: Godt, den kan ikke tale til dig, så der er mange dårlige ting, GT Sophy ikke kan gøre, fordi det ikke er en del af spillet. Vi er for det meste fokuseret på at forsøge at overholde reglerne for sportsånd i bilracer; nu, de er ret tågede. Du kan ikke blokere en legitim forbigåelsesmulighed og den slags. Der er en masse uklare ord i disse regler, som var svære at kode og programmere, så vi var nødt til at tilnærme det med belønningssignaler og straffe, hvis det gjorde ting som at støde en anden bil.

Så var vi nødt til at give det til Polyphony Digital og testkørere og lade dem give os feedback på grund af racerløb mod andre AI-agenter viser os ikke rigtig, om den er klar til at køre mod de mange forskellige menneskelige væddeløb stilarter. Det krævede en indsats og gentagelse for at få det rigtigt.

Michael Spranger: For denne udgivelse synes jeg, det er rimeligt at sige, at den er konkurrencedygtig. Det vil forsøge at overhale spillere, men det vil ikke dykkebombe dem. Det er konkurrencedygtigt, men høfligt. Det lægger helt sikkert pres på dig; du kommer til at se det i bakspejlene, der prøver at overhale dig. Samtidig vil det forsøge at give dig lidt plads, så du kan køre konkurrencedygtigt, men retfærdigt.

Peter Wurman: Men hvis du laver noget rod, vil det drage fordel.

Michael Spranger: Det er rigtigt, med det samme!

Hvor ser du GT Sophy og AI-teknologi i Sony-spil gå hen over de næste fem år?

Michael Spranger: Vi kan naturligvis ikke annoncere noget specifikt, men generelt er der flere lag i det. Der er stadig udfordringer og ting, vi kan gøre inden for Gran Turismo for at låse op for nye oplevelser, og jeg tror ikke, vi er færdige med det. Der er virkelig begejstring for at skubbe teknologien videre. Så set fra Sony AI-perspektivet af virksomhedernes R&D og strategiske initiativer, er vi virkelig spændte på, hvad denne teknologi kan bringe til gaming generelt.

Andre spil vil give os en anden udfordring at overvinde og vil fremme teknologiens muligheder. Det er en ny teknologi, der har haft nogle succeser i fortiden, men jeg tror, ​​at det, vi laver her, er ret tydeligt i fornemmer, at vi laver de videnskabelige gennembrud, men så implementerer vi det også og sørger for, at folk får fingrene i AI teknologi. Det vil skubbe teknologien fremad og låse op for større oplevelser.

Interaktion er kernen i PlayStation, det er ikke en fejl, at det hedder Sony Interactive Entertainment. Det handler i virkeligheden om, hvad din interaktion med de ting, du finder i spillet, er, og jeg føler, at dette teknologi har potentialet til virkelig at låse op for den næste generation af spil, og det er vi virkelig begejstrede for at.

Redaktørens anbefalinger

• CES 2023: Gran Turismo 7 kommer til PS VR2 som et lanceringsspil
• Gran Turismo 7 for at ændre kreditudbetalinger efter tilbageslag
• Gran Turismo 7 har et museum for bilhistorieinteresserede