Vývojáři GT Sophy vysvětlují, jak to naučilo AI sportovnímu chování

Jako první významné veřejné vydání technologie z Sony AI, která vznikla v roce 2020, nadcházející režim Gran Turismo Sophy Race Together Gran Turismo 7 bude pro mnoho hráčů prvním setkáním s komplexní technologií AI, která by mohla mít trvalý dopad na mnoho her Sony Interactive Entertainment. Pokud je tedy AI hrubá, nespravedlivá a pro mnoho hráčů nepřekonatelná, GT Sophy by mohla být vnímána jako další varovné znamení, že AI ještě není připravena na hlavní vysílací čas. Proto je pro vývojáře prioritou zajistit u GT Sophy správnou sportovní etiketu.

V závodech se musíte ujistit, že jedete agresivně, protože chcete vyhrávat, ale zároveň chcete jet férově,“ Sony AI COO Michael Spranger říká Digital Trends. „Nemůžete narážet do jiných vozů, abyste získali výhodu, a musíte se ujistit, že každý může spravedlivě soutěžit. To je zajímavá oblast, protože tato pravidla jsou dost nepřesná; existuje kniha pravidel, ale potřebuje výklad od soudců. Správné řízení – agresivní a soutěžní jízda versus férová jízda – je jednou z velkých výzev GT Sophy.“

Doporučená videa

Sony AI, Sony Interactive Entertainment a Polyphony Digital potvrdily, že hráči budou moci závodit s GT Sophy v omezeném čase. Gran Turismo 7 režim od 21. února. Aby se dostali do tohoto bodu, jeho vývojáři udělali spoustu práce, když vylepšili nejen dovednosti GT Sophy prostřednictvím posilovacího učení, ale také jeho etiketu směrem k mlhavému souboru pravidel založených na zdvořilosti. Před jeho přidáním do Gran Turismo 7, Digital Trends hovořil s provozním ředitelem společnosti Sony AI Michaelem Sprangerem a vedoucím projektu GT Sophy Peterem Wurmanem, aby se dozvěděli více o jejich etický přístup ke sportovnímu chování GT Sophy a jaké budoucí využití této technologie vidí hraní her.

Následující rozhovor byl upraven pro stručnost a srozumitelnost.

Proč je Gran Turismo nejatraktivnější možností pro vývoj pokročilé umělé inteligence?

Headshot Sony AI COO Michaela Sprangera, PhD.
Michael Spranger, PhD, COO společnosti Sony AI

Michael Spranger: Bylo to proto, že to bylo možné a protože Gran Turismo je opravdu vzrušující hra. Gran Turismo je součástí PlayStation od samého začátku. Je to ikonická hra, která poskytuje tuto specifickou oblast výzvy fyzického realismu, strategie, rozhodování a sportovní etikety. Má také velké publikum lidí, kteří hru skutečně sledují, a to znamená, že jakákoli technologie, kterou ve hře vyvíjíme, může mít potenciálně významný dopad na miliony hráčů. Také miluji hru. Kombinace těchto věcí nás přiměla vybrat Gran Turismo jako jeden z prvních cílů herních projektů AI.

Jak posilovací učení umožňuje této umělé inteligenci více riskovat nebo řídit působivěji než vaše standardní herní umělá inteligence? Snaží se jen řídit co nejpřesnější závodní linii?

Peter Wurman: Existují různé úrovně dovedností. Základní čára jede na trati rychleji, takže posilovací učení funguje tak, že necháte agenta AI prozkoumat, jaký vliv mají jeho akce na svět, a poté se pokusit maximalizovat svou odměnu. Tím, že mu dáváte pozitivní signály pro rychlejší jízdu na trati, učí se jezdit po trati velmi rychle. Naučí se sešlápnout plynový pedál a vjíždět do zatáček, aby nehavaroval, což skvěle funguje při trénování na časovku.

Aby to vlastně bylo a soutěžní závodník, museli jsme mu dávat další signály odměny za to, že projíždí auta, která jsou před ním a nebrání autům za ním v jeho projetí. Udělili jsme mu také tresty za srážku nebo náraz do jiných aut. Tato kombinace odměn a trestů si vyžádala určité úsilí, aby byla správná, ale jakmile jsme trénovali se správnou populací protivníků, naučili se být velmi efektivním závodníkem.

Headshot vedoucího projektu GT Sophy a ředitele Sony AI America Petera Wurmana.
Peter Wurman, PhD, ředitel Sony AI America a vedoucí projektu na GT Sophy

Jaké byly největší poznatky z prvních pár akcí Race Together, které jste pořádali se špičkou? Gran Turismo Sport hráči?

Peter Wurman: Pokud jste sledovali projekt, budete vědět, že byly dva závody. První se nám dařilo, ale nezískali jsme týmové skóre. Některé ze zajímavých věcí, které jsme se naučili, se týkaly nalezení rovnováhy mezi asertivitou a dobrým sportem. Dva týdny předem jsme zjistili, že agent, kterého jsme trénovali, je příliš agresivní a nebude mu dovoleno závodit, takže jsme se museli přetahovat a upravovat věci. Nemůžete mít jednoho agenta umělé inteligence, který byl opravdu dobrý v rychlé jízdě, a druhého, který přemýšlel o taktických aspektech přihrávek; místo toho jsme je museli začlenit do jednoho koherentního agenta, který dělal obojí současně. To jsou věci, které jsme viděli po závod v červenci 2021, takže jsme se cítili mnohem jistější závod v říjnu 2021.

Michael Spranger: Byla tam jedna věc, kde nám bylo řečeno, že je to příliš agresivní, ale pak jsme v první exhibiční závodní den závod prohráli, protože jsme nebyli dostatečně agresivní a bázliví. Problém, jak tyto věci vybalancovat, byl skutečně patrný v průběhu vývoje projektu.

Repríza zápasu Gran Turismo Sophy Race Together ve hře Gran Turismo 7.

Jaké změny bylo třeba provést na GT Sophy, když jste se rozhodli jej přidat Gran Turismo 7 a ne to jen trénovat v testovacím prostředí?

Peter Wurman: Největší je, že na všech výstavách GT Sophy běžela na samostatném počítači a mluvila přes síťové připojení ke konzoli PlayStation. Zde je GT Sophy zasazeno do hry. Zařídit, aby to fungovalo na PlayStation se zdroji, které jsme měli k dispozici po tom vykreslování a dalších věcech, které se dějí, byla trochu inženýrská práce.

Další věc je, že Polyphony Digital opravdu chtěl, aby byl agent extrémně dobrým příkladem závodního stylu a závodních dovedností. Zavedli jsme několik změn, abychom podpořili GT Sophy, aby se více držela v liniích. Pokud jste sledovali některou z exhibicí, uvidíte, že bylo opravdu dobré využít celou trať, někdy dát dvě pneumatiky do trávy. To je legální, ale ne přesně to, co byste mohli dělat ve skutečném závodním autě. Udělali jsme několik změn, abychom GT Sophy udrželi mezi řádky více. Je to stále velmi rychlé, ale trochu čistší.

Nejvíce se zaměřujeme na snahu dodržovat pravidla sportovního chování v automobilových závodech.

Jaké jsou hlavní věci, které se tým Sony AI doufá naučit z přidání Gran Turismo Sophy Race Together Gran Turismo 7?

Peter Wurman: Hlavním z nich je, že doufáme, že si lidé hraní proti němu užívají, mají pocit, že jsou skutečně výzvou na všech úrovních dovedností, a učí se stát se lépe simulovanými závodními jezdci.

Michael Spranger: Chceme také vidět, jak lidé interagují s technologií. Právě teď je to hrstka lidí, kteří tuto technologii zažili, takže jsme zvědaví, jak ji lidé využijí, aby se sami učili, získali nové dovednosti a nové zkušenosti. Myslím, že to je v mnoha ohledech jádro projektu. Máme technologický průlom, a to si myslím, že je opravdu důležité, ale myslím, že otevíráme zcela novou etapu pro lidi a v Gran Turismo. Vestavěná umělá inteligence má v mnoha ohledech docela úzké pásmo výkonu a můžete to překonat, jakmile se stanete středně pokročilým řidičem na každou obtížnost.

I s relativně malým počtem kombinací dráha-auto, které jsme zde odhalili, od toho, co umím já, až po to, co umí někteří špičkoví hráči, si každý může najít opravdu zajímavý zápas. Doufáme, že toho uvidíme více a uvidíme, jak se z toho lidé poučí. Pro některé hráče je také velmi obtížné najít dobré soupeře a poprvé to můžete mít vy opakované interakce s hodným protivníkem, aniž byste museli svolat všechny své přátele a nechat je všechny přijít spolu. Bude to něco, kde lidé mohou udělat velký pokrok ve zdokonalování se ve hře, protože do jisté míry mohou mít tyto přizpůsobené zkušenosti.

Pohled z první osoby na závod Gran Turismo Sophy Race Together ve hře Gran Turismo 7.

Co se týče etické stránky věcí, můžete vysvětlit proces určování toho, co představuje sportovní chování pro GT Sophy, aby to neobtěžovalo určité hráče?

Peter Wurman: Studna, nemůže s tebou mluvit, takže existuje spousta špatných věcí, které GT Sophy nemůže udělat, protože to není součástí hry. Nejvíce se zaměřujeme na snahu dodržovat pravidla sportovního chování v automobilových závodech; teď jsou docela mlhavé. Nemůžete blokovat legitimní příležitost k průchodu a podobné věci. V těchto pravidlech je spousta nejasných slov, která bylo těžké zakódovat a naprogramovat, takže jsme je museli aproximovat pomocí signálů odměn a penalizací, pokud to způsobilo věci jako náraz do jiného auta.

Pak jsme to museli dát Polyphony Digital a testovacím jezdcům a nechat je, aby nám poskytli zpětnou vazbu, protože závodíme proti jiným agentům umělé inteligence nám ve skutečnosti neukazuje, zda je připraven závodit s různými lidskými závody styly. To vyžadovalo určité úsilí a opakování, než to bylo správné.

Michael Spranger: U tohoto vydání si myslím, že je spravedlivé říci, že je konkurenceschopné. Bude se snažit hráče předběhnout, ale nebude je bombardovat. Je to soutěživé, ale slušné. Rozhodně na vás vyvíjí tlak; uvidíte to ve zpětných zrcátkách, jak se vás snaží předjet. Zároveň se pokusí poskytnout vám určitý prostor, abyste mohli závodit soutěživě, ale spravedlivě.

Peter Wurman: Ale pokud uděláte nepořádek, využije to.

Michael Spranger: Přesně tak, okamžitě!

Nabídka závodních možností režimu Gran Tursimo Sophy Race Together v Gran Turismo 7.

Kam se podle vás budou technologie GT Sophy a AI u her Sony ubírat v příštích pěti letech?

Michael Spranger: Je zřejmé, že nemůžeme nic konkrétně oznámit, ale obecně to má několik vrstev. Stále existují výzvy a věci, které můžeme v Gran Turismo udělat, abychom odemkli nové zážitky, a nemyslím si, že jsme s tím skončili. Existuje skutečné nadšení z posouvání technologie dále. Z pohledu AI společnosti Sony na podnikový výzkum a vývoj a strategické iniciativy jsme opravdu nadšeni z toho, co tato technologie může obecně přinést hraní her.

Jiné hry nám dají jinou výzvu, kterou musíme překonat, a rozšíří možnosti této technologie. Je to nově vznikající technologie, která v minulosti zaznamenala určité úspěchy, ale myslím si, že to, co zde děláme, je v cítíme, že děláme vědecké objevy, ale pak je také nasazujeme a zajišťujeme, že se lidem dostane do rukou AI technika. To posune technologii vpřed a odemkne lepší zážitky.

Interakce je jádrem PlayStationu, není to chyba, že se nazývá Sony Interactive Entertainment. Je to opravdu o tom, jaká je vaše interakce s věcmi, které ve hře najdete, a mám pocit, že tohle technologie má potenciál skutečně odemknout další generaci her a jsme z toho opravdu nadšení že.

Doporučení redakce

  • CES 2023: Gran Turismo 7 přichází na PS VR2 jako úvodní hra
  • Gran Turismo 7 změní kreditní výplaty po odporu
  • Gran Turismo 7 nabízí muzeum pro milovníky automobilové historie