Dezvoltatorii GT Sophy explică cum a învățat un comportament sportiv AI

Ca prima lansare publică semnificativă a tehnologiei din Sony AI, care a fost format în 2020, viitorul mod Gran Turismo Sophy Race Together pentru Gran Turismo 7 va fi prima expunere a multor jucători la tehnologia IA complexă, care ar putea avea un impact de durată asupra multor jocuri Sony Interactive Entertainment. Ca atare, dacă AI-ul este nepoliticos, nedrept și imbatabil pentru mulți jucători, GT Sophy ar putea fi văzut ca un alt semn de avertizare că AI nu este încă pregătit pentru primetime. De aceea, asigurarea că GT Sophy are o etichetă sportivă adecvată este o prioritate pentru dezvoltatorii săi.

În curse, trebuie să te asiguri că conduci agresiv pentru că vrei să câștigi, dar, în același timp, vrei să conduci corect.” COO AI Sony, Michael Spranger, a spus Digital Trends. „Nu te poți ciocni de alte mașini pentru a câștiga un avantaj și trebuie să te asiguri că toată lumea poate concura în mod corect. Acesta este un domeniu interesant, deoarece aceste reguli sunt destul de imprecise; există un regulament, dar are nevoie de interpretare din partea judecătorilor. A face acest lucru corect – conducerea agresivă și competitivă versus conducerea corectă – este una dintre marile provocări ale GT Sophy.”

Videoclipuri recomandate

Sony AI, Sony Interactive Entertainment și Polyphony Digital au confirmat că jucătorii vor putea concura cu GT Sophy într-un timp limitat. Gran Turismo 7 modul începând cu 21 februarie. Pentru a ajunge la acel punct, dezvoltatorii săi au depus multă muncă pentru a rafina nu numai abilitățile lui GT Sophy prin învățare prin consolidare, ci și eticheta față de un set nebulos de reguli bazate pe curtoazie. Înainte de adăugarea lui la Gran Turismo 7, Digital Trends a vorbit cu Michael Spranger și directorul de proiect GT Sophy, Peter Wurman, pentru a afla mai multe despre abordarea lor etică a comportamentului sportiv al lui GT Sophy și ce utilizări viitoare văd pentru această tehnologie în jocuri de noroc.

Următorul interviu a fost editat pentru concizie și claritate.

Ce a făcut din Gran Turismo cea mai atrăgătoare opțiune de a dezvolta un AI avansat pentru prima dată?

O fotografie a capului a COO AI Sony, Michael Spranger, PhD.
Michael Spranger, PhD, COO al Sony AI

Michael Spranger: A fost pentru că a fost posibil și pentru că Gran Turismo este un joc cu adevărat interesant. Gran Turismo a făcut parte din PlayStation încă de la început. Este un joc iconic care oferă această zonă de provocare specifică a realismului fizic, strategiei, luării deciziilor și etichetei sportive. De asemenea, are un public mare de oameni care urmăresc jocul și asta înseamnă că orice tehnologie pe care o dezvoltăm în joc poate avea un impact potențial semnificativ asupra a milioane de jucători. Imi place si jocul. Aceste lucruri combinate ne-au făcut să alegem Gran Turismo ca una dintre primele ținte pentru proiectele de IA pentru jocuri.

Cum permite învățarea prin consolidare această IA să-și asume mai multe riscuri sau să conducă mai impresionant decât AI-ul tău standard de joc? Încearcă doar să conducă cea mai precisă linie de curse?

Peter Wurman: Există diferite niveluri de îndemânare. Linia de referință conduce mai repede pe pistă, așa că învățarea de întărire funcționează permițând agentului AI să exploreze ce efect au acțiunile sale asupra lumii și apoi să încerce să-și maximizeze recompensa. Dându-i semnale pozitive pentru a merge mai repede pe pistă, învață să conducă în jurul pistei foarte repede. Învață să apese pe accelerație și să intre în viraj, astfel încât să nu se prăbușească, ceea ce funcționează grozav pentru antrenamentul pentru un scenariu de cronometru.

Pentru a face de fapt un pilot competitiv, a trebuit să-i dăm și alte semnale de recompensă pentru trecerea mașinilor care se află în fața lui și pentru a nu împiedica mașinile din spatele lui să treacă de el. I-am dat și penalități pentru ciocnirea sau ciocnirea de alte mașini. Această combinație de recompense și penalizări a necesitat ceva efort pentru a fi corect, dar odată ce ne-am antrenat cu populația potrivită de adversari, a învățat să fie un concurent foarte eficient.

O fotografie a capului lui Peter Wurman, lider de proiect GT Sophy și director al Sony AI America.
Peter Wurman, PhD, director al Sony AI America și lider de proiect pentru GT Sophy

Care au fost cele mai mari învățături din primele două evenimente Race Together pe care le-ați organizat cu top Gran Turismo Sport jucători?

Peter Wurman: Dacă ați urmărit proiectul, veți ști că au existat două curse. Primii ne-am descurcat bine, dar nu am câștigat Scorul echipei. Unele dintre lucrurile interesante din care am învățat au avut de-a face cu găsirea echilibrului dintre asertivitate și a fi un sport bun. Am aflat cu două săptămâni înainte că agentul pe care l-am antrenat era prea agresiv și nu avea voie să concureze, așa că a trebuit să ne frământăm și să adaptăm lucrurile. Nu poți avea un agent AI care a fost foarte bun la conducere rapid și altul care s-a gândit la aspectele tactice ale depășirii; în schimb, a trebuit să le încorporăm împreună într-un singur agent coerent care le făcea pe amândouă în același timp. Acestea sunt lucrurile pe care le-am văzut după Cursa iulie 2021, așa că ne-am simțit mult mai încrezători intrând în Cursa octombrie 2021.

Michael Spranger: A fost acest lucru în care ni s-a spus că este prea agresiv, dar apoi în prima zi de cursă de expoziție, am pierdut cursa pentru că nu am fost suficient de agresivi și timizi. Problema cum echilibrați aceste lucruri a fost cu adevărat evidentă pe parcursul dezvoltării proiectului.

O reluare a unui meci Gran Turismo Sophy Race Together în Gran Turismo 7.

Ce modificări trebuiau făcute la GT Sophy când ați luat decizia de a-l adăuga Gran Turismo 7 și nu doar să-l antrenați într-un mediu de testare?

Peter Wurman: Cel mai mare este că, în toate expozițiile, GT Sophy a rulat pe un computer separat și a vorbit printr-o conexiune de rețea la consola PlayStation. Aici, GT Sophy este încorporat în joc. Făcându-l să funcționeze pe o PlayStation cu resursele care ne erau disponibile după toate randarea și alte lucruri care se întâmplă a fost un pic de muncă de inginerie.

Celălalt lucru este că Polyphony Digital și-a dorit cu adevărat ca agentul să fie un exemplu extrem de bun de stil de curse și de îndemânare de curse. Am introdus câteva modificări pentru a încuraja GT Sophy să rămână mai mult în limite. Dacă ați urmărit vreuna dintre expoziții, veți vedea că a fost foarte bun la folosirea întregii piste, uneori punând două cauciucuri în iarbă. Este legal, dar nu exact ceea ce ai putea face într-o mașină de curse adevărată. Am făcut câteva modificări pentru a menține mai mult GT Sophy între linii. Este încă foarte rapid, dar puțin mai curat.

Ne concentrăm în principal pe încercarea de a respecta regulile sportivității în cursele de automobile.

Care sunt principalele lucruri pe care echipa Sony AI speră să le învețe din adăugarea Gran Turismo Sophy Race Together la Gran Turismo 7?

Peter Wurman: Principalul este că sperăm că oamenilor le place să joace împotriva lui, să simtă că sunt cu adevărat provocați la toate nivelurile de calificare și că învață să devină piloți de mașini de curse mai bine simulați.

Michael Spranger: De asemenea, vrem să vedem cum interacționează oamenii cu tehnologia. În acest moment, este o mână de oameni care au experimentat tehnologia, așa că suntem curioși să vedem cum vor folosi oamenii pentru a învăța singuri, pentru a dobândi noi abilități și pentru a avea noi experiențe. Cred că asta se află în centrul proiectului în multe privințe. Avem o descoperire tehnologică și cred că este foarte important, dar cred că deblocăm o nouă etapă pentru oameni și în Gran Turismo. În multe privințe, AI-ul încorporat are o bandă destul de îngustă de performanță și o poți depăși odată ce devii un șofer intermediar la fiecare dificultate.

Chiar și cu relativ puținele combinații de pistă-mașină pe care le-am dezvăluit aici, de la ceea ce pot face eu până la ceea ce pot face unii dintre jucătorii de top, toată lumea poate găsi un meci cu adevărat interesant. Sperăm să vedem mai multe din asta și să vedem cum oamenii învață din asta. De asemenea, este foarte dificil pentru unii jucători să găsească adversari buni și, pentru prima dată, poți avea interacțiuni repetate cu un adversar demn, fără a fi nevoie să-ți chemi toți prietenii și să-i faci pe toți să vină împreună. Va fi ceva în care oamenii pot face multe progrese pentru a se îmbunătăți în joc, deoarece pot avea aceste experiențe personalizate într-o oarecare măsură.

O perspectivă la persoana întâi a unei curse Gran Turismo Sophy Race Together în Gran Turismo 7.

Din punct de vedere etic, puteți explica procesul de determinare a ceea ce constituie o conduită sportivă pentru GT Sophy, astfel încât să nu hărțuiască anumiți jucători?

Peter Wurman: Bine, nu poate vorbi cu tine, așa că există o mulțime de lucruri rele pe care GT Sophy nu le poate face pentru că asta nu face parte din joc. Ne concentrăm în principal pe încercarea de a adera la regulile sportivității în cursele de automobile; acum, acestea sunt destul de nebuloase. Nu poți bloca o oportunitate legitimă de trecere și lucruri de genul acesta. Există o grămadă de cuvinte neclare în aceste reguli care au fost greu de codat și programat, așa că a trebuit să le aproximăm cu semnale de recompensă și penalități în cazul în care a făcut lucruri precum să lovească o altă mașină.

Apoi, a trebuit să-l dăm Polyphony Digital și șoferilor de testare și să-i lăsăm să ne ofere feedback pentru că cursele împotriva altor agenți AI nu ne arată cu adevărat dacă este gata să lupte împotriva varietății de curse umane stiluri. A fost nevoie de ceva efort și iterație pentru a face acest lucru corect.

Michael Spranger: Pentru această versiune, cred că este corect să spun că este competitivă. Va încerca să-i depășească pe jucători, dar nu îi va distruge. Este competitiv, dar politicos. Cu siguranță pune presiune pe tine; o vei vedea în oglinzile retrovizoare încercând să te depășească. În același timp, va încerca să vă ofere puțin spațiu pentru a putea concura competitiv, dar corect.

Peter Wurman: Dar dacă faci mizerie, va profita.

Michael Spranger: Așa este, instantaneu!

Meniul de opțiuni de cursă al modului Gran Tursimo Sophy Race Together în Gran Turismo 7.

Unde vedeți că GT Sophy și tehnologia AI din jocurile Sony vor merge în următorii cinci ani?

Michael Spranger: Evident, nu putem anunța nimic în mod specific, dar, în general, există mai multe straturi. Există încă provocări și lucruri pe care le putem face în cadrul Gran Turismo pentru a debloca noi experiențe și nu cred că am terminat cu asta. Există o adevărată entuziasm în ceea ce privește împingerea tehnologiei mai departe. Apoi, din perspectiva Sony AI a cercetării și dezvoltării corporative și a inițiativelor strategice, suntem foarte încântați de ceea ce poate aduce această tehnologie în domeniul jocurilor în general.

Alte jocuri ne vor oferi o provocare diferită de depășit și vor spori capacitățile tehnologiei. Este o tehnologie în curs de dezvoltare care a avut unele succese în trecut, dar cred că ceea ce facem aici este destul de distinct în simțim că facem descoperiri științifice, dar apoi le implementăm și ne asigurăm că oamenii pun mâna pe AI tehnologie. Acest lucru va împinge tehnologia înainte și va debloca experiențe mai mari.

Interacțiunea este în centrul PlayStation, nu este o eroare că se numește Sony Interactive Entertainment. Este într-adevăr despre care este interacțiunea ta cu lucrurile pe care le găsești în joc și simt că asta tehnologia are potențialul de a debloca cu adevărat următoarea generație de jocuri și suntem foarte încântați de acest lucru acea.

Recomandările editorilor

  • CES 2023: Gran Turismo 7 vine pe PS VR2 ca un joc de lansare
  • Gran Turismo 7 va schimba plățile de credit în urma reacțiilor adverse
  • Gran Turismo 7 are un muzeu pentru pasionații de istorie auto