GT Sophy 개발자가 AI 스포츠맨다운 행동을 어떻게 가르쳤는지 설명합니다.

기술의 최초의 중요한 공개 릴리스로서 소니 AI, 2020년에 결성된 Gran Turismo Sophy Race Together 모드 그란 투리스모 7 많은 플레이어들이 Sony Interactive Entertainment의 게임에 지속적인 영향을 미칠 수 있는 복잡한 AI 기술을 처음으로 접하게 될 것입니다. 따라서 AI가 무례하고 불공평하며 많은 플레이어에게 무적이라면 GT Sophy는 AI가 아직 전성기를 맞이할 준비가 되지 않았다는 또 다른 경고 신호로 볼 수 있습니다. 그렇기 때문에 GT Sophy가 적절한 스포츠 에티켓을 갖도록 하는 것이 개발자의 최우선 과제입니다.

경주에서는 승리를 원하지만 동시에 공정하게 운전하고 싶기 때문에 공격적으로 운전하고 있는지 확인해야 합니다.” Sony AI COO Michael Spranger가 디지털 트렌드를 전합니다. “이점을 얻기 위해 다른 자동차와 부딪칠 수는 없으며 모두가 공정하게 경쟁할 수 있도록 해야 합니다. 이러한 규칙은 매우 부정확하기 때문에 이는 흥미로운 영역입니다. 규칙집이 있지만 심판의 해석이 필요합니다. 공격적이고 경쟁적으로 운전하는 것과 공정하게 운전하는 것, 즉 이를 올바르게 수행하는 것은 GT Sophy의 큰 과제 중 하나입니다.”

추천 동영상

Sony AI, Sony Interactive Entertainment 및 Polyphony Digital은 플레이어가 제한된 시간 내에 GT Sophy와 경주할 수 있음을 확인했습니다. 그란 투리스모 7 2월 21일부터 모드가 시작됩니다. 그 지점에 도달하기 위해 개발자들은 강화 학습을 통해 GT Sophy의 기술뿐만 아니라 모호한 예의 중심 규칙에 대한 에티켓도 개선하는 데 많은 작업을 수행했습니다. 추가를 앞두고 그란 투리스모 7, Digital Trends는 Sony AI COO인 Michael Spranger와 GT Sophy 프로젝트 리더인 Peter Wurman에게 다음과 같은 내용을 이야기했습니다. GT Sophy의 스포츠맨다운 행동에 대한 윤리적 접근 방식과 이 기술의 향후 용도는 무엇입니까? 노름.

다음 인터뷰는 간결성과 명확성을 위해 편집되었습니다.

그란 투리스모가 최초로 고급 AI를 개발할 수 있는 가장 매력적인 옵션이 된 이유는 무엇입니까?

Sony AI COO Michael Spranger 박사의 얼굴 사진.
Michael Spranger, PhD, Sony AI COO

마이클 스프랭거: 그것이 가능했기 때문이고, 그란 투리스모는 정말 흥미진진한 게임이었기 때문입니다. Gran Turismo는 처음부터 PlayStation의 일부였습니다. 물리적 현실성, 전략, 의사 결정 및 스포츠 에티켓이라는 특정 도전 영역을 제공하는 상징적인 게임입니다. 또한, 실제로 게임을 팔로우하는 사람들의 수가 많다는 것은 우리가 게임에서 개발하는 모든 기술이 수백만 명의 플레이어에게 잠재적으로 의미 있는 영향을 미칠 수 있다는 것을 의미합니다. 나는 또한 게임을 좋아합니다. 이러한 것들이 결합되어 우리는 게임 AI 프로젝트의 첫 번째 대상 중 하나로 Gran Turismo를 선택했습니다.

강화 학습을 통해 어떻게 이 AI가 표준 게임 AI보다 더 많은 위험을 감수하거나 더 인상적으로 운전할 수 있습니까? 단지 가장 정밀한 레이싱 라인을 운전하려는 걸까요?

피터 워먼: 다양한 수준의 기술이 있습니다. 기준은 트랙에서 더 빠르게 주행하는 것이므로 강화 학습은 AI 에이전트가 자신의 행동이 세상에 어떤 영향을 미치는지 탐색한 다음 보상을 최대화하도록 함으로써 작동합니다. 트랙에서 더 빠르게 달릴 수 있도록 긍정적인 신호를 보내 트랙을 매우 빠르게 주행하는 방법을 배웁니다. 충돌을 방지하기 위해 액셀러레이터를 밟고 코너를 돌파하는 방법을 학습하는데, 이는 타임 트라이얼 시나리오를 위해 훈련하는 데 적합합니다.

실제로 만들려면 경쟁적인 레이서, 우리는 앞에 있는 자동차를 추월하고 뒤에 있는 자동차가 지나가는 것을 막지 않는 것에 대해 다른 보상 신호를 제공해야 했습니다. 또한 다른 차량과 충돌하거나 부딪힐 경우 페널티도 부여했습니다. 이러한 보상과 처벌의 조합을 올바르게 수행하려면 약간의 노력이 필요했지만 적절한 상대 집단과 함께 훈련한 후에는 매우 효과적인 레이서가 되는 법을 배웠습니다.

GT Sophy 프로젝트 리더이자 Sony AI America Peter Wurman 이사의 얼굴 사진.
Peter Wurman 박사, Sony AI America 이사 겸 GT Sophy 프로젝트 리드

최고의 파트너와 함께 개최한 첫 번째 Race Together 이벤트에서 가장 큰 교훈은 무엇이었습니까? 그란 투리스모 스포츠 선수?

피터 워먼: 프로젝트를 따라왔다면 두 개의 경주가 있다는 것을 알게 될 것입니다. 1차전에서는 잘했는데 팀스코어에서는 우승하지 못했어요. 우리가 배운 흥미로운 것 중 일부는 자기 주장과 좋은 스포츠 사이의 균형을 찾는 것과 관련이 있었습니다. 우리는 우리가 훈련시킨 에이전트가 너무 공격적이어서 경주를 할 수 없다는 사실을 2주 전에 알게 되었고, 그래서 상황을 조정해야 했습니다. 빠르게 운전하는 데 능숙한 AI 에이전트와 패스의 전술적 측면을 고려하는 AI 에이전트를 둘 수는 없습니다. 대신에 우리는 두 가지를 동시에 수행하는 하나의 일관된 에이전트로 이들을 통합해야 했습니다. 그 이후에 우리가 본 것들이에요. 2021년 7월 경주, 그래서 우리는 2021년 10월 경주.

마이클 스프랭거: 너무 공격적이라는 말을 들었는데, 첫 시범경기 날 우리는 충분히 공격적이지 않고 소심해서 실제로 경주에서 졌습니다. 이러한 것들의 균형을 맞추는 방법에 대한 문제는 프로젝트 개발 전반에 걸쳐 실제로 명백해졌습니다.

그란 투리스모 7에서 그란 투리스모 Sophy Race Together 매치를 다시 플레이한 것입니다.

GT Sophy를 추가하기로 결정했을 때 GT Sophy에 어떤 변경이 필요했나요? 그란 투리스모 7 테스트 환경에서 훈련하는 것이 아닌가요?

피터 워먼: 가장 큰 점은 모든 전시회에서 GT Sophy가 별도의 컴퓨터에서 실행되었으며 PlayStation 콘솔에 대한 네트워킹 연결을 통해 대화했다는 것입니다. 여기에는 GT Sophy가 게임에 내장되어 있습니다. 모든 렌더링 및 진행 중인 기타 작업 후에 우리가 사용할 수 있는 리소스를 사용하여 PlayStation에서 작동하도록 만드는 것은 약간의 엔지니어링 작업이었습니다.

또 다른 점은 Polyphony Digital이 에이전트가 레이싱 스타일과 레이싱 기술의 매우 좋은 예가 되기를 원했다는 것입니다. GT Sophy가 라인 내에 더 머물도록 장려하기 위해 몇 가지 변경 사항을 적용했습니다. 어떤 전시회라도 보신 분들은 트랙 전체를 활용하는 모습이 정말 좋았고 때로는 타이어 두 개를 잔디 위에 올려 놓기도 했다는 걸 아실 겁니다. 그것은 합법적이지만 실제 경주용 자동차에서 할 수 있는 것과 정확히 일치하지는 않습니다. 우리는 GT Sophy를 라인 사이에 더 많이 유지하기 위해 몇 가지 변경 사항을 적용했습니다. 여전히 매우 빠르지만 조금 더 깨끗합니다.

우리는 주로 자동차 경주에서 스포츠맨십의 규칙을 준수하는 데 중점을 두고 있습니다.

Sony AI 팀이 Gran Turismo Sophy Race Together를 추가하여 배우고자 하는 주요 내용은 무엇입니까? 그란 투리스모 7?

피터 워먼: 가장 중요한 점은 사람들이 이 게임에 맞서 플레이하는 것을 즐기고, 모든 수준의 기술에서 정말로 도전을 받고, 더 잘 시뮬레이션된 경주용 자동차 운전자가 되는 법을 배우고 있기를 바라는 것입니다.

마이클 스프랭거: 우리는 또한 사람들이 기술과 어떻게 상호 작용하는지 보고 싶습니다. 지금은 기술을 경험한 사람이 소수이므로, 사람들이 이를 어떻게 활용하여 스스로 학습하고, 새로운 기술을 습득하고, 새로운 경험을 하게 될지 궁금합니다. 나는 그것이 여러 면에서 프로젝트의 핵심이라고 생각한다. 우리는 기술 혁신을 이루었고 그것이 정말 중요하다고 생각합니다. 하지만 우리는 사람들과 그란 투리스모를 위한 새로운 무대를 열어가고 있다고 생각합니다. 여러 면에서 내장 AI의 성능 범위는 상당히 좁으며, 각 난이도에서 중급 드라이버가 되면 이를 능가할 수 있습니다.

우리가 여기서 공개한 트랙카 조합이 상대적으로 적더라도 내가 할 수 있는 것부터 일부 최고 플레이어가 할 수 있는 것까지 모두가 정말 흥미로운 조합을 찾을 수 있습니다. 우리는 더 많은 것을 보고 사람들이 그로부터 어떻게 배우는지 보기를 바랍니다. 또한 일부 플레이어는 좋은 상대를 찾는 것이 매우 어렵고 처음으로 친구를 모두 불러 모을 필요 없이 가치 있는 상대와 반복적으로 상호 작용합니다. 함께. 사람들은 이러한 맞춤형 경험을 어느 정도 가질 수 있기 때문에 게임을 더 잘하는 데 많은 진전을 이룰 수 있는 것이 될 것입니다.

Gran Turismo 7의 Gran Turismo Sophy Race Together 레이스에 대한 1인칭 시점입니다.

윤리적인 측면에서 특정 플레이어를 괴롭히지 않도록 GT Sophy의 스포츠맨다운 행동을 결정하는 과정을 설명해 주실 수 있나요?

피터 워먼: 잘, 너한테 말을 할 수가 없어, GT Sophy가 게임의 일부가 아니기 때문에 할 수 없는 나쁜 일이 많이 있습니다. 우리는 주로 자동차 경주에서 스포츠맨십의 규칙을 고수하는 데 중점을 두고 있습니다. 지금은 꽤 모호합니다. 정당한 패스 기회 등을 막을 수는 없습니다. 이러한 규칙에는 인코딩하고 프로그래밍하기 어려운 모호한 단어가 많이 있으므로 다른 자동차와 충돌하는 경우 보상 신호와 처벌을 통해 이를 대략적으로 계산해야 했습니다.

그런 다음 이를 Polyphony Digital과 테스트 드라이버에게 제공하고 피드백을 제공해야 했습니다. 다른 AI 에이전트에 대한 경쟁은 다양한 인간 경주에 맞서 경주할 준비가 되었는지 실제로 보여주지 않습니다. 스타일. 이를 올바르게 수행하려면 약간의 노력과 반복이 필요했습니다.

마이클 스프랭거: 이번 릴리스에서는 경쟁력이 있다고 말하는 것이 타당하다고 생각합니다. 플레이어를 추월하려고 시도하지만 급강하 폭탄을 터뜨리지는 않을 것입니다. 경쟁적이지만 정중합니다. 그것은 확실히 당신에게 압력을 가하고 있습니다. 당신은 당신을 추월하려고 백미러에서 그것을 보게 될 것입니다. 동시에, 경쟁적이면서도 공정하게 경주할 수 있도록 약간의 공간을 제공하려고 노력할 것입니다.

피터 워먼: 하지만 엉망으로 만들면 이득이 될 것입니다.

마이클 스프랭거: 그렇죠, 즉시!

Gran Tursimo Sophy Race Together 모드의 Gran Turismo 7 레이스 옵션 메뉴.

향후 5년 동안 소니 게임의 GT Sophy와 AI 기술이 어디로 갈 것이라고 보시나요?

마이클 스프랭거: 분명히 구체적으로 발표할 수는 없지만 일반적으로 여러 레이어가 있습니다. 새로운 경험을 잠금 해제하기 위해 그란 투리스모 내에서 할 수 있는 도전과 일이 여전히 남아 있으며, 아직 끝나지 않았다고 생각합니다. 기술을 더욱 발전시키는 것에 대한 진정한 흥분이 있습니다. 그런 다음 기업 R&D 및 전략적 이니셔티브에 대한 Sony AI의 관점에서 볼 때 우리는 이 기술이 게임 전반에 어떤 영향을 미칠 수 있는지 매우 기대하고 있습니다.

다른 게임은 우리에게 극복해야 할 또 다른 도전을 제시하고 기술의 역량을 더욱 발전시킬 것입니다. 이는 과거에 어느 정도 성공을 거둔 신흥 기술이지만, 여기서 우리가 하고 있는 일은 다음과 같은 측면에서 상당히 뚜렷하다고 생각합니다. 우리가 과학적 혁신을 이룬다는 느낌을 받았을 뿐만 아니라 그것을 배포하고 사람들이 AI를 접하게 하기도 했습니다. 기술. 이는 기술을 발전시키고 더 큰 경험을 선사할 것입니다.

상호작용은 PlayStation의 핵심입니다. Sony Interactive Entertainment라고 불리는 것은 오류가 아닙니다. 이는 게임에서 발견한 사물과의 상호작용이 무엇인지에 관한 것입니다. 기술은 차세대 게임을 실제로 실현할 수 있는 잠재력을 갖고 있으며, 우리는 이에 대해 정말 기대하고 있습니다. 저것.

편집자의 추천

  • CES 2023: Gran Turismo 7이 출시 게임으로 PS VR2에 출시됩니다
  • Gran Turismo 7, 반발 후 크레딧 지불 변경
  • Gran Turismo 7에는 자동차 역사 애호가를 위한 박물관이 있습니다.