GT Sophy の開発者が AI にスポーツマンらしい行動をどのように教えたかを説明

テクノロジーの最初の重要な公開リリースとして、 ソニーAI、2020 年に結成された、今後のグランツーリスモ ソフィー レース トゥゲザー モード グランツーリスモ7 多くのプレイヤーにとって、これはソニー・インタラクティブエンタテインメントのゲームの多くに永続的な影響を与える可能性のある複雑な AI テクノロジーに初めて触れることになるでしょう。 そのため、AI が多くのプレイヤーにとって失礼で不公平で無敵である場合、GT Sophy は AI がまだゴールデンタイムに向けて準備ができていないことを示す別の警告サインと見なされる可能性があります。 だからこそ、GT ソフィーに適切なスポーツエチケットを徹底させることが開発者にとっての優先事項なのです。

レースでは、勝ちたいのでアグレッシブなドライビングを心がける必要がありますが、同時に公正なドライビングも心がけなければなりません。」 ソニー AI COO のマイケル・スプランジャー氏が Digital Trends に語ります。 「アドバンテージを得るために他の車にぶつかることはできず、誰もが公平に競争できるようにする必要があります。 これらのルールは非常に不正確であるため、これは興味深い分野です。 ルールブックはあるが、ジャッジの解釈が必要だ。 これを正しく行うこと、つまり公正な運転ではなく、攻撃的かつ競争力のある運転を行うことは、GT ソフィーの大きな課題の 1 つです。」

おすすめ動画

Sony AI、ソニー・インタラクティブエンタテインメント、ポリフォニー・デジタルは、プレーヤーが期間限定で GT Sophy にレースできることを確認しました グランツーリスモ7 2月21日からモードが開始されます。 その点に到達するために、開発者は強化学習を通じて GT Sophy のスキルを洗練するだけでなく、礼儀に基づく漠然とした一連のルールに対するエチケットも洗練するために多くの作業を行いました。 への追加に先立って グランツーリスモ7、 Digital Trends は、Sony AI COO の Michael Spranger 氏と GT Sophy プロジェクト リードの Peter Wurman 氏に話を聞いて、 GT ソフィーのスポーツマンらしい行為に対する彼らの倫理的アプローチと、このテクノロジーの将来の用途について。 ゲーム。

次のインタビューは、簡潔さと明確さのために編集されています。

グランツーリスモが高度な AI を最初に開発する最も魅力的な選択肢となったのはなぜですか?

ソニー AI COO マイケル・スプランジャー博士の顔写真。
Michael Spranger 氏、博士、Sony AI 最高執行責任者

マイケル・スプランジャー: それはそれが可能だったからであり、グランツーリスモが本当にエキサイティングなゲームだからです。 グランツーリスモは最初からPlayStationの一部でした。 これは、物理的なリアリズム、戦略、意思決定、スポーツ エチケットというこの特定の課題領域を提供する象徴的なゲームです。 また、実際にゲームをフォローしている多くの視聴者がいます。つまり、ゲーム内で開発されるテクノロジーは何百万ものプレイヤーに潜在的に有意義な影響を与える可能性があります。 ゲームも大好きです。 これらのことを総合して、私たちはゲーム AI プロジェクトの最初のターゲットの 1 つとしてグランツーリスモを選択しました。

強化学習により、この AI はどのようにして標準的なゲーム AI よりも多くのリスクを冒したり、より印象的な運転を可能にしたりできるのでしょうか? 単に最も正確なレーシングラインを走らせようとしているだけなのでしょうか?

ピーター・ワーマン: スキルにはさまざまなレベルがあります。 ベースラインはトラック上でより高速に走行しているため、強化学習は、AI エージェントにそのアクションが世界にどのような影響を与えるかを調査させ、その報酬を最大化しようとすることで機能します。 トラック上でより速く走るための肯定的な信号を与えることで、トラックを非常に速く走らせることを学習します。 クラッシュしないようにアクセルを踏み、コーナーに進入する方法を学習します。これは、タイムトライアルのシナリオに向けたトレーニングに最適です。

実際にそれを実現するには 競技レーサー、前を走る車を追い越し、後ろの車の追い越しを妨げないように、他の報酬信号を与える必要がありました。 他の車と衝突したりぶつけたりした場合にもペナルティを与えました。 この報酬とペナルティの組み合わせを正しく行うには多少の努力が必要でしたが、適切な敵集団でトレーニングを行うと、非常に効果的なレーサーになることがわかりました。

GT Sophy プロジェクト リード兼 Sony AI America ディレクターの Peter Wurman 氏の顔写真。
Peter Wurman 博士、Sony AI America ディレクター兼 GT Sophy プロジェクト リード

トップと開催した最初の数回の Race Together イベントから得た最大の学びは何ですか? グランツーリスモSPORT 選手?

ピーター・ワーマン: このプロジェクトに沿って進めてきた人なら、2 つのレースがあったことがわかるでしょう。 最初の試合ではうまくいきましたが、チームスコアを獲得することはできませんでした。 そこから私たちが学んだ興味深いことのいくつかは、自己主張と優れたスポーツのバランスを見つけることに関係していました。 私たちが訓練したエージェントが攻撃的すぎてレースに参加できないことが2週間前に分かり、慌てて調整する必要がありました。 高速運転に優れた AI エージェントと、追い越しの戦術的な側面を考慮する AI エージェントを 1 人ずつ配置することはできません。 代わりに、それらを同時に実行する 1 つの一貫したエージェントに組み込む必要がありました。 それらは私たちがその後に見たものです 2021年7月レース、そのため、私たちはより自信を持ってこのプロジェクトに取り組むことができました。 2021年10月レース.

マイケル・スプランジャー: 攻撃的すぎると言われたこともあったのですが、エキシビションレースの初日、攻撃性が足りず臆病だったために実際にレースに負けてしまいました。 これらのバランスをどのように取るかという問題は、プロジェクトの開発全体にわたって非常に明白でした。

グランツーリスモ7の「グランツーリスモ ソフィー レーストゥゲザー」のリプレイです。

GT Sophy を追加することを決定したときに、GT Sophy にどのような変更を加える必要がありましたか? グランツーリスモ7 テスト環境でトレーニングするだけではないでしょうか?

ピーター・ワーマン: 最大の点は、すべての展示会で GT Sophy が別のコンピュータ上で実行され、PlayStation コンソールへのネットワーク接続を介して通信していたことです。 ここでは、GT Sophy がゲームに組み込まれています。 レンダリングやその他の作業がすべて行われた後、利用可能なリソースを使って PlayStation 上で動作させるには、少々エンジニアリング作業が必要でした。

もう 1 つは、ポリフォニー デジタルがエージェントにレーシング スタイルとレーシング スキルの非常に良い例となることを本当に望んでいたということです。 GT Sophy がよりライン内にとどまるようにいくつかの変更を加えました。 エキシビションを見たことがある人なら、コース全体をうまく使いこなすのが上手で、時にはタイヤが 2 つ芝生に埋もれてしまうこともあったことがわかるでしょう。 これは合法ですが、実際のレースカーでできることとはまったく異なります。 GT Sophy をよりライン間に保つためにいくつかの変更を加えました。 まだ非常に高速ですが、少しきれいになりました。

私たちは自動車レースにおけるスポーツマンシップのルールを遵守することに主に重点を置いています。

ソニー AI チームが「グランツーリスモ ソフィー レース トゥゲザー」の追加から学ぼうとしている主な事は何ですか? グランツーリスモ7?

ピーター・ワーマン: 一番の目的は、人々が対戦を楽しんで、あらゆるレベルのスキルで本当に挑戦していると感じて、より適切にシミュレートされたレーシングカードライバーになることを学んでほしいということです。

マイケル・スプランジャー: 私たちはまた、人々がテクノロジーとどのように対話するかも知りたいと考えています。 現時点では、このテクノロジーを経験している人はほんの一握りであるため、人々がこれをどのように利用して自ら学び、新しいスキルを獲得し、新しい経験をするのかに興味があります。 それがいろんな意味でこのプロジェクトの核心だと思います。 私たちはテクノロジーの進歩を遂げており、それは非常に重要なことだと思いますが、私たちは人々とグランツーリスモにとってまったく新しいステージの鍵を切り開いていると思います。 多くの点で、内蔵 AI のパフォーマンスの範囲は非常に狭いですが、各難易度で中級ドライバーになれば、それを超えることができます。

ここで公開したトラックとカーの組み合わせは比較的少数ですが、私ができることからトッププレイヤーができることまで、誰もが本当に興味深い組み合わせを見つけることができます。 私たちはそれをもっと見て、人々がそこからどのように学ぶかを見ていきたいと思っています。 また、一部のプレイヤーにとっては良い対戦相手を見つけるのが非常に困難です。 友達全員に電話して全員に来てもらう必要がなく、価値のある対戦相手と繰り返しやり取りできる 一緒に。 このようにある程度カスタマイズされた体験ができるため、人々はゲームの上達に大きな進歩を遂げることができるでしょう。

グランツーリスモ7の「グランツーリスモ ソフィー レーストゥゲザー」レースの一人称視点。

倫理的な側面について、GT ソフィーが特定のプレーヤーに嫌がらせをしないように、スポーツマンらしい行為とは何かを判断するプロセスについて説明していただけますか?

ピーター・ワーマン: 良い、 それはあなたと話すことはできません、つまり、GT ソフィーにはできないことがたくさんあります。それはゲームの一部ではないからです。 私たちは自動車レースにおけるスポーツマンシップのルールを遵守することに主に重点を置いています。 今では、それらはかなり曖昧です。 正当なパスチャンスなどを阻止することはできない。 これらのルールには、エンコードしてプログラムするのが難しいあいまいな単語がたくさん含まれているため、報酬信号と、他の車に衝突するような行為をした場合のペナルティで近似する必要がありました。

次に、それをポリフォニー・デジタルとテストドライバーに渡し、フィードバックを与えてもらう必要がありました。 他の AI エージェントと対戦しても、さまざまな人間の競争と競争する準備ができているかどうかは実際にはわかりません スタイル。 これを正しく行うには、ある程度の努力と反復が必要でした。

マイケル・スプランジャー: このリリースに関しては、競争力があると言っても過言ではないと思います。 プレイヤーを追い越そうとしますが、急降下爆撃するつもりはありません。 競争的だが礼儀正しい。 それは間違いなくあなたにプレッシャーをかけています。 バックミラーにそれがあなたを追い越そうとしているのが見えるでしょう。 同時に、競争力を持って公平にレースできるように、スペースを与えようとします。

ピーター・ワーマン: しかし、混乱を招くと、それが利用されてしまいます。

マイケル・スプランジャー: そうです、すぐにです!

グランツーリスモ ソフィー グランツーリスモ7の「一緒にレース」モードのレースオプションメニューです。

ソニーのゲームにおける GT Sophy と AI テクノロジーは今後 5 年間でどうなると思いますか?

マイケル・スプランジャー: もちろん、具体的に何かを発表することはできませんが、一般的に、それには複数の層があります。 グランツーリスモにはまだ課題があり、新たな体験を実現するためにできることはありますが、これで終わったとは思っていません。 テクノロジーをさらに推し進めることに本当に興奮しています。 そして、企業の研究開発と戦略的取り組みというソニー AI の観点から、私たちはこのテクノロジーがゲーム全般に何をもたらすことができるか非常に楽しみにしています。

他のゲームでは、克服すべき別の課題が与えられ、テクノロジーの機能がさらに向上します。 これは過去にいくつかの成功を収めた新興テクノロジーですが、私たちがここでやっていることは、この分野ではかなり独特だと思います。 私たちは科学的なブレークスルーを行っているだけでなく、それを展開し、人々が確実に AI を手に入れられるようにしていると感じています。 テクノロジー。 それがテクノロジーを前進させ、より優れたエクスペリエンスを解き放つことになるでしょう。

PlayStation の核となるのはインタラクションであり、ソニー・インタラクティブエンタテインメントと呼ばれることは間違いではありません。 重要なのは、ゲーム内で見つけたものとどのようなやり取りをするかということです。私はこれが重要だと感じています。 テクノロジーには次世代のゲームを本当に実現できる可能性があり、私たちはそれに本当に興奮しています。 それ。

編集者のおすすめ

  • CES 2023: グランツーリスモ 7 がローンチゲームとして PS VR2 に登場
  • グランツーリスモ7、反発を受けてクレジット支払いを変更へ
  • グランツーリスモ 7 には自動車の歴史愛好家のための博物館が登場