Розробники GT Sophy пояснюють, як він навчив ШІ спортивної поведінки

Як перший значний публічний випуск технології від Sony AI, який був створений у 2020 році, майбутній режим Gran Turismo Sophy Race Together для Gran Turismo 7 стане першим знайомством багатьох гравців зі складною технологією штучного інтелекту, яка може мати тривалий вплив на багато ігор Sony Interactive Entertainment. Таким чином, якщо штучний інтелект є грубим, несправедливим і непереможним для багатьох гравців, GT Sophy можна розглядати як ще одну ознаку попередження про те, що ШІ ще не готовий до прайм-тайму. Ось чому забезпечення належного спортивного етикету GT Sophy є пріоритетом для розробників.

У гонках вам потрібно бути впевненим, що ви ведете агресивно, тому що ви дійсно хочете виграти, але в той же час ви хочете їздити чесно», Оперативний директор Sony AI Майкл Спрангер розповідає Digital Trends. «Ви не можете стикатися з іншими автомобілями, щоб отримати перевагу, і вам потрібно переконатися, що всі можуть чесно конкурувати. Це цікава область, тому що ці правила є досить неточними; є звід правил, але він потребує тлумачення суддів. Зробити це правильно — агресивне та конкурентоспроможне водіння, а не чесне водіння — одне з великих завдань GT Sophy».

Рекомендовані відео

Sony AI, Sony Interactive Entertainment і Polyphony Digital підтвердили, що гравці зможуть взяти участь у гонках GT Sophy протягом обмеженого часу Gran Turismo 7 режим з 21 лютого. Щоб досягти цього, його розробники виконали багато роботи, вдосконалюючи не лише навички GT Sophy за допомогою навчання з підкріпленням, але й його етикет щодо туманного набору правил ввічливості. Попереду його доповнення до Gran Turismo 7, Digital Trends поговорили з головним операційним директором Sony AI Майклом Спрангером і керівником проекту GT Sophy Пітером Вурманом, щоб дізнатися більше про їхній етичний підхід до спортивної поведінки GT Sophy і те, яке майбутнє вони бачать для цієї технології в ігри.

Наступне інтерв’ю було відредаговано для стислості та ясності.

Що зробило Gran Turismo найпривабливішим варіантом розробки вдосконаленого ШІ?

Головний знімок головного операційного директора Sony AI Michael Spranger, PhD.
Майкл Спрангер, доктор філософії, головний операційний директор Sony AI

Майкл Спрангер: Це було тому, що це було можливо, і тому, що Gran Turismo — справді захоплююча гра. Gran Turismo була частиною PlayStation із самого початку. Це культова гра, яка надає особливу складну область фізичного реалізму, стратегії, прийняття рішень і спортивного етикету. Крім того, у нього є велика аудиторія людей, які дійсно слідкують за грою, і це означає, що будь-яка технологія, яку ми розробляємо в грі, може мати потенційно значний вплив на мільйони гравців. Я теж люблю гру. Ці речі разом змусили нас вибрати Gran Turismo як одну з перших цілей для ігрових проектів ШІ.

Як навчання з підкріпленням дозволяє цьому штучному інтелекту брати на себе більше ризиків або керувати більш вражаюче, ніж стандартний ігровий штучний інтелект? Це просто спроба проїхати якнайточнішу гоночну лінію?

Пітер Вурман: Є різні рівні майстерності. Базова лінія рухається швидше на трасі, тому навчання з підкріпленням працює, дозволяючи агенту ШІ досліджувати, який вплив мають його дії на світ, а потім намагатися максимізувати свою винагороду. Подаючи йому позитивні сигнали для швидшого руху по трасі, вона вчиться їздити по трасі дуже швидко. Він вчиться натискати на акселератор і з’їжджати на повороти, щоб не врізатися, що чудово підходить для підготовки до сценарію гонок на час.

Щоб насправді зробити це a змагальний гонщик, нам довелося давати йому інші сигнали винагороди за те, що він проїжджав повз автомобілі, які йдуть попереду, і не перешкоджав автомобілям позаду об’їжджати його. Ми також штрафували його за зіткнення або наїзд на інші автомобілі. Ця комбінація нагород і покарань вимагала певних зусиль, щоб стати правильною, але як тільки ми провели тренування з правильною групою суперників, вона навчилася бути дуже ефективним гонщиком.

Знімок голови керівника проекту GT Sophy та директора Sony AI America Пітера Вурмана.
Пітер Вурман, доктор філософії, директор Sony AI America та керівник проекту GT Sophy

Які найбільші знання ви отримали з перших двох подій Race Together, які ви проводили з топом? Gran Turismo Sport гравці?

Пітер Вурман: Якщо ви стежили за проектом, ви знатимете, що було дві раси. У першому ми виступили добре, але не виграли командний залік. Деякі з цікавих речей, які ми дізналися, стосувалися пошуку балансу між наполегливістю та хорошим спортом. За два тижні до цього ми з’ясували, що агент, якого ми тренували, був надто агресивним і його не допустили до перегонів, тож нам довелося щось налагоджувати. Ви не можете мати одного агента зі штучним інтелектом, який справді добре їздить швидко, а інший думає про тактичні аспекти пасування; натомість нам довелося об’єднати їх разом в один узгоджений агент, який виконував і те, і інше одночасно. Це те, що ми побачили після Гонка липня 2021 року, тому ми почувалися набагато впевненіше, заходячи на Гонка жовтень 2021.

Майкл Спрангер: Була така річ, коли нам сказали, що це надто агресивно, але потім у перший день показової гонки ми фактично програли гонку, тому що були недостатньо агресивними та боязкими. Проблема того, як збалансувати ці речі, була справді очевидною під час розробки проекту.

Повтор матчу Gran Turismo Sophy Race Together у Gran Turismo 7.

Які зміни потрібно було внести в GT Sophy, коли ви вирішили додати його Gran Turismo 7 а не просто навчити його в тестовому середовищі?

Пітер Вурман: Найбільшим є те, що на всіх виставках GT Sophy працював на окремому комп’ютері та спілкувався через мережеве з’єднання з консоллю PlayStation. Тут GT Sophy вбудована в гру. Змусити його працювати на PlayStation за допомогою ресурсів, які були доступні нам після рендерингу та інших речей, які відбуваються, було невеликою інженерною роботою.

Інша справа, що Polyphony Digital дуже хотіла, щоб агент був надзвичайно хорошим прикладом гоночного стилю та гоночної майстерності. Ми внесли деякі зміни, щоб заохотити GT Sophy більше залишатися в межах лінії. Якщо ви спостерігали за будь-якою виставкою, ви побачите, що було дуже добре використовувати всю трасу, іноді ставлячи дві шини на траву. Це законно, але не зовсім те, що можна робити в справжньому гоночному автомобілі. Ми внесли деякі зміни, щоб більше тримати GT Sophy між рядками. Це все ще дуже швидко, але трохи чистіше.

Ми в основному зосереджені на дотриманні правил спортивної поведінки в автомобільних гонках.

Які головні речі команда Sony AI сподівається отримати, додавши Gran Turismo Sophy Race Together до Gran Turismo 7?

Пітер Вурман: Головний з них полягає в тому, що ми сподіваємося, що людям сподобається грати проти нього, вони відчуватимуть, що їм справді кидають виклик на всіх рівнях навичок, і вони навчаться ставати кращими водіями гоночних автомобілів.

Майкл Спрангер: Ми також хочемо побачити, як люди взаємодіють із технологією. Наразі лише кілька людей випробували цю технологію, тому нам цікаво дізнатися, як люди використовуватимуть її, щоб вчитися самостійно, здобувати нові навички та отримувати новий досвід. Я думаю, що це багато в чому суть проекту. У нас є технологічний прорив, і я вважаю, що це дуже важливо, але я думаю, що ми відкриваємо абсолютно новий етап для людей і в Gran Turismo. У багатьох відношеннях вбудований штучний інтелект має досить вузький діапазон продуктивності, і ви можете перевершити його, коли станете проміжним водієм на кожній складності.

Навіть з відносно невеликою кількістю комбінацій трек-автомобіль, які ми представили тут, від того, що я можу зробити, до того, що можуть зробити деякі найкращі гравці, кожен може знайти справді цікавий матч. Ми сподіваємося побачити більше цього і побачити, як люди навчаться з цього. Деяким гравцям також дуже важко знайти хороших опонентів, і вперше ви можете знайти неодноразові взаємодії з гідним суперником без необхідності викликати всіх своїх друзів і дозволити їм прийти разом. Це буде щось, де люди зможуть досягти значного прогресу в тому, щоб стати кращими в грі, тому що вони можуть певною мірою отримати цей індивідуальний досвід.

Погляд від першої особи на гонку Gran Turismo Sophy Race Together у Gran Turismo 7.

З етичної сторони справи, чи можете ви пояснити процес визначення того, що є спортивною поведінкою для GT Sophy, щоб вона не переслідувала певних гравців?

Пітер Вурман: Добре, він не може говорити з вами, тому є багато поганих речей, які GT Sophy не може робити, тому що це не є частиною гри. Ми здебільшого зосереджені на дотриманні правил спортивної поведінки в автомобільних гонках; тепер це досить туманно. Ви не можете заблокувати законну можливість пасу тощо. У цих правилах є купа нечітких слів, які важко було закодувати та запрограмувати, тому нам довелося наблизити це за допомогою сигналів винагороди та штрафів, якщо це робило щось, наприклад, наїзд на інший автомобіль.

Потім нам довелося передати це Polyphony Digital і тест-драйверам, щоб вони дали нам відгук, тому що гонки проти інших агентів штучного інтелекту насправді не показує нам, чи готовий він змагатися проти різноманітних перегонів людей стилі. Це вимагало певних зусиль і повторень, щоб отримати це право.

Майкл Спрангер: Для цього випуску, я вважаю, справедливо сказати, що він конкурентоспроможний. Він намагатиметься обігнати гравців, але не буде бомбити їх пікіруючими бомбами. Це конкурентно, але ввічливо. Це безумовно тисне на вас; ви побачите це в дзеркалах заднього виду, намагаючись вас обігнати. У той же час він спробує дати вам трохи простору, щоб ви могли змагатися, але чесно.

Пітер Вурман: Але якщо ви влаштуєте безлад, це скористається.

Майкл Спрангер: Правильно, миттєво!

Gran Tursimo Sophy Race Together Меню параметрів режиму перегонів у Gran Turismo 7.

Як ви бачите розвиток технології GT Sophy та штучного інтелекту в іграх Sony протягом наступних п’яти років?

Майкл Спрангер: Очевидно, що ми не можемо оголосити нічого конкретного, але загалом це багаторівнево. Є ще виклики та речі, які ми можемо зробити в Gran Turismo, щоб розблокувати нові враження, і я не думаю, що ми закінчили це. Є справжнє захоплення від просування технології далі. Крім того, з точки зору корпоративних науково-дослідницьких та стратегічних ініціатив Sony AI, ми дуже раді тому, що ця технологія може привнести в ігри загалом.

Інші ігри запропонують нам подолати інший виклик і розширять можливості технології. Це нова технологія, яка мала певний успіх у минулому, але я вважаю, що те, що ми тут робимо, є досить помітним у відчуваємо, що ми робимо наукові прориви, але потім ми також розгортаємо їх і переконаємося, що люди отримають у свої руки ШІ технології. Це просуне технологію вперед і відкриє більше можливостей.

Взаємодія є основою PlayStation, це не помилка, що вона називається Sony Interactive Entertainment. Справа в тому, якою є ваша взаємодія з речами, які ви знаходите в грі, і я відчуваю, що це технологія має потенціал, щоб дійсно розблокувати нове покоління ігор, і ми дуже раді цьому що.

Рекомендації редакції

  • CES 2023: Gran Turismo 7 виходить на PS VR2 як стартова гра
  • Gran Turismo 7 змінить кредитні виплати після негативної реакції
  • У Gran Turismo 7 є музей для любителів історії автомобілів