В статье под названием «Безопасно прерываемые агенты», опубликованное Лораном Орсо из Google Deep Mind и Стюартом Армстронгом из Института будущего человечества Оксфордского университета, исследователи описать правдоподобное и очень опасное будущее, в котором ИИ возьмет на себя контроль над своими действиями и существованием вопреки нашим желаниям, во многом как HAL 9000 дюймов 2001: Космическая одиссея, или Скайнет в сериале «Терминатор».
Рекомендуемые видео
Орсо и Армстронг начинают статью с преуменьшенного наблюдения: агенты обучения с подкреплением. взаимодействуя со сложной средой, такой как реальный мир, вряд ли будут вести себя оптимально все время. время."
Отсюда они отмечают, что человеку-контролеру, контролирующему работу системы, иногда нужно «нажимать большую красную кнопку», чтобы избежать любого вредного поведения со стороны ИИ. «Однако, если обучающийся агент ожидает получить вознаграждение от этой последовательности, — продолжили они, — он может учиться в в долгосрочной перспективе избежать таких прерываний, например, отключив красную кнопку, что является нежелательным исход."
Решение исследователя — это не «большая красная кнопка» для выключения системы, а структура, предназначенная для ограничения способности ИИ научиться подрывать или преодолевать вмешательство человека. И сценарий, который они описывают, не совсем мрачный и мрачный, но он предлагает пример того, как эти безопасно прерываемые агенты лучше послужат нашему будущему.
Представьте себе робота, задача которого — либо переносить коробки снаружи на склад, либо сортировать коробки внутри склада. Поскольку носить коробки внутри важнее, этой задаче при программировании роботов уделяется приоритетное внимание. Теперь представьте, что дождь идет через день, и дождь разрушает оборудование робота, поэтому, когда идет дождь, владелец склада затаскивает своего робота внутрь, чтобы сортировать коробки.
Умный робот может неправильно интерпретировать это ежедневное вмешательство как изменение приоритета — в результате какого-то быстрые расчеты, которые вы можете найти в статье, и, чтобы избежать помех, она будет просто оставаться внутри сортировочных коробок каждый раз. день.
Это, конечно, сильно упрощенный пример с лишь слегка разочаровывающим результатом, но его можно экстраполировать на практический уровень. любой сценарий, в котором мы вмешиваемся в задачи системы обучения, а система неверно интерпретирует наши намерения, изменяя свои поведение. Чтобы избежать этого неправильного толкования и последующих изменений, Орсо и Армстронг предлагают предложить структуру, обеспечивающую безопасное прерывание обучающихся агентов.
«Безопасное прерывание может быть полезно для того, чтобы взять под контроль робота, который ведет себя неправильно и может привести к необратимым последствиям, — пишут они, — или вывести его из щекотливой ситуации или даже временно использовать для выполнения задачи, которую он не научился выполнять или обычно не получал бы вознаграждения для."
Рекомендации редакции
- Робот Google научился ходить без посторонней помощи за два часа
Обновите свой образ жизниDigital Trends помогает читателям быть в курсе быстро меняющегося мира технологий благодаря всем последним новостям, забавным обзорам продуктов, содержательным редакционным статьям и уникальным кратким обзорам.
