У статті під назвою «Безпечні агенти з можливістю переривання”, опублікований Лораном Орсо з Google Deep Mind і Стюартом Армстронгом з Інституту майбутнього людства Оксфордського університету, дослідники описують правдоподібне та дуже небезпечне майбутнє, у якому ШІ бере на себе контроль над своїми діями та існуванням, що суперечить нашим бажанням, подібно до HAL 9000 дюймів 2001: Космічна одіссея, або Скайнет у серії Термінатор.
Рекомендовані відео
Орсо та Армстронг починають статтю з применшеного спостереження: агенти навчання з підкріпленням взаємодія зі складним середовищем, таким як реальний світ, навряд чи буде поводитися оптимально час».
Звідти вони зазначають, що людині-наглядачу, який контролює роботу системи, час від часу доводиться «натискати велику червону кнопку», щоб уникнути будь-якої шкідливої поведінки від імені ШІ. «Однак, якщо навчальний агент очікує отримати винагороду від цієї послідовності, - продовжили вони, - він може навчитися в довгостроково, щоб уникнути таких перерв, наприклад, вимкнувши червону кнопку — що небажано результат».
Рішення дослідника — це не стільки «велика червона кнопка» для вимкнення системи, скільки структура, розроблена для перешкоджання здатності штучного інтелекту навчитися підривати або подолати втручання людини. І сценарій, який вони окреслюють, не зовсім приречений і морок, але він пропонує приклад того, як ці безпечні агенти, які можна перервати, краще слугуватимуть нашому майбутньому.
Уявіть, що є робот, чиї завдання полягають у тому, щоб переносити коробки ззовні на склад або сортувати коробки всередині складу. Оскільки важливіше переносити ящики всередину, цьому завданню віддається пріоритет у програмуванні роботів. А тепер уявіть, що йде дощ через день, і дощ руйнує апаратне забезпечення робота, тому під час дощу власник складу тягне свого робота всередину, щоб сортувати коробки.
Розумний робот може неправильно інтерпретувати це щоденне втручання як зміну пріоритету — в результаті деяких швидкі розрахунки, які ви можете знайти в газеті — і, щоб уникнути перешкод, вони просто залишатимуться в коробках для сортування щоразу день.
Це, звичайно, дуже спрощений приклад із лише злегка розчаровуючим результатом, але його можна екстраполювати на практичну будь-який сценарій, за якого ми втручаємось у завдання системи навчання, а система неправильно інтерпретує наші наміри, змінюючи свої поведінка. Щоб уникнути цього неправильного тлумачення та подальших змін, Орсо та Армстронг пропонують нам запропонувати структуру, яка гарантує безпечне переривання агентів навчання.
«Безпечне переривання може бути корисним, щоб взяти під контроль робота, який поводиться неправильно, і може призвести до незворотних наслідків, — пишуть вони, — або вивести його з делікатної ситуації або навіть тимчасово використати для виконання завдання, яке він не навчився виконувати або зазвичай не отримував би винагороди для».
Рекомендації редакції
- Цей робот Google сам навчився ходити без будь-якої допомоги за дві години
Оновіть свій спосіб життяDigital Trends допомагає читачам стежити за динамічним світом технологій завдяки всім останнім новинам, цікавим оглядам продуктів, проникливим редакційним статтям і унікальним у своєму роді коротким оглядам.
