「安全に中断可能なエージェント」というタイトルの論文」、Google Deep MindのLaurent Orseauとオックスフォード大学人類未来研究所のStuart Armstrongによって発表された研究者ら HAL のように、AI が人間の欲望に反して自らの行動と存在を制御する、もっともらしくて非常に危険な未来を描写する 9000インチ 2001年宇宙の旅、 ターミネーターシリーズのスカイネットとか。
おすすめ動画
Orseau と Armstrong は、控えめな観察で論文を始めています: 強化学習エージェント 現実世界のような複雑な環境と対話する場合、すべての環境が最適に動作する可能性は低くなります。 時間。"
そこから彼らは、システムの機能を監督する人間のスーパーバイザーが、AI に代わって有害な動作を回避するために「大きな赤いボタンを押す」必要があると指摘しています。 「しかし、学習エージェントがこのシーケンスから報酬を受け取ることを期待している場合、」と彼らは続けました。 たとえば赤いボタンを無効にするなどして、そのような中断を回避するために長期的に実行する必要がありますが、これは望ましくないことです。 結果。"
研究者のソリューションは、システムをシャットダウンするための「大きな赤いボタン」というよりも、人間の介入を弱体化または克服する方法を AI が学習する能力を阻害するように設計されたフレームワークです。 そして、彼らが概説するシナリオは、正確には破滅的で暗いというわけではありませんが、これらの安全に中断可能なエージェントが私たちの未来にどのように役立つかを示す一例を提供します。
外から倉庫に箱を運ぶか、倉庫内で箱を仕分けるロボットがあると想像してください。 箱を中に運ぶことの方が重要であるため、ロボットのプログラミングではこのタスクが優先されます。 ここで、一日おきに雨が降り、雨がロボットのハードウェアを破壊したとします。そのため、雨が降ると、倉庫の所有者は箱の仕分けのためにロボットを屋内に引きずり込みます。
知的ロボットは、この隔日介入を優先順位の変更として誤って解釈する可能性があります。 簡単な計算は論文で見つけることができます。また、干渉を避けるために、計算は毎回ソートボックス内に留まります。 日。
もちろん、これは非常に単純化された例であり、結果は若干イライラするだけですが、実際には次のように推定できます。 私たちが学習システムのタスクに介入し、システムがその内容を変更することで私たちの意図を誤解するシナリオ 行動。 その誤解とその後の変更を避けるために、Orseau と Armstrong は、学習エージェントが安全に中断可能であることを保証するフレームワークを提案することを提案しています。
「安全な中断可能性は、誤動作を起こし、取り返しのつかない結果につながる可能性のあるロボットを制御するのに役立ちます」と彼らは書いています。 デリケートな状況からそれを取り出したり、学習していないタスクや通常は報酬を受け取らないタスクを達成するために一時的に使用することさえあります。 のために。"
編集者のおすすめ
- この Google ロボットは、2 時間で、誰の助けも借りずに歩くことを学習しました
ライフスタイルをアップグレードするDigital Trends は、読者が最新ニュース、楽しい製品レビュー、洞察力に富んだ社説、ユニークなスニーク ピークをすべて提供して、ペースの速いテクノロジーの世界を監視するのに役立ちます。
