Dans un article intitulé « Safely Interruptible Agents", publié par Laurent Orseau de Google Deep Mind et Stuart Armstrong du Future of Humanity Institute de l'Université d'Oxford, les chercheurs décrire un avenir plausible et très dangereux dans lequel l'IA prend le contrôle de ses propres actions et de son existence en opposition à nos désirs, un peu comme HAL 9000 dans 2001: L'Odyssée de l'espace, ou Skynet dans la série Terminator.
Vidéos recommandées
Orseau et Armstrong commencent l'article par une observation discrète: les agents d'apprentissage par renforcement Il est peu probable que l'interaction avec un environnement complexe comme le monde réel se comporte de manière optimale tout le temps. temps."
À partir de là, ils soulignent qu’un superviseur humain, supervisant le fonctionnement du système, aurait parfois besoin « d’appuyer sur le gros bouton rouge » pour éviter tout comportement nuisible de la part de l’IA. "Cependant, si l'agent apprenant s'attend à recevoir des récompenses de cette séquence", ont-ils poursuivi, "il peut apprendre en à long terme pour éviter de telles interruptions, par exemple en désactivant le bouton rouge — ce qui n'est pas souhaitable résultat."
La solution du chercheur est moins un « gros bouton rouge » pour arrêter le système qu’un cadre conçu pour inhiber la capacité d’une IA à apprendre à saper ou à surmonter les interruptions humaines. Et le scénario qu’ils décrivent n’est pas exactement pessimiste, mais il offre un exemple de la manière dont ces agents pouvant être interrompus en toute sécurité serviraient mieux notre avenir.
Imaginez qu'il y ait un robot dont les tâches consistent soit à transporter des cartons de l'extérieur vers un entrepôt, soit à trier des cartons à l'intérieur de l'entrepôt. Puisqu’il est plus important de transporter les cartons à l’intérieur, cette tâche est prioritaire dans la programmation des robots. Imaginez maintenant qu’il pleuve tous les deux jours et que la pluie détruise le matériel du robot. Ainsi, quand il pleut, le propriétaire de l’entrepôt traîne son robot à l’intérieur pour trier les cartons.
Un robot intelligent peut interpréter à tort cette intervention quotidienne comme un changement de priorité – en raison de certains des calculs rapides que vous pouvez trouver dans le journal - et, pour éviter les interférences, il restera simplement dans des boîtes de tri tous les jour.
Il s’agit bien entendu d’un exemple très simplifié dont le résultat est à peine frustrant, mais il peut être extrapolé à la pratique. tout scénario dans lequel nous intervenons dans les tâches d’un système d’apprentissage et le système interprète mal nos intentions en modifiant son comportement. Pour éviter cette mauvaise interprétation et les changements ultérieurs, Orseau et Armstrong suggèrent de proposer un cadre garantissant que les agents d'apprentissage peuvent être interrompus en toute sécurité.
« L'interruptibilité sécurisée peut être utile pour prendre le contrôle d'un robot qui se comporte mal et peut entraîner des conséquences irréversibles », écrivent-ils, « ou pour le sortir d'une situation délicate, voire l'utiliser temporairement pour accomplir une tâche qu'il n'a pas appris à accomplir ou ne recevrait normalement pas de récompense pour."
Recommandations des rédacteurs
- Ce robot de Google a appris à marcher, sans aucune aide, en deux heures
Améliorez votre style de vieDigital Trends aide les lecteurs à garder un œil sur le monde en évolution rapide de la technologie avec toutes les dernières nouvelles, des critiques de produits amusantes, des éditoriaux perspicaces et des aperçus uniques.
