I en artikel med titeln "Safely Interruptible Agents”, publicerad av Laurent Orseau från Google Deep Mind och Stuart Armstrong från The Future of Humanity Institute vid University of Oxford, forskarna beskriva en rimlig och mycket farlig framtid där AI tar kontroll över sina egna handlingar och existens i motsats till våra önskningar, ungefär som HAL 9000 in 2001: A Space Odyssey, eller Skynet i Terminator-serien.
Rekommenderade videor
Orseau och Armstrong inleder artikeln med en diskret observation: Reinforcement learning agents interagerar med en komplex miljö som den verkliga världen är osannolikt att bete sig optimalt alla tid."
Därifrån påpekar de att en mänsklig handledare, som övervakar systemets funktion, ibland skulle behöva "trycka på den stora röda knappen" för att undvika skadligt beteende för AI: s räkning. "Men om inlärningsagenten förväntar sig att få belöningar från denna sekvens," fortsatte de, "kan den lära sig i på lång sikt för att undvika sådana avbrott, till exempel genom att inaktivera den röda knappen — vilket är oönskat resultat."
Forskarens lösning är mindre av en "stor röd knapp" för att stänga av systemet än det är ett ramverk utformat för att hämma en AI: s förmåga att lära sig att undergräva eller övervinna mänskliga avbrott. Och scenariot de skisserar är inte precis undergång och dysterhet, men det erbjuder ett exempel på hur dessa säkert avbrytbara agenter bättre skulle tjäna vår framtid.
Föreställ dig att det finns en robot vars uppgifter är att antingen bära lådor utifrån till ett lager eller sortera lådor inne i lagret. Eftersom det är viktigare att bära in lådorna, prioriteras denna uppgift i robotarnas programmering. Föreställ dig nu att det regnar varannan dag och regnet förstör robotens hårdvara, så när det regnar drar lagerägaren in sin robot för att sortera lådor.
En intelligent robot kan felaktigt tolka detta vardagliga ingripande som en förändring i prioritet — som ett resultat av vissa snabba beräkningar som du kan hitta i tidningen — och för att undvika störningar stannar den bara i sorteringslådor varje dag.
Detta är naturligtvis ett mycket förenklat exempel med ett endast milt frustrerande resultat, men det kan extrapoleras till praktiskt taget varje scenario där vi ingriper i ett lärande systems uppgifter och systemet misstolkar våra avsikter genom att ändra dess beteende. För att undvika den misstolkningen och efterföljande förändringar föreslår Orseau och Armstrong att vi föreslår ett ramverk för att säkerställa att lärande agenter är säkert avbrytbara.
"Säker avbrottsbarhet kan vara användbart för att ta kontroll över en robot som inte beter sig och kan leda till oåterkalleliga konsekvenser", skriver de, "eller för att ta den ur en känslig situation, eller till och med tillfälligt använda den för att uppnå en uppgift som den inte lärde sig att utföra eller normalt inte skulle få belöningar för."
Redaktörens rekommendationer
- Den här Google-roboten lärde sig att gå, utan någon som helst hjälp, på två timmar
Uppgradera din livsstilDigitala trender hjälper läsare att hålla koll på den snabba teknikvärlden med alla de senaste nyheterna, roliga produktrecensioner, insiktsfulla redaktioner och unika smygtittar.
