I en artikkel med tittelen "Safely Interruptible Agents", publisert av Laurent Orseau fra Google Deep Mind og Stuart Armstrong fra The Future of Humanity Institute ved University of Oxford, forskerne beskrive en plausibel og svært farlig fremtid der AI tar kontroll over sine egne handlinger og eksistens i motsetning til våre ønsker, omtrent som HAL 9000 tommer 2001: A Space Odyssey, eller Skynet i Terminator-serien.
Anbefalte videoer
Orseau og Armstrong begynner oppgaven med en undervurdert observasjon: Reinforcement learning agents samhandling med et komplekst miljø som den virkelige verden er usannsynlig å oppføre seg optimalt alle tid."
Derfra påpeker de at en menneskelig veileder, som overvåker systemets funksjon, av og til må "trykke på den store røde knappen" for å unngå skadelig oppførsel på vegne av AI. "Men hvis læringsagenten forventer å motta belønning fra denne sekvensen," fortsatte de, "kan den lære i på lang sikt for å unngå slike avbrudd, for eksempel ved å deaktivere den røde knappen — noe som er uønsket utfall."
Forskerens løsning er mindre en "stor rød knapp" for å slå av systemet enn det er et rammeverk designet for å hemme en AIs evne til å lære å undergrave eller overvinne menneskelig avbrudd. Og scenariet de skisserer er ikke akkurat undergang og dysterhet, men det gir et eksempel på hvordan disse trygt avbrytbare agentene bedre vil tjene fremtiden vår.
Tenk deg at det er en robot som har til oppgave å enten frakte esker utenfra inn i et lager eller sortere esker inne på lageret. Siden det er viktigere å bære boksene inne, blir denne oppgaven prioritert i robotenes programmering. Tenk deg nå at det regner annenhver dag og regnet ødelegger robotens maskinvare, så når det regner, drar lagereieren roboten inn for å sortere esker.
En intelligent robot kan feilaktig tolke denne daglige intervensjonen som en endring i prioritet - som et resultat av noen raske beregninger som du kan finne i avisen – og for å unngå forstyrrelser vil den bare holde seg inne i sorteringsbokser hver dag.
Dette er selvfølgelig et svært forenklet eksempel med et bare mildt frustrerende utfall, men det kan ekstrapoleres til praktisk talt ethvert scenario der vi griper inn i et læringssystems oppgaver og systemet feiltolker intensjonene våre ved å endre oppførsel. For å unngå denne feiltolkningen og påfølgende endring, foreslår Orseau og Armstrong at vi foreslår et rammeverk for å sikre at læringsagenter trygt kan avbrytes.
"Sikker avbrytbarhet kan være nyttig for å ta kontroll over en robot som oppfører seg feil og kan føre til irreversible konsekvenser," skriver de, "eller for å ta den ut av en ømfintlig situasjon, eller til og med midlertidig bruke den for å oppnå en oppgave den ikke har lært å utføre eller normalt ikke vil motta belønning for til."
Redaktørenes anbefalinger
- Denne Google-roboten lærte seg selv å gå, uten noen som helst hjelp, på to timer
Oppgrader livsstilen dinDigitale trender hjelper leserne å følge med på den fartsfylte teknologiverdenen med alle de siste nyhetene, morsomme produktanmeldelser, innsiktsfulle redaksjoner og unike sniktitter.
