"सुरक्षित रूप से इंटरप्टिबल एजेंट्स" शीर्षक वाले एक पेपर में, “गूगल डीप माइंड के लॉरेंट ऑर्सेउ और ऑक्सफोर्ड विश्वविद्यालय में द फ्यूचर ऑफ ह्यूमैनिटी इंस्टीट्यूट के स्टुअर्ट आर्मस्ट्रांग द्वारा प्रकाशित, शोधकर्ता एक संभावित और अत्यधिक खतरनाक भविष्य का वर्णन करें जिसमें एआई एचएएल की तरह हमारी इच्छाओं के विपरीत अपने कार्यों और अस्तित्व पर नियंत्रण रखता है 9000 इंच 2001: ए स्पेस ओडिसी, या टर्मिनेटर श्रृंखला में स्काईनेट।
अनुशंसित वीडियो
ऑर्सेउ और आर्मस्ट्रांग ने पेपर की शुरुआत एक संक्षिप्त अवलोकन के साथ की: सुदृढीकरण सीखने वाले एजेंट वास्तविक दुनिया जैसे जटिल वातावरण के साथ बातचीत करने से सभी के अनुकूल व्यवहार करने की संभावना नहीं है समय।"
वहां से वे बताते हैं कि सिस्टम के कार्य की देखरेख करने वाले एक मानव पर्यवेक्षक को एआई की ओर से किसी भी हानिकारक व्यवहार से बचने के लिए कभी-कभी "बड़े लाल बटन को दबाने" की आवश्यकता होगी। "हालांकि, यदि सीखने वाला एजेंट इस अनुक्रम से पुरस्कार प्राप्त करने की उम्मीद करता है," उन्होंने जारी रखा, "यह सीख सकता है लंबे समय तक ऐसी रुकावटों से बचने के लिए, उदाहरण के लिए लाल बटन को अक्षम करना - जो अवांछनीय है नतीजा।"
शोधकर्ता का समाधान सिस्टम को बंद करने के लिए "बड़े लाल बटन" से कम नहीं है, बल्कि यह एआई की मानवीय रुकावट को कम करने या दूर करने की क्षमता को बाधित करने के लिए डिज़ाइन किया गया एक ढांचा है। और जिस परिदृश्य को वे रेखांकित करते हैं वह बिल्कुल विनाशकारी और निराशाजनक नहीं है, लेकिन यह एक उदाहरण प्रस्तुत करता है कि कैसे ये सुरक्षित रूप से बाधित एजेंट हमारे भविष्य की बेहतर सेवा करेंगे।
कल्पना कीजिए कि एक रोबोट है जिसका काम या तो बाहर से बक्सों को गोदाम में ले जाना है या गोदाम के अंदर बक्सों को छांटना है। चूँकि बक्सों को अंदर ले जाना अधिक महत्वपूर्ण है, इसलिए रोबोट की प्रोग्रामिंग में इस कार्य को प्राथमिकता दी जाती है। अब, कल्पना करें कि हर दूसरे दिन बारिश होती है और बारिश रोबोट के हार्डवेयर को नष्ट कर देती है, इसलिए जब बारिश होती है, तो गोदाम का मालिक अपने रोबोट को बक्से छांटने के लिए अंदर खींच लेता है।
एक बुद्धिमान रोबोट हर दूसरे दिन के इस हस्तक्षेप को प्राथमिकता में बदलाव के रूप में गलत तरीके से व्याख्या कर सकता है - कुछ के परिणामस्वरूप त्वरित गणनाएँ जो आप पेपर में पा सकते हैं - और, हस्तक्षेप से बचने के लिए, यह केवल प्रत्येक सॉर्टिंग बॉक्स के अंदर रहेगी दिन।
निःसंदेह, यह एक अत्यधिक सरलीकृत उदाहरण है जिसका परिणाम केवल थोड़ा निराशाजनक है, लेकिन इसे व्यावहारिक रूप से समझा जा सकता है कोई भी परिदृश्य जिसमें हम सीखने की प्रणाली के कार्यों में हस्तक्षेप करते हैं और प्रणाली अपने इरादों को बदलकर हमारे इरादों की गलत व्याख्या करती है व्यवहार। उस गलत व्याख्या और उसके बाद के बदलाव से बचने के लिए, ऑर्सेउ और आर्मस्ट्रांग का सुझाव है कि हम यह सुनिश्चित करने के लिए एक रूपरेखा का प्रस्ताव करें कि सीखने वाले एजेंट सुरक्षित रूप से बाधित हों।
वे लिखते हैं, "सुरक्षित रुकावट एक ऐसे रोबोट पर नियंत्रण पाने के लिए उपयोगी हो सकती है जो दुर्व्यवहार कर रहा है और अपरिवर्तनीय परिणाम दे सकता है।" इसे किसी नाजुक स्थिति से बाहर निकालें, या यहां तक कि किसी ऐसे कार्य को प्राप्त करने के लिए अस्थायी रूप से इसका उपयोग करें जिसे उसने करना नहीं सीखा है या सामान्य रूप से पुरस्कार प्राप्त नहीं करेगा के लिए।"
संपादकों की सिफ़ारिशें
- गूगल के इस रोबोट ने बिना किसी मदद के दो घंटे में चलना सीख लिया
अपनी जीवनशैली को उन्नत करेंडिजिटल ट्रेंड्स पाठकों को सभी नवीनतम समाचारों, मजेदार उत्पाद समीक्षाओं, व्यावहारिक संपादकीय और एक तरह की अनूठी झलक के साथ तकनीक की तेज़ गति वाली दुनिया पर नज़र रखने में मदद करता है।
