मनुष्य अकेले ऑनलाइन घृणास्पद भाषण को नहीं रोक सकता। हमें सहायता के लिए बॉट्स की आवश्यकता है

इंटरनेट में घृणास्पद भाषण की समस्या है।

किसी भी यूट्यूब टिप्पणी अनुभाग पर जाएं या थोड़े समय के लिए सोशल मीडिया पर खोजबीन करें और आपको आपत्तिजनक, अक्सर पूर्वाग्रह से ग्रसित टिप्पणियों की कोई कमी नहीं मिलेगी। लेकिन आप इस समस्या का समाधान कैसे करेंगे? और, ऐसा करने पर, आप गलती से इसे बदतर बनाने से कैसे बच सकते हैं?

इस महीने, दो नफरत फैलाने वाले भाषण देने वाले ए.आई. एल्गोरिदम की घोषणा की गई: एक यूनाइटेड किंगडम में बनाया गया, दूसरा यू.एस. में। दोनों को एक दिन इस्तेमाल किया जा सकता है सोशल मीडिया या ऑनलाइन दुनिया के अन्य क्षेत्रों को खंगालना, और नफरत भरे भाषण या आपत्तिजनक भाषण को उजागर करना ताकि इसे रिपोर्ट किया जा सके, हटाया जा सके या ब्लॉक किया जा सके।

पहला, यू.के. के एक्सेटर विश्वविद्यालय के शोधकर्ताओं द्वारा विकसित किया गया है लोला नामक उपकरण जो घृणित सामग्री को उजागर करने के लिए एक मिनट में हजारों संदेशों को स्कैन करने के लिए "प्राकृतिक भाषा प्रसंस्करण और व्यवहार सिद्धांत में नवीनतम प्रगति" का उपयोग करता है। "बाजार में मौजूदा समाधानों की तुलना में सटीकता का स्तर उत्कृष्ट है।"

डॉ. डेविड लोपेजलोला के रचनाकारों में से एक, ने डिजिटल ट्रेंड्स को बताया।

दूसरा, का काम दक्षिणी कैलिफोर्निया विश्वविद्यालय के शोधकर्ता, ऐसा ही कुछ करने में सक्षम होने का दावा करता है। "हमने जो एल्गोरिदम विकसित किया है वह एक टेक्स्ट क्लासिफायर है, जो सोशल मीडिया पोस्ट - या संभावित रूप से अन्य टेक्स्ट लेता है - और भविष्यवाणी करता है कि टेक्स्ट में नफरत फैलाने वाला भाषण है या नहीं।" ब्रेंडन कैनेडी, एक कंप्यूटर विज्ञान पीएच.डी. प्रोजेक्ट पर काम करने वाले छात्र ने डिजिटल ट्रेंड्स को बताया।

यह ऑटोमेशन का काम है. एक प्रकार का

इस सबसे मानवीय समस्या को हल करने के लिए स्वचालित समाधानों की ओर मुड़ना क्यों आवश्यक है, इसकी सराहना करने के लिए सोशल मीडिया के व्यापक पैमाने को समझना महत्वपूर्ण है। दिन के प्रत्येक सेकंड में औसतन 6,000 ट्वीट भेजे जाते हैं। यह एक मिनट में 350,000 ट्वीट, एक दिन में 500 मिलियन ट्वीट या एक वर्ष में 200 बिलियन ट्वीट के बराबर है। पर फेसबुकलगभग 35 मिलियन लोग दैनिक आधार पर अपना स्टेटस अपडेट करते हैं।

यहां तक ​​कि अच्छे कर्मचारियों वाले तकनीकी दिग्गजों के लिए भी, ये संख्याएं मानव मॉडरेटरों के लिए स्वयं आवश्यक मॉडरेशन करना असंभव बना देती हैं। ऐसे निर्णय बहुत जल्दी लिए जाने चाहिए, न केवल हर पल उत्पन्न होने वाली नई सामग्री के शीर्ष पर बने रहने के लिए, बल्कि इसलिए भी कि कुछ संदेश बड़ी संख्या में उपयोगकर्ताओं द्वारा न देखे जाएं। अच्छी तरह से डिज़ाइन किए गए एल्गोरिदम ही इस समस्या को हल करने का एकमात्र व्यावहारिक तरीका है।

मशीन लर्निंग का उपयोग करके, यह संभव है - कम से कम सिद्धांत रूप में - ऐसे उपकरण विकसित करना जिन्हें नफरत फैलाने वाले भाषण या आपत्तिजनक भाषण का पता लगाने के लिए प्रशिक्षित किया जा सकता है ताकि इसे हटाया जा सके या रिपोर्ट किया जा सके। लेकिन ये आसान नहीं है. नफरत फैलाने वाला भाषण एक व्यापक और विवादास्पद शब्द है। इंसानों के बीच इसे कानूनी तौर पर या यहां तक ​​कि अनौपचारिक रूप से परिभाषित करने का प्रयास मुश्किल साबित होता है। घृणास्पद भाषण के कुछ उदाहरण इतने स्पष्ट हो सकते हैं कि कोई भी उन पर विवाद नहीं कर सकता। लेकिन अन्य मामले अधिक सूक्ष्म हो सकते हैं; कार्रवाइयों के प्रकार को "सूक्ष्म-आक्रामकता" के रूप में वर्गीकृत किए जाने की अधिक संभावना है। जैसा कि संयुक्त राज्य अमेरिका के सुप्रीम कोर्ट के न्यायाधीश पॉटर स्टीवर्ट ने अश्लीलता के बारे में प्रसिद्ध रूप से कहा था: "जब मैं इसे देखता हूं तो मुझे पता चलता है।"

कैनेडी ने डिजिटल ट्रेंड्स को बताया, "नफरत फैलाने वाले भाषण [और] आपत्तिजनक भाषा कई प्रकार के होते हैं।" “कुछ नफरत भरे भाषणों को चिह्नित करना आसान है - उदाहरण के लिए, अपशब्द। लेकिन अधिकांश घृणास्पद भाषण अलंकारिक रूप से जटिल, रूपक, सांस्कृतिक रूप से विशिष्ट रूढ़िवादिता और 'कुत्ते-सीटियों' के माध्यम से राक्षसी और अमानवीय है।''

समस्या को बेहतर नहीं, बल्कि बदतर बनाना

पिछला घृणास्पद भाषण-शिकार ए.आई. उपकरण अप्रभावी साबित हुए हैं क्योंकि वे ऑनलाइन पूर्वाग्रह के अधिक जटिल उदाहरणों को उजागर करने के लिए बहुत ही कुंद उपकरण हैं। ख़राब तरीके से डिज़ाइन किए गए नफरत भरे भाषण का पता लगाने वाले एल्गोरिदम, ऑनलाइन नफरत भरे भाषण को रोकना तो दूर की बात है वास्तव में अल्पसंख्यकों द्वारा भेजे गए गैर-आक्रामक ट्वीट्स को अवरुद्ध करके नस्लीय पूर्वाग्रह जैसी चीजों को बढ़ाना दिखाया गया है समूह. यह इस तथ्य जितना सरल हो सकता है कि घृणास्पद भाषण वर्गीकरणकर्ता जैसे शब्दों के प्रति अत्यधिक संवेदनशील होते हैं "काला", "समलैंगिक" या "ट्रांसजेंडर" जो कुछ में घृणित सामग्री से जुड़े होने की अधिक संभावना हो सकती है समायोजन।

बिल्कुल माइक्रोसॉफ्ट के कुख्यात Tay चैटबॉट की तरह, जिसने सीखा उपयोगकर्ताओं के साथ बातचीत के बाद नस्लवादी व्यवहार, जो क्लासिफायर मूल सोशल मीडिया टेक्स्ट डेटा पर प्रशिक्षित होते हैं, वे अपने आस-पास के संदर्भ को अनदेखा करते हुए या अनजान रहते हुए विशिष्ट शब्दों पर भारी झुकाव कर सकते हैं।

एस

संदर्भ में ऑनलाइन संदेशों का बेहतर विश्लेषण करने की क्षमता दो नए ए.आई. डिटेक्शन सिस्टम वादा करता है। यू.के. का लोला सिस्टम 98% सटीकता के साथ साइबरबुलिंग, नफरत और इस्लामोफोबिया सहित हानिकारक व्यवहारों का पता लगाने के लिए प्रति मिनट 25,000 संदेशों का विश्लेषण करने में सक्षम होने का दावा करता है। इसका एक हिस्सा न केवल कीवर्ड को देखना है, बल्कि "भावना पहचान इंजन" का उपयोग करके यह पता लगाना है कि पाठ में कौन सी भावनाएं उत्पन्न होती हैं - चाहे वह प्यार, क्रोध, भय, विश्वास या अन्य हों।

इस बीच, दक्षिणी कैलिफोर्निया विश्वविद्यालय ए.आई. डिटेक्शन सिस्टम संदर्भ के साथ-साथ सामग्री को भी देखने का वादा करता है।

“इस शोध में हमारा प्रारंभिक बिंदु एक मानक विधि है, जो पाठ टोकन के अनुक्रमों को संख्यात्मक में एन्कोड करता है वैक्टर, जो [तब] संभावित रूप से 'नफरत' या 'नफरत नहीं' के वर्ग लेबल को आउटपुट करने के लिए उपयोग किए जाते हैं,'' ब्रैंडन कहा। “हमारी टीम के सदस्यों द्वारा विकसित 'पोस्ट-हॉक स्पष्टीकरण' एल्गोरिदम का उपयोग करके, हमने घृणास्पद भाषण को प्रोग्राम किया क्लासिफायर समूह पहचानकर्ताओं को कम महत्व देते हैं, और समूह के आसपास के संदर्भ को अधिक महत्व देते हैं पहचानकर्ता।"

इस प्रणाली का परीक्षण श्वेत वर्चस्ववादी वेबसाइट स्टॉर्मफ्रंट के लेखों और न्यूयॉर्क टाइम्स की अधिक तटस्थ रिपोर्ट का विश्लेषण करके किया गया था। इसके रचनाकारों का दावा है कि यह 90% की सटीकता के स्तर के साथ गैर-घृणा सामग्री से नफरत को छांटने में सक्षम था।

दो मोर्चों पर युद्ध

हालाँकि, यह केवल स्वतंत्र शोधकर्ता ही नहीं हैं जो घृणास्पद भाषण का पता लगाने के लिए उपकरण विकसित कर रहे हैं। इस समस्या के समाधान के लिए सोशल नेटवर्क भी काम कर रहे हैं।

“अब हम 10 मिलियन टुकड़े हटाते हैं द्वेषपूर्ण भाषण एक चौथाई,'' फेसबुक के सामुदायिक अखंडता समूह में उत्पाद प्रबंधन के निदेशक अमित भट्टाचार्य ने डिजिटल ट्रेंड्स को बताया। “उनमें से, लगभग 90% का पता उपयोगकर्ताओं द्वारा हमें रिपोर्ट करने से पहले ही पता चल गया था। हमने नफरत फैलाने वाले भाषण सहित संभावित रूप से उल्लंघन करने वाली सामग्री का सक्रिय रूप से पता लगाने में और अधिक निवेश किया है - और बेहतर हुए हैं।''

भट्टाचार्य ने बताया कि फेसबुक की पहचान तकनीक टेक्स्ट और छवि मिलान जैसी चीजों पर ध्यान केंद्रित करती है उन छवियों और पाठ की समान पंक्तियों की तलाश करता है जिन्हें पहले ही अन्यत्र घृणास्पद भाषण के रूप में हटा दिया गया है प्लैटफ़ॉर्म। यह मशीन लर्निंग क्लासिफायर का भी उपयोग करता है जो भाषा और अन्य सामग्री प्रकारों का विश्लेषण करता है। फेसबुक के पास अतिरिक्त डेटा पॉइंट भी हैं, क्योंकि वह किसी पोस्ट पर प्रतिक्रियाओं और टिप्पणियों को देख सकता है कि कैसे ये सामग्री में पहले देखे गए सामान्य वाक्यांशों, पैटर्न और हमलों से निकटता से मेल खाते हैं जो इसके घृणास्पद भाषण का उल्लंघन करते हैं नीतियाँ.

ट्विटर घृणित सामग्री पर नकेल कसने के लिए मशीन लर्निंग टूल का भी उपयोग करता है। इसमें से कुछ कीवर्ड-आधारित है, लेकिन ट्विटर अतिरिक्त रूप से उपयोगकर्ता के व्यवहार का विश्लेषण करके यह निर्धारित करने का प्रयास करता है कि उपयोगकर्ता बातचीत में कितने सहज हैं। उदाहरण के लिए, एक उपयोगकर्ता जो किसी अन्य उपयोगकर्ता पर ट्वीट करता है और उसे उत्तर दिया जाता है और फिर उसका अनुसरण किया जाता है, उसे उस व्यक्ति से अलग देखा जाएगा जो सीधे किसी अन्य व्यक्ति पर बार-बार ट्वीट करता है लेकिन उसे नजरअंदाज कर दिया जाता है या ब्लॉक कर दिया जाता है। ये व्यवहार संबंधी गतिशीलता उत्पीड़न या अवांछित लक्षित व्यवहार के पैटर्न को प्रकट करने में मदद कर सकती है जिसका उपयोग ट्विटर अपने प्लेटफ़ॉर्म पर क्या चल रहा है उसकी सामग्री को बेहतर ढंग से समझने के लिए कर सकता है।

हालाँकि, एक ट्विटर प्रवक्ता ने डिजिटल ट्रेंड्स को बताया कि आपत्तिजनक के रूप में चिह्नित संदेशों की मैन्युअल रूप से समीक्षा की जाती है मनुष्यों द्वारा (मशीन-प्राथमिकता क्रम में) ताकि यह निर्धारित किया जा सके कि उनकी सही पहचान की गई है ऐसा।

एक सतत चुनौती

फेसबुक के भट्टाचार्य ने कहा कि सोशल नेटवर्क ने पिछले कुछ वर्षों में अपने प्लेटफार्मों पर नफरत फैलाने वाले भाषण को रोकने में "बड़ी प्रगति" की है और उनकी टीम ने जो हासिल किया है उस पर उन्हें गर्व है। साथ ही, भट्टाचार्य ने कहा, "हमारा काम कभी पूरा नहीं होता है और हम जानते हैं कि हम कभी भी घृणास्पद सामग्री के हर हिस्से को अपने प्लेटफार्मों पर प्रदर्शित होने से नहीं रोक पाएंगे।"

निराशाजनक वास्तविकता यह है कि ऑनलाइन अभद्र भाषा शायद कभी भी एक समस्या के रूप में हल नहीं होगी। कम से कम, लोगों द्वारा परिवर्तन किये बिना तो नहीं। इंटरनेट, इसके नुकसान के लिए, कुछ मानवीय आवाज़ों को बढ़ा सकता है, और विशेष मानवीय पूर्वाग्रहों को एम्बेड और संहिताबद्ध कर सकता है, लेकिन ऐसा इसलिए है क्योंकि इसमें मानवता ही बड़ी है। वास्तविक दुनिया में जो भी समस्याएं मौजूद हैं, वे कुछ हद तक ऑनलाइन दुनिया में भी अपना रास्ता बना लेंगी।

जैसा कि कहा गया है, ऑनलाइन अपमानजनक व्यवहार पर नकेल कसने के लिए प्रतिक्रियाशील होना जरूरी नहीं है। यह सक्रिय भी हो सकता है. उदाहरण के लिए, डिजिटल ट्रेंड्स के साथ बात करने वाले ट्विटर प्रवक्ता ने बताया कि, जिन उपयोगकर्ताओं के खाते नियम उल्लंघन के कारण 12 घंटे के लिए प्रतिबंधित हैं, उनमें से अधिकांश फिर से अपराध करते हैं। इससे पता चलता है कि सिखाने योग्य क्षण घटित हो सकते हैं। चाहे वे वास्तव में उपयोगकर्ताओं को अपने व्यवहार की दोबारा जांच करने के लिए प्रेरित करते हैं या बस उन्हें नियमों को तोड़ने वाले तरीके से व्यवहार करने से रोकते हैं, फिर भी यह प्लेटफ़ॉर्म पर परेशान करने वाले नियम-तोड़ने वाले व्यवहार को कम करता है।

प्रवक्ता ने यह भी कहा कि ट्विटर अब "नज" आधारित प्रणाली की खोज कर रहा है। यह उपयोगकर्ताओं को ट्वीट करने से पहले संकेत देगा, उन्हें सचेत करेगा कि वे जो पोस्ट करने जा रहे हैं वह ट्विटर के नियमों के खिलाफ हो सकता है। ऐसा किसी विशेष कीवर्ड के कारण हो सकता है. किसी ऐसे लेख को ट्विटर के माध्यम से साझा करते समय जिसे आपने नहीं खोला है, यह एक चेतावनी भी दे सकता है। इस नज प्रणाली का हाल ही में कुछ उपयोगकर्ताओं के साथ परीक्षण किया गया था। हालाँकि परीक्षण अब समाप्त हो गया है, ऐसी संभावना है कि इसे भविष्य में सभी उपयोगकर्ताओं के लिए एक सुविधा के रूप में पेश किया जा सकता है।

इंटरनेट पर चर्चा का भविष्य

सोशल मीडिया पर नफरत भरे भाषण और अन्य आपत्तिजनक भाषण का सवाल और भी गंभीर होता जा रहा है। उदाहरण के लिए, फ़्रांस में, ए मई में पारित हुआ था कानून इसमें कुछ आपराधिक सामग्री को एक घंटे के भीतर सोशल मीडिया से हटाने का आह्वान किया गया है। यदि ऐसा नहीं है, तो संबंधित सोशल मीडिया कंपनियों को उनके वैश्विक राजस्व का 4% तक जुर्माना भरना पड़ेगा। अन्य "प्रकट रूप से अवैध" सामग्री को 24 घंटे के भीतर हटा दिया जाना चाहिए। न्याय मंत्री निकोल बेलौबेट ने फ्रांसीसी संसद को बताया कि यह कानून ऑनलाइन नफरत फैलाने वाले भाषण को कम करने में मदद करेगा।

जहां तक ​​हमें जानकारी है, संयुक्त राज्य अमेरिका में ऐसा कोई कानून गंभीरता से प्रस्तावित नहीं किया गया है। लेकिन जैसे-जैसे सोशल मीडिया हमारे संचार का एक बड़ा और अधिक प्रभावशाली हिस्सा बनता जा रहा है, विषाक्त व्यवहार पर नकेल कसना तेजी से महत्वपूर्ण हो जाएगा। यह ऐसी समस्या नहीं है जिसे केवल मानव मध्यस्थों द्वारा संबोधित किया जा सकता है। लेकिन यह भी एक बात है कि, जब इसे ए.आई. का उपयोग करके किया जाता है, तो सावधानी से किया जाना चाहिए - न केवल यह सुनिश्चित करने के लिए कि यह समस्या को बेहतर बनाता है, बल्कि यह गारंटी देने के लिए कि यह इसे बदतर नहीं बनाता है।

इंटरनेट पर चर्चा का भविष्य इस पर निर्भर करता है।

संपादकों की सिफ़ारिशें

• कैसे ए.आई. उस अद्भुत स्पोर्ट्स हाइलाइट रील को बनाया जिसे आप देखना बंद नहीं कर सकते