ადამიანები მარტო ვერ აჩერებენ ონლაინ სიძულვილის ენას. ჩვენ გვჭირდება ბოტები დასახმარებლად

ინტერნეტს სიძულვილის ენის პრობლემა აქვს.

გადადით YouTube-ის კომენტარების ნებისმიერ განყოფილებაში ან დაათვალიერეთ სოციალური მედია თუნდაც მცირე დროით და შეურაცხმყოფელი, ხშირად მიკერძოებული კომენტარების ნაკლებობას ვერ ნახავთ. მაგრამ როგორ გადაჭრით ამ პრობლემას? და, ამით, როგორ ავიცილოთ თავიდან მისი შემთხვევით გაუარესება?

ამ თვეში, ორი სიძულვილის ენის მაძიებელი A.I. გამოცხადდა ალგორითმები: ერთი შეიქმნა გაერთიანებულ სამეფოში, მეორე შეერთებულ შტატებში, ორივე შეიძლება ერთ დღეს გამოიყენებოდეს სოციალური მედიის ან ონლაინ სამყაროს სხვა სფეროების გასინჯვა და სიძულვილის ენის ან შეურაცხმყოფელი მეტყველების ხაზგასმა, რათა მოხდეს მისი მოხსენება, წაშლა ან დაბლოკვა.

პირველი, რომელიც შეიმუშავეს გაერთიანებული სამეფოს ექსეთერის უნივერსიტეტის მკვლევარებმა, არის ა ინსტრუმენტი სახელად ლოლა რომელიც იყენებს „ბუნებრივი ენის დამუშავებისა და ქცევითი თეორიის უახლეს მიღწევებს“ წუთში ათასობით შეტყობინების სკანირებისთვის სიძულვილის შემცველი შინაარსის გამოსავლენად. ”სიზუსტის დონე გამორჩეულია ბაზარზე არსებულ გადაწყვეტილებებთან შედარებით,”

დოქტორი დევიდ ლოპესიგანუცხადა Digital Trends-ს ლოლას ერთ-ერთმა შემქმნელმა.

მეორე, მუშაობა სამხრეთ კალიფორნიის უნივერსიტეტის მკვლევარები, აცხადებს, რომ შეუძლია მსგავსი რამ. ჩვენ მიერ შემუშავებული ალგორითმი არის ტექსტის კლასიფიკატორი, რომელიც იღებს სოციალურ მედიაში პოსტებს - ან პოტენციურად სხვა ტექსტს - და პროგნოზირებს, შეიცავს თუ არა ტექსტი სიძულვილის ენას. ბრენდან კენედი, კომპიუტერული მეცნიერების დოქტორი. სტუდენტმა, რომელიც პროექტზე მუშაობდა, განუცხადა Digital Trends-ს.

ეს არის სამუშაო ავტომატიზაციისთვის. სახის

იმის გასაგებად, თუ რატომ არის საჭირო ავტომატიზირებულ გადაწყვეტილებებს მივმართოთ ამ ყველაზე ადამიანური პრობლემების გადასაჭრელად, მნიშვნელოვანია გვესმოდეს სოციალური მედიის უზარმაზარი მასშტაბები. დღის ყოველ წამს საშუალოდ 6000 ტვიტი იგზავნება. ეს უდრის 350 000 ტვიტს წუთში, 500 მილიონ ტვიტს დღეში ან 200 მილიარდ ტვიტს წელიწადში. ჩართულია ფეისბუქი, დაახლოებით 35 მილიონი ადამიანი ყოველდღიურად ანახლებს სტატუსს.

თუნდაც კარგად დაკომპლექტებული ტექნიკური გიგანტებისთვის, ეს რიცხვები შეუძლებელს ხდის მოდერატორებს დამოუკიდებლად საჭირო ზომიერების გაკეთებას. ასეთი გადაწყვეტილებები უნდა იქნას მიღებული ძალიან სწრაფად, არა მხოლოდ იმისთვის, რომ დარჩეს ყოველ მომენტში გენერირებული ახალი შინაარსის თავზე, არამედ ისე, რომ გარკვეული შეტყობინებები არ დაინახოს მომხმარებელთა დიდმა რაოდენობამ. კარგად შემუშავებული ალგორითმები ამ პრობლემის გადაჭრის ერთადერთი პრაქტიკული გზაა.

მანქანათმცოდნეობის გამოყენებით, შესაძლებელია - თეორიულად მაინც - შეიმუშაოს ინსტრუმენტები, რომლებიც შეიძლება მომზადდეს სიძულვილის ენის ან შეურაცხმყოფელი მეტყველების ძიებაში, რათა მოხდეს მისი წაშლა ან შეტყობინება. მაგრამ ეს არ არის ადვილი. სიძულვილის ენა ფართო და სადავო ტერმინია. ადამიანებში მისი ლეგალურად ან თუნდაც არაფორმალურად განსაზღვრის მცდელობები რთულია. სიძულვილის ენის ზოგიერთი მაგალითი შეიძლება იყოს ისეთი მკაფიო, რომ ვერავინ შეძლებს მათზე ეჭვს. მაგრამ სხვა შემთხვევები შეიძლება იყოს უფრო დახვეწილი; ქმედებების ტიპი, რომელიც უფრო სავარაუდოა, რომ კლასიფიცირებული იყოს როგორც "მიკრო აგრესია". როგორც შეერთებული შტატების უზენაესი სასამართლოს მოსამართლემ პოტერ სტიუარტმა თქვა უხამსობის შესახებ: „მე ვიცი, როცა ამას ვხედავ“.

„სიძულვილის ენის [და] შეურაცხმყოფელი ენის მრავალი სახეობა არსებობს“, განუცხადა კენედიმ Digital Trends-ს. „სიძულვილის ენის ზოგიერთი ენა ადვილი დასანიშნია - მაგალითად, ლანძღვა. მაგრამ სიძულვილის ენის უმეტესობა რიტორიკულად რთულია, დემონიზირებადი და დეჰუმანიზაცია ხდება მეტაფორის, კულტურულად სპეციფიკური სტერეოტიპებისა და „ძაღლების სასტვენების“ მეშვეობით.

პრობლემის გაუარესება და არა უკეთესი

წინა სიძულვილის ენაზე ნადირობა A.I. ინსტრუმენტები არაეფექტური აღმოჩნდა, რადგან ისინი ძალიან ბლაგვი ინსტრუმენტია ონლაინ ცრურწმენის უფრო რთული მაგალითების გამოსავლენად. არასწორად შემუშავებული სიძულვილის ენის გამოვლენის ალგორითმები, შორს არის ონლაინ სიძულვილის გამოხატვის შეჩერებისგან რეალურად ნაჩვენებია, რომ აძლიერებს ისეთ რამეებს, როგორიცაა რასობრივი მიკერძოება უმცირესობის მიერ გაგზავნილი არა შეურაცხმყოფელი ტვიტების დაბლოკვით ჯგუფები. ეს შეიძლება იყოს ისეთივე მარტივი, როგორც ის ფაქტი, რომ სიძულვილის ენის კლასიფიკატორები ზედმეტად მგრძნობიარეა მსგავსი ტერმინების მიმართ „შავკანიანი“, „გეი“ ან „ტრანსგენდერი“, რომლებიც შესაძლოა უფრო მეტად ასოცირდებოდეს სიძულვილის შემცველ შინაარსთან ზოგიერთში პარამეტრები.

ისევე, როგორც Microsoft-ის სამარცხვინო Tay chatbot, რომელმაც შეიტყო რასისტული ქცევა მომხმარებლებთან ურთიერთობის შემდეგ, კლასიფიკატორებს, რომლებიც გაწვრთნილნი არიან სოციალური მედიის ორიგინალურ ტექსტურ მონაცემებზე, შეიძლება ძლიერად დაეყრდნოთ კონკრეტულ სიტყვებს, ხოლო იგნორირებას უკეთებენ ან არ აცნობიერებენ მათ გარემომცველ კონტექსტს.

ს

კონტექსტში ონლაინ შეტყობინებების უკეთ გაანალიზების შესაძლებლობა არის ორი ახალი A.I. აღმოჩენის სისტემები გვპირდება. გაერთიანებული სამეფოს Lola სისტემა აცხადებს, რომ შეუძლია წუთში 25000 შეტყობინების გაანალიზება მავნე ქცევების აღმოსაჩენად - მათ შორის კიბერბულინგი, სიძულვილი და ისლამოფობია - 98%-მდე სიზუსტით. ამის ნაწილია არა მხოლოდ საკვანძო სიტყვების შესწავლა, არამედ „ემოციების გამოვლენის ძრავის“ გამოყენებით, რათა გაირკვეს, თუ რა ემოციებს აჩენს ტექსტში - იქნება ეს სიყვარული, ბრაზი, შიში, ნდობა თუ სხვა.

იმავდროულად, სამხრეთ კალიფორნიის უნივერსიტეტის A.I. აღმოჩენის სისტემა გვპირდება, რომ კონტექსტს და შინაარსსაც შეხედავს.

”ჩვენი ამოსავალი წერტილი ამ კვლევაში არის სტანდარტული მეთოდი, რომელიც კოდირებს ტექსტური ნიშნების თანმიმდევრობას რიცხვებში. ვექტორები, რომლებიც [შემდეგ] გამოიყენება "სიძულვილის" ან "სიძულვილის გარეშე" კლასის ალბათობით გამოსატანად", - ბრენდონი განაცხადა. „ჩვენი გუნდის წევრების მიერ შემუშავებული „პოსტ-ჰოკ ახსნის“ ალგორითმის გამოყენებით, ჩვენ დავაპროგრამეთ სიძულვილის ენა კლასიფიკატორებმა ნაკლები მნიშვნელობა მიანიჭონ ჯგუფის იდენტიფიკატორებს და მეტი მნიშვნელობა ჯგუფის მიმდებარე კონტექსტს იდენტიფიკატორები.”

სისტემა შემოწმდა თეთრკანიანთა უზენაესი ვებსაიტის Stormfront-ის სტატიებისა და New York Times-ის უფრო ნეიტრალური რეპორტაჟის ანალიზით. მისი შემქმნელები აცხადებენ, რომ მას შეეძლო სიძულვილის დახარისხება არასიძულვილის შემცველი შინაარსისგან 90% სიზუსტით.

ომი ორ ფრონტზე

თუმცა, არა მხოლოდ დამოუკიდებელი მკვლევარები ავითარებენ ინსტრუმენტებს სიძულვილის ენის გამოსავლენად. ამ პრობლემის მოსაგვარებლად სოციალური ქსელებიც მუშაობენ.

„ჩვენ ახლა 10 მილიონი ცალი ამოვიღეთ სიძულვილის ენა მეოთხედი“, - განუცხადა Digital Trends-ს ამიტ ბჰატაჩარიამ, Facebook-ის საზოგადოების მთლიანობის ჯგუფის პროდუქტის მენეჯმენტის დირექტორმა. „აქედან დაახლოებით 90% დაფიქსირდა მანამ, სანამ მომხმარებლები შეგვატყობინებდნენ. ჩვენ მეტი ინვესტიცია ჩავდეთ - და გავუმჯობესდით - პოტენციურად დამრღვევი კონტენტის პროაქტიულად გამოვლენაში, მათ შორის სიძულვილის ენაზე. ”

ფეისბუქის აღმოჩენის ტექნიკა, განმარტა ბჰატაჩარიამ, ფოკუსირებულია ისეთ საკითხებზე, როგორიცაა ტექსტისა და სურათის შესატყვისი, რომელშიც ის ეძებს სურათებს და ტექსტის იდენტურ სტრიქონებს, რომლებიც უკვე ამოღებულია, როგორც სიძულვილის ენა სხვაგან პლატფორმა. ის ასევე იყენებს მანქანათმცოდნეობის კლასიფიკატორებს, რომლებიც აანალიზებენ ენას და სხვა კონტენტის ტიპებს. ფეისბუქსაც აქვს დამატებითი მონაცემთა პუნქტები, რადგან მას შეუძლია ნახოს რეაქციები და კომენტარები პოსტზე, რათა ნახოს როგორ ეს მჭიდროდ ემთხვევა ჩვეულებრივ ფრაზებს, შაბლონებს და თავდასხმებს, რომლებიც ადრე იყო ნანახი კონტენტში, რომელიც არღვევს მის სიძულვილის ენას პოლიტიკა.

Twitter ასევე იყენებს მანქანათმცოდნეობის ინსტრუმენტებს სიძულვილის შემცველი შინაარსის დასაძლევად. ზოგიერთი მათგანი დაფუძნებულია საკვანძო სიტყვებზე, მაგრამ Twitter დამატებით აანალიზებს მომხმარებლის ქცევას, რათა დადგინდეს, რამდენად კომფორტულია მომხმარებლები ურთიერთქმედებაში. მაგალითად, მომხმარებელი, რომელიც ტვიტერს უწერს სხვა მომხმარებელს და მას უპასუხებენ და შემდეგ თვალს ადევნებენ, განსხვავებულად განიხილება იმისგან, ვინც პირდაპირ ტვიტერს უგზავნის სხვა ადამიანს არაერთხელ, მაგრამ იგნორირებულია ან დაბლოკილია. ეს ქცევითი დინამიკა დაგეხმარებათ გამოავლინოს შევიწროების ან არასასურველი მიზანმიმართული ქცევის ნიმუშები, რომლებიც Twitter-ს შეუძლია გამოიყენოს მის პლატფორმაზე მიმდინარე შინაარსის უკეთ გასაგებად.

თუმცა, Twitter-ის სპიკერმა განუცხადა Digital Trends-ს, რომ შეურაცხმყოფლად მონიშნული შეტყობინებები ხელით განიხილება ადამიანების მიერ (მანქანის პრიორიტეტული თანმიმდევრობით), რათა დადგინდეს, რომ ისინი სწორად იქნა იდენტიფიცირებული ასეთი.

მიმდინარე გამოწვევა

Facebook-ის Bhattacharyya-მ თქვა, რომ სოციალურმა ქსელმა წლების განმავლობაში მიაღწია "დიდი პროგრესს" სიძულვილის ენის შეზღუდვის კუთხით მის პლატფორმებზე და რომ მისი გუნდი ამაყობს იმით, რაც მან მიაღწია. ამავდროულად, ბჰატაჩარიამ თქვა: ”ჩვენი სამუშაო არასოდეს დასრულებულა და ვიცით, რომ ჩვენ ვერასოდეს შევძლებთ თავიდან ავიცილოთ ყოველი სიძულვილის შემცველი შინაარსის გამოჩენა ჩვენს პლატფორმებზე.”

დამთრგუნველი რეალობა ის არის, რომ ონლაინ სიძულვილის ენა, ალბათ, არასოდეს მოგვარდება, როგორც პრობლემა. ყოველ შემთხვევაში, არა ისე, რომ ადამიანები არ შეცვლიან. ინტერნეტმა შეიძლება, თავის საზიანოდ, გააძლიეროს გარკვეული ადამიანური ხმები და ჩართოს და კოდირდეს კონკრეტული ადამიანური ცრურწმენები, მაგრამ ეს იმიტომ ხდება, რომ ის უბრალოდ კაცობრიობაა დაწერილი. რა პრობლემებიც არ უნდა იყოს რეალურ სამყაროში, გარკვეულწილად, გზას გაივლის ონლაინ სამყაროში.

ამის თქმით, ონლაინ შეურაცხმყოფელი ქცევის განადგურება არ უნდა იყოს რეაქტიული. ის ასევე შეიძლება იყოს პროაქტიული. მაგალითად, Twitter-ის სპიკერმა, რომელიც ესაუბრა Digital Trends-ს, აღნიშნა, რომ მომხმარებელთაგან, რომელთა ანგარიშები აკრძალულია წესების დარღვევის გამო 12 საათის განმავლობაში, უმრავლესობა ისევ შეურაცხყოფს. ეს ვარაუდობს, რომ სწავლებადი მომენტები შეიძლება მოხდეს. მიუხედავად იმისა, ისინი ნამდვილად აიძულებენ მომხმარებლებს გადახედონ თავიანთი ქცევა ან უბრალოდ შეაჩერონ ქცევა ისე, რომ არღვევენ წესებს, ეს მაინც ამცირებს პლატფორმაზე წესების დამრღვევი ქცევას.

სპიკერმა ასევე თქვა, რომ Twitter ახლა იკვლევს "nudge"-ზე დაფუძნებულ სისტემას. ეს შესთავაზებს მოთხოვნებს, სანამ მომხმარებლები ტვიტერს დაწერენ, აფრთხილებენ მათ, რომ ის, რასაც ისინი აპირებენ გამოაქვეყნონ, შეიძლება ეწინააღმდეგებოდეს Twitter-ის წესებს. ეს შეიძლება იყოს კონკრეტული საკვანძო სიტყვის გამო. სტატიის გაზიარებისას, რომელიც არ გაგიხსნიათ Twitter-ის საშუალებით, შესაძლოა გაფრთხილებაც იყოს. ეს დაძაბვის სისტემა ცოტა ხნის წინ შემოწმდა მომხმარებელთა მცირე რაოდენობით. მიუხედავად იმისა, რომ საცდელი პროცესი დასრულებულია, არსებობს შესაძლებლობა, რომ ის მომავალში ყველა მომხმარებლისთვის ფუნქციის სახით გამოვიდეს.

დისკურსის მომავალი ინტერნეტში

სოციალურ მედიაში სიძულვილის ენისა და სხვა შეურაცხმყოფელი მეტყველების საკითხი უფრო აქტუალური გახდება. საფრანგეთში, მაგალითად, ა კანონი მაისში მიიღეს რომელიც მოითხოვს გარკვეული კრიმინალური შინაარსის ამოღებას სოციალური მედიიდან ერთი საათის განმავლობაში. თუ ეს ასე არ არის, ამ სოციალური მედიის კომპანიებს ჯარიმა დაემუქრებათ მათი გლობალური შემოსავლის 4%-მდე. სხვა „აშკარად უკანონო“ კონტენტი უნდა წაიშალოს 24 საათის განმავლობაში. იუსტიციის მინისტრმა ნიკოლ ბელუბემ საფრანგეთის პარლამენტს განუცხადა, რომ კანონი ხელს შეუწყობს ონლაინ სიძულვილის ენის შემცირებას.

ასეთი კანონი, რამდენადაც ჩვენ ვიცით, არ ყოფილა სერიოზულად შემოთავაზებული შეერთებულ შტატებში. მაგრამ რამდენადაც სოციალური მედია ხდება ჩვენი კომუნიკაციის უფრო დიდი და გავლენიანი ნაწილი, ტოქსიკური ქცევის წინააღმდეგ ბრძოლა სულ უფრო მნიშვნელოვანი გახდება. ეს არ არის პრობლემა, რომლის მოგვარებაც მხოლოდ მოდერატორებს შეუძლიათ. მაგრამ ეს ასევე არის ის, რაც A.I.-ს გამოყენებით ხორციელდება, უნდა გაკეთდეს ფრთხილად - არა მხოლოდ იმის უზრუნველსაყოფად, რომ ეს პრობლემას გააუმჯობესებს, არამედ გარანტიას, რომ არ გააუარესებს მას.

მასზეა დამოკიდებული ინტერნეტში დისკურსის მომავალი.

რედაქტორების რეკომენდაციები

• როგორ ა.ი. შექმნა გასაოცარი სპორტული გამორჩეული რგოლი, რომლის ყურებას ვერ შეწყვეტთ