Žmonės vieni negali sustabdyti neapykantos kurstymo internete. Mums reikia robotų, kurie padėtų

Internetas turi neapykantos kurstymo problemą.

Apsilankykite bet kurioje „YouTube“ komentarų skiltyje arba net trumpam naršykite socialinėje žiniasklaidoje ir tikrai netrūks įžeidžiančių, dažnai išankstinių nusistatymų komentarų. Bet kaip išspręsti šią problemą? Ir kaip tai darydami netyčia nepabloginti?

Šį mėnesį du neapykantą kurstantys A.I. buvo paskelbti algoritmai: vienas sukurtas Jungtinėje Karalystėje, kitas – JAV. Abu vieną dieną galėtų būti naudojami naršyti socialinėje žiniasklaidoje ar kitose internetinio pasaulio srityse ir pabrėžti neapykantą kurstančią ar įžeidžiančią kalbą, kad būtų galima apie tai pranešti, ištrinti arba užblokuoti.

Pirmasis, sukurtas JK Ekseterio universiteto mokslininkų, yra a įrankis pavadintas Lola kuri panaudoja „naujausius natūralios kalbos apdorojimo ir elgesio teorijos pasiekimus“, kad per minutę nuskaitytų tūkstančius pranešimų ir atskleistų neapykantą keliantį turinį. „Tikslumo lygis yra puikus, palyginti su rinkoje esančiais sprendimais“,

Daktaras Davidas Lopezas, vienas iš Lolos kūrėjų, pasakojo „Digital Trends“.

Antrasis, darbas Pietų Kalifornijos universiteto mokslininkai, teigia galintis kažką panašaus. „Mūsų sukurtas algoritmas yra teksto klasifikatorius, kuris paima socialinių tinklų įrašus (arba galbūt kitą tekstą) ir nuspėja, ar tekste yra neapykantos kurstymo, ar ne. Brendanas Kenedis, informatikos mokslų daktaras. studentas, dirbęs prie projekto, pasakojo „Digital Trends“.

Tai automatizavimo darbas. Maždaug

Norint suprasti, kodėl būtina kreiptis į automatizuotus sprendimus sprendžiant šią žmogiškiausią problemą, labai svarbu suprasti socialinių tinklų mastą. Kiekvieną dienos sekundę vidutiniškai išsiunčiama 6000 tviterių. Tai prilygsta 350 000 tviterių per minutę, 500 milijonų tviterių per dieną arba 200 milijardų tviterių per metus. Įjungta Facebook, maždaug 35 milijonai žmonių kasdien atnaujina savo būsenas.

Net ir gerai įdarbinti technologijų milžinai dėl šių skaičių neleidžia moderatoriams patiems atlikti reikiamo moderavimo. Tokie sprendimai turi būti priimami labai greitai, ne tik norint sekti kiekvieną akimirką generuojamą naują turinį, bet ir tam, kad tam tikrų žinučių nepamatytų didelis vartotojų skaičius. Gerai suplanuoti algoritmai yra vienintelis praktiškas būdas išspręsti šią problemą.

Naudojant mašininį mokymąsi, galima (bent jau teoriškai) sukurti įrankius, kuriuos būtų galima išmokyti ieškoti neapykantos ar įžeidžiančios kalbos, kad būtų galima ją ištrinti arba pranešti. Bet tai nėra lengva. Neapykanta yra platus ir ginčijamas terminas. Bandymai jį apibrėžti legaliai ar net neoficialiai tarp žmonių yra sudėtingi. Kai kurie neapykantos kurstymo pavyzdžiai gali būti tokie aiškūs, kad niekas negali jų užginčyti. Tačiau kiti atvejai gali būti subtilesni; veiksmų tipai, kurie labiau gali būti klasifikuojami kaip „mikroagresija“. Kaip JAV Aukščiausiojo Teismo teisėjas Poteris Stewartas garsiai pasakė apie nepadorumą: „Aš tai žinau, kai matau“.

„Yra daugybė neapykantą kurstančių kalbų [ir] įžeidžiančios kalbos“, – „Digital Trends“ sakė Kennedy. „Kai kurias neapykantą kurstančias kalbas lengva pažymėti, pavyzdžiui, užgauliojimus. Tačiau dauguma neapykantą kurstančių kalbų yra retoriškai sudėtingos, demonizuojančios ir dehumanizuojančios per metaforas, kultūrai būdingus stereotipus ir „šunų švilpukus“.

Padidina problemą, o ne gerina

Ankstesnis neapykantos kurstymo kurstymas A.I. įrankiai pasirodė neveiksmingi, nes jie yra per daug buki priemonė, kad būtų galima atskleisti sudėtingesnius išankstinio nusistatymo pavyzdžius internete. Yra prastai sukurti neapykantos kurstymo kurstymo algoritmai, kurie toli gražu nesustabdo neapykantos kurstymo internete iš tikrųjų buvo įrodyta, kad jie sustiprina tokius dalykus kaip rasinis šališkumas blokuodamas neįžeidžiančius mažumos siunčiamus tviterius grupės. Tai gali būti kažkas tokio paprasto, kaip tai, kad neapykantą kurstančių kalbų klasifikatoriai yra pernelyg jautrūs tokiems terminams kaip „Juodas“, „gėjus“ arba „translytis“, kuris kai kuriose šalyse gali būti labiau siejamas su neapykantą kurstančiu turiniu nustatymus.

Kaip ir liūdnai pagarsėjęs Microsoft Tay pokalbių robotas, kuris išmoko rasistinis elgesys po bendravimo su vartotojais, klasifikatoriai, apmokyti remiantis originaliais socialinės žiniasklaidos teksto duomenimis, gali labai pasikliauti konkrečiais žodžiais, ignoruodami arba nesuvokdami juos supančio konteksto.

s

Galimybė geriau analizuoti internetinius pranešimus kontekste yra tai, ką du nauji A.I. aptikimo sistemos žada. JK Lola sistema teigia, kad gali išanalizuoti 25 000 pranešimų per minutę, kad aptiktų žalingą elgesį, įskaitant patyčias elektroninėje erdvėje, neapykantą ir islamofobiją, iki 98% tikslumu. Dalis to yra žiūrima ne tik į raktinius žodžius, bet ir naudojant „emocijų aptikimo variklį“, siekiant išsiaiškinti, kokios emocijos sukeliamos tekste – ar tai būtų meilė, pyktis, baimė, pasitikėjimas ar kitos.

Tuo tarpu Pietų Kalifornijos universitetas A.I. aptikimo sistema žada pažvelgti į kontekstą ir turinį.

„Mūsų išeities taškas šiame tyrime yra standartinis metodas, koduojantis teksto žetonų sekas į skaitines vektoriai, kurie [tada] naudojami tikimybiškai išvesti klasės etiketę „neapykanta“ arba „neapykanta“, – Brandonas. sakė. „Naudodami „post-hoc paaiškinimo“ algoritmą, kurį sukūrė mūsų komandos nariai, užprogramavome neapykantą kurstančią kalbą. klasifikatoriai, kad mažiau reikšmės suteiktų grupės identifikatoriams ir daugiau svarbos grupę supančiam kontekstui identifikatoriai“.

Sistema buvo išbandyta analizuojant straipsnius iš baltųjų viršenybės šalininkų svetainės Stormfront ir neutralesnio New York Times reportažo. Jo kūrėjai teigia, kad jis sugebėjo atskirti neapykantą nuo neapykantos turinio 90% tikslumu.

Karas dviem frontais

Tačiau ne tik nepriklausomi mokslininkai kuria įrankius neapykantos kurstymui aptikti. Socialiniai tinklai taip pat stengiasi išspręsti šią problemą.

„Dabar pašaliname 10 milijonų vienetų neapykantos kalba ketvirtį“, – „Digital Trends“ sakė Amitas Bhattacharyya, „Facebook“ bendruomenės vientisumo grupės produktų valdymo direktorius. „Iš jų apie 90% buvo aptikta prieš vartotojams pranešant apie tai mums. Mes daugiau investavome į aktyvų potencialiai pažeidžiančio turinio, įskaitant neapykantą kurstančią kalbą, aptikimą.

„Facebook“ aptikimo metodai, paaiškino Bhattacharyya, daugiausia dėmesio skiria tokiems dalykams kaip teksto ir vaizdo suderinimas, ieško vaizdų ir identiškų teksto eilučių, kurios jau buvo pašalintos kaip neapykantos kurstymas kitur platforma. Jis taip pat naudoja mašininio mokymosi klasifikatorius, analizuojančius kalbą ir kitus turinio tipus. „Facebook“ taip pat turi papildomų duomenų taškų, nes gali peržiūrėti reakcijas ir komentarus į įrašą, kad sužinotų, kaip tai padaryti tai labai atitinka įprastas frazes, šablonus ir išpuolius, kurie anksčiau buvo pastebėti turinyje, pažeidžiančiame neapykantą kurstančią kalbą politika.

„Twitter“ taip pat naudoja mašininio mokymosi įrankius, kad susidorotų su neapykantą keliančiu turiniu. Kai kurie iš jų yra pagrįsti raktiniais žodžiais, tačiau „Twitter“ papildomai analizuoja vartotojų elgesį, kad nustatytų, kaip patogu vartotojams bendrauti. Pavyzdžiui, į vartotoją, kuris tviteryje rašo kitam vartotojui ir į kurį bus atsakyta, o paskui seka, bus žiūrima kitaip nei į vartotoją, kuris nuolat tviteryje rašo kitam asmeniui, bet yra ignoruojamas arba blokuojamas. Ši elgesio dinamika gali padėti atskleisti priekabiavimo ar nepageidaujamo tikslinio elgesio modelius, kuriuos „Twitter“ gali panaudoti, kad geriau suprastų, kas vyksta jos platformoje.

Tačiau „Twitter“ atstovas „Digital Trends“ sakė, kad pranešimai, pažymėti kaip įžeidžiantys, yra peržiūrimi rankiniu būdu žmonių (mašinos prioritetų tvarka), kad būtų galima nustatyti, ar jie buvo teisingai identifikuoti kaip toks.

Nuolatinis iššūkis

„Facebook“ atstovė Bhattacharyya teigė, kad socialinis tinklas per daugelį metų padarė „didelę pažangą“ pažabodamas neapykantą kurstančią kalbą savo platformose ir kad jo komanda didžiuojasi tuo, ką nuveikė. Tuo pat metu Bhattacharyya sakė: „Mūsų darbas niekada nėra baigtas ir žinome, kad galbūt niekada nesugebėsime užkirsti kelio kiekvienam neapykantą skatinančiam turiniui atsirasti mūsų platformose.

Slegianti realybė yra ta, kad internete neapykantos kurstoma kalba tikriausiai niekada nebus išspręsta kaip problema. Bent jau ne tada, kai žmonės nesikeičia. Internetas savo nenaudai gali sustiprinti tam tikrus žmonių balsus ir įtvirtinti bei kodifikuoti tam tikrus žmonių išankstinius nusistatymus, bet taip yra todėl, kad tai tiesiog žmonija yra didelė. Kad ir kokios problemos egzistuoja realiame pasaulyje, tam tikru mastu pateks į internetinį pasaulį.

Be to, piktnaudžiavimo internete mažinimas nebūtinai turi būti reaktyvus. Jis taip pat gali būti aktyvus. Pavyzdžiui, „Twitter“ atstovas, kalbėjęs su „Digital Trends“, nurodė, kad dauguma vartotojų, kurių paskyros uždraustos 12 valandų dėl taisyklių pažeidimų, vėl nusikalsta. Tai rodo, kad gali pasitaikyti pamokomų akimirkų. Nesvarbu, ar jie tikrai ragina vartotojus iš naujo išnagrinėti savo elgesį, ar tiesiog neleidžia jiems elgtis taip, kad pažeidžiamos taisyklės, vis dėlto tai sumažina erzinantį taisyklių pažeidimą platformoje.

Atstovas taip pat sakė, kad „Twitter“ dabar tiria „stumdymu“ pagrįstą sistemą. Tai pateiks raginimus prieš vartotojams paskelbiant tviterį, įspėdama, kad tai, ką jie ketina paskelbti, gali prieštarauti „Twitter“ taisyklėms. Taip gali būti dėl konkretaus raktinio žodžio. Kai bendrinate straipsnį, kurio neatidarėte per „Twitter“, jis taip pat gali pateikti įspėjimą. Ši stumdymo sistema neseniai buvo išbandyta su nedideliu vartotojų skaičiumi. Nors dabar bandomasis laikotarpis baigtas, yra galimybė, kad ateityje ji bus įdiegta kaip funkcija visiems vartotojams.

Diskurso internete ateitis

Neapykantos ir kitų įžeidžiančių kalbų socialinėje žiniasklaidoje klausimas tik dar labiau aktualus. Pavyzdžiui, Prancūzijoje a įstatymas buvo priimtas gegužę kad tam tikrą nusikalstamą turinį reikia pašalinti iš socialinės žiniasklaidos per valandą. Jei ne, atitinkamoms socialinės žiniasklaidos įmonėms grės bauda iki 4% jų pasaulinių pajamų. Kitas „akivaizdžiai neteisėtas“ turinys turi būti pašalintas per 24 valandas. Teisingumo ministrė Nicole Belloubet Prancūzijos parlamentui sakė, kad įstatymas padės sumažinti neapykantos kurstymą internete.

Kiek mums žinoma, toks įstatymas nebuvo rimtai pasiūlytas Jungtinėse Valstijose. Tačiau kadangi socialinė žiniasklaida tampa vis didesne ir įtakingesne bendravimo dalimi, toksiško elgesio mažinimas taps vis svarbesnis. Tai nėra problema, kurią gali išspręsti vien žmonės moderatoriai. Tačiau tai taip pat turi būti atliekama naudojant AI.

Diskurso internete ateitis priklauso nuo to.

Redaktorių rekomendacijos

• Kaip A.I. sukūrė tą nuostabią sporto akcentų ritę, kurios negali nustoti žiūrėti