Inimesed ei saa Internetis üksi vaenu õhutamist peatada. Vajame abiks roboteid

Internetis on vihakõne probleem.

Minge ükskõik millisesse YouTube'i kommentaaride jaotisesse või uurige sotsiaalmeediat kasvõi lühikeseks ajaks ja te ei leia solvavatest, sageli eelarvamusega kommentaaridest puudust. Aga kuidas seda probleemi lahendada? Ja kuidas seda tehes vältida, et see kogemata halveneb?

Sel kuul on kaks vihakõnet taotlevat A.I. Algoritmid kuulutati välja: üks loodi Ühendkuningriigis, teine ​​​​USA-s. Mõlemat saab ühel päeval kasutada sotsiaalmeediat või muid võrgumaailma valdkondi uurima ning vaenu õhutavat või solvavat kõnet esile tõstma, et sellest teavitada, kustutada või blokeerida.

Esimene, mille on välja töötanud Ühendkuningriigi Exeteri ülikooli teadlased, on a tööriist nimega Lola mis kasutab "loomuliku keele töötlemise ja käitumisteooria uusimaid edusamme", et skaneerida minutis tuhandeid sõnumeid, et paljastada vaenu õhutav sisu. "Täpsus on turul olemasolevate lahendustega võrreldes silmapaistev,"

Dr David Lopez, üks Lola loojatest, rääkis Digital Trendsile.

Teine, töö Lõuna-California ülikooli teadlased, väidab, et on millekski sarnaseks võimeline. "Meie väljatöötatud algoritm on teksti klassifikaator, mis võtab sotsiaalmeedia postitused või potentsiaalselt muud tekstid ja ennustab, kas tekst sisaldab vihakõnet või mitte." Brendan Kennedy, arvutiteaduse doktor. projekti kallal töötanud õpilane, rääkis Digital Trendsile.

See on automatiseerimise töö. Midagi sarnast

Et mõista, miks on vaja selle kõige inimlikuma probleemi lahendamiseks pöörduda automatiseeritud lahenduste poole, on ülioluline mõista sotsiaalmeedia ulatust. Iga sekund päevas saadetakse keskmiselt 6000 säutsu. See võrdub 350 000 säutsuga minutis, 500 miljoni säutsuga päevas või 200 miljardi säutsuga aastas. Peal Facebook, umbes 35 miljonit inimest värskendavad oma olekut iga päev.

Isegi hea personaliga tehnikahiiglaste jaoks muudavad need arvud inimestest moderaatoritel võimatuks vajalikku modereerimist iseseisvalt teha. Selliseid otsuseid tuleb teha väga kiiresti, mitte ainult selleks, et iga hetk genereeritava uue sisuga kursis olla, vaid ka selleks, et teatud sõnumeid ei näeks suur hulk kasutajaid. Hästi läbimõeldud algoritmid on ainus praktiline viis selle probleemi lahendamiseks.

Masinõpet kasutades on võimalik – vähemalt teoreetiliselt – välja töötada tööriistu, mida saab õpetada otsima vihakõnet või solvavat kõnet, et sellest saaks kustutada või sellest teavitada. Kuid see pole lihtne. Vihakõne on lai ja vaidlustatud mõiste. Katsed seda seaduslikult või isegi mitteametlikult inimeste seas määratleda osutuvad keeruliseks. Mõned vihakõne näited võivad olla nii selged, et keegi ei saa neid vaidlustada. Kuid muud juhtumid võivad olla peenemad; tegude tüüp, mida tõenäoliselt liigitatakse mikroagressioonideks. Nagu Ameerika Ühendriikide ülemkohtu kohtunik Potter Stewart on roppuste kohta kuulsalt öelnud: "Ma tean seda, kui ma seda näen."

"On mitut tüüpi vihakõnet [ja] solvavat keelt," ütles Kennedy väljaandele Digital Trends. „Mõnda vihakõnet on lihtne märgistada – näiteks solvanguid. Kuid enamik vihakõnesid on retooriliselt keerukad, deemoniseerivad ja dehumaniseerivad metafoori, kultuurispetsiifiliste stereotüüpide ja "koeravilede" kaudu.

Teeb probleemi hullemaks, mitte paremaks

Eelmine vihakõne jaht A.I. tööriistad on osutunud ebatõhusaks, kuna need on liiga nürid vahendid, et paljastada veebis keerukamaid eelarvamuste näiteid. Halvasti kavandatud vihakõne tuvastamise algoritmid, mis kaugeltki ei peata vaenu õhutavat kõnet võrgus, on olemas Tegelikult on näidatud, et see võimendab selliseid asju nagu rassiline eelarvamus, blokeerides vähemuse saadetud mittesolvavad säutsud rühmad. See võib olla midagi nii lihtsat kui tõsiasi, et vihakõne klassifikaatorid on selliste terminite suhtes ülitundlikud "Must", "gei" või "transsooline", mida võib mõnel juhul seostada vaenu õhutava sisuga seaded.

Täpselt nagu Microsofti kurikuulus Tay vestlusbot, mis õppis rassistlik käitumine pärast kasutajatega suhtlemist, võivad klassifikaatorid, mis on koolitatud algsete sotsiaalmeedia tekstiandmete põhjal, toetuda tugevalt konkreetsetele sõnadele, ignoreerides või teadmata neid ümbritsevat konteksti.

s

Võimalus veebisõnumeid paremini kontekstis analüüsida on see, mida kaks uut A.I. tuvastussüsteemid lubavad. Ühendkuningriigi Lola süsteem väidab, et suudab analüüsida 25 000 sõnumit minutis, et tuvastada kahjulikku käitumist – sealhulgas küberkiusamist, vihkamist ja islamofoobiat – kuni 98% täpsusega. Üks osa sellest ei ole ainult märksõnade vaatamine, vaid emotsioonide tuvastamise mootori kasutamine, et välja selgitada, millised emotsioonid tekstis esile kutsuvad – olgu selleks armastus, viha, hirm, usaldus või muud.

Vahepeal Lõuna-California ülikool A.I. tuvastussüsteem lubab vaadata nii konteksti kui ka sisu.

"Meie selle uurimistöö lähtepunktiks on standardmeetod, mis kodeerib tekstimärkide jadad numbriteks vektorid, mida [siis] kasutatakse klassisildi „viha” või „ei vihka” tõenäosuslikuks väljastamiseks,” Brandon ütles. "Kasutades meie meeskonnaliikmete välja töötatud post-hoc selgituste algoritmi, programmeerisime vihakõne klassifikaatorid, et anda vähem tähtsust rühma identifikaatoritele ja rohkem tähtsust rühma ümbritsevale kontekstile identifikaatorid."

Süsteemi testiti valgete ülemvõimu pooldava veebisaidi Stormfronti artikleid ja New York Timesi neutraalsemat reportaaži analüüsides. Selle loojad väidavad, et see oli võimeline sorteerima vihkamist mittevaenu sisust 90% täpsusega.

Sõda kahel rindel

Kuid mitte ainult sõltumatud teadlased ei tööta välja tööriistu vihakõne tuvastamiseks. Selle probleemi lahendamise nimel töötavad ka sotsiaalvõrgustikud.

"Me eemaldame nüüd 10 miljonit tükki vihakõne veerand," ütles Facebooki kogukonna terviklikkuse grupi tootehalduse direktor Amit Bhattacharyya Digital Trendsile. "Sellest umbes 90% tuvastati enne, kui kasutajad sellest meile teatasid. Oleme rohkem investeerinud potentsiaalselt rikkuva sisu, sealhulgas vaenu õhutava sisu ennetavasse tuvastamisse – ja avastasime selles paremini.

Facebooki tuvastamistehnikad, selgitas Bhattacharyya, keskenduvad sellistele asjadele nagu teksti ja pildi sobitamine, milles see otsib pilte ja identseid tekstistringe, mis on juba mujalt vaenu õhutava sisuna eemaldatud platvorm. Samuti kasutab see masinõppe klassifikaatoreid, mis analüüsivad keelt ja muid sisutüüpe. Facebookil on ka täiendavaid andmepunkte, kuna see saab vaadata postituse reaktsioone ja kommentaare, et näha, kuidas need vastavad täpselt levinud fraasidele, mustritele ja rünnakutele, mida on varem nähtud sisus, mis rikub selle vihakõnet poliitikat.

Twitter kasutab vaenu õhutava sisu vastu võitlemiseks ka masinõppe tööriistu. Mõned neist on märksõnapõhised, kuid Twitter analüüsib lisaks kasutajate käitumist, et teha kindlaks, kui mugav on kasutajatel suhelda. Näiteks kasutajat, kes säutsub teisele kasutajale, kellele vastatakse ja seejärel jälgitakse, vaadatakse teistmoodi kui kasutajat, kes säutsub korduvalt teisele inimesele, kuid teda ignoreeritakse või blokeeritakse. See käitumisdünaamika võib aidata paljastada ahistamise või soovimatu sihipärase käitumise mustreid, mida Twitter saab seejärel kasutada oma platvormil toimuva sisu paremaks mõistmiseks.

Twitteri pressiesindaja ütles aga Digital Trendsile, et solvavaks märgitud sõnumid vaadatakse käsitsi üle inimeste poolt (masina eelisjärjekorras), et teha kindlaks, kas nad on õigesti identifitseeritud selline.

Pidev väljakutse

Facebooki Bhattacharyya ütles, et sotsiaalvõrgustik on aastate jooksul oma platvormidel vihakõne ohjeldamisel teinud "suurt edu" ja selle meeskond on saavutatu üle uhke. Samal ajal ütles Bhattacharyya: "Meie töö pole kunagi täielik ja me teame, et me ei pruugi kunagi takistada iga vaenu õhutava sisu ilmumist meie platvormidele."

Masendav reaalsus on see, et võrgus levivat vihakõnet ei lahendata tõenäoliselt kunagi probleemina. Vähemalt mitte ilma, et inimesed midagi muudaksid. Internet võib selle kahjuks võimendada teatud inimhääli ning kinnistada ja kodifitseerida teatud inimlikke eelarvamusi, kuid see on sellepärast, et inimkond on lihtsalt suur. Ükskõik, millised probleemid reaalses maailmas eksisteerivad, jõuavad teatud määral ka veebimaailma.

Sellegipoolest ei pea võrgus kuritahtliku käitumise mahasurumine olema reageeriv. See võib olla ka ennetav. Näiteks juhtis Digital Trendsiga vestelnud Twitteri pressiesindaja tähelepanu sellele, et kasutajatest, kelle kontod on reeglite rikkumise tõttu 12 tunniks keelatud, solvavad enamus uuesti. See viitab sellele, et võib ette tulla õpetatavaid hetki. Olenemata sellest, kas nad ärgitavad kasutajaid oma käitumist uuesti üle vaatama või lihtsalt takistavad neil reegleid rikkuval käitumisel, vähendab see platvormil häirivat reegleid rikkuvat käitumist.

Pressiesindaja ütles ka, et Twitter uurib nüüd tõukel põhinevat süsteemi. See annab enne kasutajatele säutsudes viipasid, hoiatades neid, et see, mida nad kavatsevad postitada, võib olla vastuolus Twitteri reeglitega. Selle põhjuseks võib olla konkreetne märksõna. Kui jagate artiklit, mida te pole Twitteri kaudu avanud, võib see ka hoiatuse pakkuda. Seda tõukesüsteemi testiti hiljuti väikese arvu kasutajatega. Kuigi prooviversioon on nüüdseks lõppenud, on võimalik, et see võidakse tulevikus kõigile kasutajatele funktsioonina kasutusele võtta.

Diskursuste tulevik Internetis

Sotsiaalmeedias leviva vihakõne ja muu solvava kõne küsimus muutub ainult aktuaalsemaks. Näiteks Prantsusmaal a seadus võeti vastu mais mis nõuab teatud kuritegeliku sisu eemaldamist sotsiaalmeediast tunni jooksul. Kui see nii ei ole, ootab kõnealuseid sotsiaalmeediaettevõtteid trahv kuni 4% nende ülemaailmsest tulust. Muu ilmselgelt ebaseaduslik sisu tuleb eemaldada 24 tunni jooksul. Justiitsminister Nicole Belloubet ütles Prantsuse parlamendile, et seadus aitab vähendada vihakõnet internetis.

Meile teadaolevalt ei ole Ameerika Ühendriikides sellist seadust tõsiselt välja pakutud. Kuid kuna sotsiaalmeedia muutub meie suhtlemise üha suuremaks ja mõjukamaks osaks, muutub mürgise käitumise mahasurumine üha olulisemaks. See ei ole probleem, mida saaksid lahendada ainult inimlikud moderaatorid. Kuid see on ka see, mida tehisintellekti kasutades tuleb teha ettevaatlikult – mitte ainult selleks, et tagada probleemi paremaks muutmine, vaid ka selleks, et tagada, et see ei muudaks seda hullemaks.

Sellest sõltub Interneti-diskursuse tulevik.

Toimetajate soovitused

• Kuidas A.I. lõi selle hämmastava spordisündmuse rullu, mille vaatamist ei saa lõpetada