Ihmiset eivät voi pysäyttää vihapuhetta verkossa yksin. Tarvitsemme botteja auttamaan

Internetissä on vihapuheongelma.

Mene mihin tahansa YouTube-kommenttiosioon tai selaa sosiaalista mediaa edes lyhyeksi ajaksi, niin et löydä pulaa loukkaavista, usein ennakkoluuloisista kommenteista. Mutta kuinka ratkaiset tämän ongelman? Ja näin tehdessäsi, kuinka voit välttää pahentamasta tilannetta vahingossa?

Tässä kuussa kaksi vihapuhetta etsivää A.I. Algoritmit julkistettiin: Toinen luotiin Isossa-Britanniassa, toinen Yhdysvalloissa. Molempia voitaisiin jonain päivänä käyttää käydä läpi sosiaalista mediaa tai muita verkkomaailman alueita ja korostaa vihapuhetta tai loukkaavaa puhetta, jotta siitä voidaan ilmoittaa, poistaa tai estää.

Ensimmäinen, jonka ovat kehittäneet Ison-Britannian Exeterin yliopiston tutkijat, on a työkalu nimeltä Lola joka hyödyntää "luonnollisen kielen käsittelyn ja käyttäytymisteorian uusimpia edistysaskeleita" selatakseen tuhansia viestejä minuutissa vihamielisen sisällön paljastamiseksi. "Tarkkuustaso on erinomainen verrattuna markkinoilla oleviin ratkaisuihin"

Tohtori David Lopez, yksi Lolan tekijöistä, kertoi Digital Trendsille.

Toinen, työ Etelä-Kalifornian yliopiston tutkijat, väittää pystyvänsä johonkin vastaavaan. "Kehittämämme algoritmi on tekstin luokitin, joka ottaa sosiaalisen median viestit - tai mahdollisesti muuta tekstiä - ja ennustaa, sisältääkö teksti vihapuhetta vai ei." Brendan Kennedy, tietojenkäsittelytieteen tohtori opiskelija, joka työskenteli projektin parissa, kertoi Digital Trendsille.

Tämä on automaatiotyötä. Eräänlainen

Ymmärtääksemme, miksi tämän inhimillisimmän ongelman ratkaisemiseksi on turvauduttava automatisoituihin ratkaisuihin, on tärkeää ymmärtää sosiaalisen median laajuus. Joka sekunti päivässä lähetetään keskimäärin 6 000 twiittiä. Tämä vastaa 350 000 twiittiä minuutissa, 500 miljoonaa twiittiä päivässä tai 200 miljardia twiittiä vuodessa. Päällä Facebook, noin 35 miljoonaa ihmistä päivittää tilansa päivittäin.

Jopa hyvin miehitetyille teknologiajättiläisille nämä luvut tekevät ihmismoderaattorien mahdottomaksi tehdä tarvittavaa moderointia itse. Tällaisia ​​päätöksiä on tehtävä erittäin nopeasti, ei vain siksi, että pysyt ajan tasalla joka hetki syntyvästä uudesta sisällöstä, vaan myös siksi, että tietyt viestit eivät näe suuret käyttäjämäärät. Hyvin suunnitellut algoritmit ovat ainoa käytännöllinen tapa ratkaista tämä ongelma.

Koneoppimisen avulla on mahdollista – ainakin teoriassa – kehittää työkaluja, jotka voidaan kouluttaa etsimään vihapuhetta tai loukkaavaa puhetta, jotta se voidaan poistaa tai ilmoittaa. Mutta tämä ei ole helppoa. Vihapuhe on laaja ja kiistanalainen termi. Yritykset määritellä se laillisesti tai jopa epävirallisesti ihmisten keskuudessa osoittautuvat vaikeiksi. Jotkut esimerkit vihapuheesta voivat olla niin selkeitä, että kukaan ei voi kiistää niitä. Mutta muut tapaukset voivat olla hienovaraisempia; minkä tyyppiset toimet todennäköisemmin luokitellaan "mikroaggressioiksi". Kuten Yhdysvaltain korkeimman oikeuden tuomari Potter Stewart kuuluisasti sanoi siveettömyydestä: "Tiedän sen, kun näen sen."

"On olemassa monenlaista vihapuhetta [ja] loukkaavaa kieltä", Kennedy sanoi Digital Trendsille. ”Jotkin vihapuheet on helppo ilmoittaa – esimerkiksi herjaukset. Mutta useimmat vihapuheet ovat retorisesti monimutkaisia, demonisoivia ja dehumanisoivia metaforien, kulttuurispesifisten stereotypioiden ja "koirien pillien" kautta."

Pahentaa ongelmaa, ei parempaa

Edellinen vihapuheen metsästys A.I. työkalut ovat osoittautuneet tehottomiksi, koska ne ovat liian tylsiä välineitä paljastamaan monimutkaisempia esimerkkejä ennakkoluuloista verkossa. Huonosti suunnitellut vihapuheen havaitsemisalgoritmit eivät suinkaan estä vihapuhetta verkossa itse asiassa on osoitettu vahvistavan asioita, kuten rotuvihaa estämällä vähemmistön lähettämät ei-loukkaavat twiitit ryhmiä. Se voi olla jotain niinkin yksinkertaista kuin se, että vihapuheen luokittelijat ovat liian herkkiä sellaisille termeille kuin "Musta", "homo" tai "transsukupuolinen", joka saattaa liittyä todennäköisemmin vihamieliseen sisältöön joissakin asetukset.

Aivan kuten Microsoftin surullisen kuuluisa Tay-chatbot, joka oppi rasistinen käyttäytyminen käyttäjien kanssa vuorovaikutuksen jälkeen, luokittelijat, jotka on koulutettu alkuperäiseen sosiaalisen median tekstidataan, voivat päätyä tukeutumaan voimakkaasti tiettyihin sanoihin jättäen huomiotta tai olematta tietoisia ympäröivästä kontekstista.

s

Kyky analysoida verkkoviestejä paremmin kontekstissa on se, mitä kaksi uutta A.I. ilmaisinjärjestelmät lupaavat. Ison-Britannian Lola-järjestelmä väittää pystyvänsä analysoimaan 25 000 viestiä minuutissa haitallisen käytöksen havaitsemiseksi – mukaan lukien verkkokiusaamisen, vihan ja islamofobian – jopa 98 prosentin tarkkuudella. Osa tästä ei ole pelkästään avainsanojen tarkasteleminen, vaan "tunteentunnistusmoottorin" avulla selvitetään, mitä tunteita teksti herättää – olipa kyseessä rakkaus, viha, pelko, luottamus tai muut.

Samaan aikaan Etelä-Kalifornian yliopisto A.I. tunnistusjärjestelmä lupaa tarkastella kontekstia ja sisältöä.

”Lähtökohtamme tässä tutkimuksessa on standardimenetelmä, joka koodaa tekstikenttien sekvenssit numeerisiksi vektoreita, joita [sitten] käytetään tuottamaan todennäköisyydellä luokkatunniste "viha" tai "ei vihaa", Brandon sanoi. "Ohjelmoimme vihapuhetta käyttämällä "post-hoc-selitys"-algoritmia, jonka tiimimme jäsenet ovat kehittäneet. luokittimet antamaan vähemmän merkitystä ryhmätunnisteille ja enemmän merkitystä ryhmää ympäröivälle kontekstille tunnisteet."

Järjestelmää testattiin analysoimalla valkoisten ylivaltaa kannattavan Stormfront-sivuston artikkeleita ja New York Timesin neutraalimpaa raporttia. Sen luojat väittävät, että se pystyi lajittelemaan vihan ei-vihasisällöstä 90 prosentin tarkkuudella.

Sota kahdella rintamalla

Riippumattomat tutkijat eivät kuitenkaan ole kehittämässä työkaluja vihapuheen havaitsemiseen. Myös sosiaaliset verkostot pyrkivät ratkaisemaan tämän ongelman.

"Poistamme nyt 10 miljoonaa kappaletta vihapuhetta neljäsosa”, Facebookin yhteisön eheysryhmän tuotehallinnan johtaja Amit Bhattacharyya kertoi Digital Trendsille. "Tästä noin 90 % havaittiin ennen kuin käyttäjät ilmoittivat siitä meille. Olemme investoineet enemmän – ja kehittyneet paremmin – mahdollisesti loukkaavan sisällön, mukaan lukien vihapuheen, ennakoivaan havaitsemiseen.

Facebookin tunnistustekniikat, Bhattacharyya selitti, keskittyvät asioihin, kuten tekstin ja kuvan yhteensovittamiseen, jossa se etsii kuvia ja identtisiä tekstijonoja, jotka on jo poistettu vihapuheena muualta alusta. Se käyttää myös koneoppimisluokittajia, jotka analysoivat kieltä ja muita sisältötyyppejä. Facebookilla on myös lisätietopisteitä, koska se voi katsoa julkaisun reaktioita ja kommentteja nähdäkseen kuinka nämä vastaavat tarkasti yleisiä lauseita, malleja ja hyökkäyksiä, joita on aiemmin nähty vihapuhetta loukkaavassa sisällössä politiikkaa.

Twitter käyttää myös koneoppimistyökaluja vihamielisen sisällön torjuntaan. Osa tästä on avainsanapohjaista, mutta Twitter analysoi lisäksi käyttäjien käyttäytymistä yrittääkseen määrittää, kuinka mukavat käyttäjät ovat vuorovaikutuksessa. Esimerkiksi käyttäjää, joka twiittaa toiselle käyttäjälle ja jolle vastataan ja jota sitten seurataan, nähdään eri tavalla kuin käyttäjää, joka twiittaa suoraan toiselle henkilölle toistuvasti, mutta hänet jätetään huomiotta tai estetään. Tämä käyttäytymisdynamiikka voi auttaa paljastamaan häirinnän tai ei-toivotun kohdistetun käytöksen malleja, joita Twitter voi sitten käyttää ymmärtääkseen paremmin alustallaan tapahtuvan sisällön.

Twitterin tiedottaja kertoi kuitenkin Digital Trendsille, että loukkaaviksi merkityt viestit tarkistetaan manuaalisesti ihmiset (koneen priorisoimassa järjestyksessä) sen määrittämiseksi, että ne on tunnistettu oikein sellaisia.

Jatkuva haaste

Facebookin Bhattacharyya sanoi, että sosiaalinen verkosto on edistynyt vuosien aikana "suuria edistystä" vihapuheen hillitsemisessä alustoillaan ja että sen tiimi on ylpeä saavutuksistaan. Samaan aikaan Bhattacharyya sanoi: "Työmme ei ole koskaan valmis ja tiedämme, että emme ehkä koskaan pysty estämään kaikkia vihamielistä sisältöä näkymästä alustoillemme."

Masentava todellisuus on, että vihapuhe verkossa ei todennäköisesti koskaan ratkea ongelmana. Ei ainakaan ilman, että ihmiset tekevät muutoksia. Internet saattaa vahingoksi vahvistaa tiettyjä ihmisääniä ja upottaa ja kodifioida tiettyjä inhimillisiä ennakkoluuloja, mutta se johtuu siitä, että ihmiskunta on vain laajaa. Mitä tahansa todellisessa maailmassa esiintyykin, ne tulevat jossain määrin tiensä verkkomaailmaan.

Verkkokäyttäytymisen torjunnan ei kuitenkaan tarvitse olla reaktiivista. Se voi olla myös ennakoivaa. Esimerkiksi Digital Trendsin kanssa keskustellut Twitterin tiedottaja huomautti, että enemmistö niistä käyttäjistä, joiden tilit on estetty 12 tunniksi sääntörikkomusten vuoksi, loukkaa jälleen. Tämä viittaa siihen, että opetettavia hetkiä voi esiintyä. Kehottavatpa ne aidosti käyttäjiä tarkistamaan käyttäytymistään tai yksinkertaisesti estävät heitä käyttäytymästä sääntöjä rikkovalla tavalla, se kuitenkin vähentää järkyttävää sääntöjä rikkovaa käyttäytymistä alustalla.

Tiedottaja sanoi myös, että Twitter tutkii nyt "töksähtelyyn" perustuvaa järjestelmää. Tämä tarjoaa kehotteita ennen kuin käyttäjät twiittaavat ja varoittavat heitä siitä, että heidän julkaisemansa tiedot voivat olla Twitterin sääntöjen vastaisia. Tämä voi johtua tietystä avainsanasta. Kun jaat artikkelin, jota et ole avannut Twitterin kautta, se saattaa myös tarjota varoituksen. Tätä tönäistysjärjestelmää testattiin äskettäin pienellä määrällä käyttäjiä. Vaikka kokeilu on nyt päättynyt, on mahdollista, että se voidaan ottaa käyttöön ominaisuutena kaikille käyttäjille tulevaisuudessa.

Internetin keskustelun tulevaisuus

Kysymys vihapuheesta ja muusta loukkaavasta puheesta sosiaalisessa mediassa on vain lisääntymässä. Esimerkiksi Ranskassa a laki hyväksyttiin toukokuussa joka vaatii tietyn rikollisen sisällön poistamista sosiaalisessa mediassa tunnin sisällä. Jos näin ei ole, kyseiset sosiaalisen median yritykset saavat sakon, joka on jopa 4 prosenttia niiden maailmanlaajuisista tuloista. Muu "ilmeisen laiton" sisältö on poistettava 24 tunnin kuluessa. Oikeusministeri Nicole Belloubet kertoi Ranskan parlamentille, että laki auttaisi vähentämään vihapuhetta verkossa.

Yhtään tällaista lakia ei tietojemme mukaan ole vakavasti ehdotettu Yhdysvalloissa. Mutta kun sosiaalisesta mediasta tulee yhä suurempi ja vaikutusvaltaisempi osa kommunikointiamme, myrkyllisen käyttäytymisen hillitsemisestä tulee yhä tärkeämpää. Tämä ei ole ongelma, jota pelkät ihmismoderaattorit voivat ratkaista. Mutta se on myös yksi asia, joka on tehtävä huolellisesti, kun se suoritetaan A.I: n avulla – ei vain sen varmistamiseksi, että se parantaa ongelmaa, vaan myös sen varmistamiseksi, että se ei pahenna sitä.

Internetin keskustelun tulevaisuus riippuu siitä.

Toimittajien suositukset

• Kuinka A.I. loi upean urheilun kohokohtakelan, jota et voi lopettaa katsomasta