Az emberek nem tudják megállítani az online gyűlöletbeszédet egyedül. Botok segítségére van szükségünk

Az internetnek problémái vannak a gyűlöletbeszéddel.

Látogasson el a YouTube bármelyik megjegyzés rovatába vagy keresse fel a közösségi médiát akár rövid ideig is, és nem lesz hiánya sértő, gyakran előítéletes megjegyzésekből. De hogyan oldja meg ezt a problémát? És ennek során hogyan kerülheti el, hogy véletlenül rosszabb legyen?

Ebben a hónapban két gyűlöletbeszédre vágyó A.I. Bejelentették az algoritmusokat: az egyiket az Egyesült Királyságban, a másikat az Egyesült Államokban hozták létre. Egy napon mindkettő használható lesz a közösségi médiát vagy az online világ más területeit átkutatja, és kiemeli a gyűlöletbeszédet vagy a sértő beszédet, hogy bejelenthető, törölhető vagy blokkolható legyen.

Az első, amelyet az Egyesült Királyság Exeteri Egyetem kutatói fejlesztettek ki, a Lola nevű eszköz amely a „természetes nyelvi feldolgozás és a viselkedéselmélet legújabb vívmányait” használja fel, hogy percenként üzenetek ezreit olvassa át a gyűlöletkeltő tartalom feltárására. "A pontosság szintje kiemelkedő a piacon lévő megoldásokhoz képest"

Dr. David Lopez, Lola egyik alkotója mondta a Digital Trendsnek.

A második, a munkája a Dél-Kaliforniai Egyetem kutatói, azt állítja, hogy képes valami hasonlóra. „Az általunk kifejlesztett algoritmus egy szövegosztályozó, amely figyelembe veszi a közösségi médiában megjelent bejegyzéseket – vagy esetleg más szöveget –, és előre jelzi, hogy a szöveg tartalmaz-e gyűlöletbeszédet vagy sem.” Brendan Kennedy, a számítástechnika Ph. D. diák, aki a projekten dolgozott, mondta a Digital Trendsnek.

Ez egy automatizálási feladat. Olyasmi

Ahhoz, hogy megértsük, miért szükséges automatizált megoldásokhoz fordulni ennek a legemberibb problémának a megoldásához, elengedhetetlen, hogy megértsük a közösségi média méretét. A nap minden másodpercében átlagosan 6000 tweet érkezik. Ez percenként 350 000 tweetnek, napi 500 millió tweetnek vagy évi 200 milliárd tweetnek felel meg. Tovább Facebook, körülbelül 35 millió ember frissíti állapotát naponta.

Ezek a számok még a jól felszerelt technológiai óriások számára is lehetetlenné teszik az emberi moderátorok számára, hogy maguk végezzék el a szükséges moderálást. Az ilyen döntéseket nagyon gyorsan kell meghozni, nem csak azért, hogy minden pillanatban naprakészek legyünk a keletkező új tartalommal, hanem azért is, hogy bizonyos üzeneteket ne lássanak sok felhasználó. A jól megtervezett algoritmusok az egyetlen gyakorlati módja ennek a probléma megoldásának.

A gépi tanulás segítségével – legalábbis elméletben – olyan eszközöket lehet kifejleszteni, amelyek kiképezhetők gyűlöletbeszéd vagy sértő beszéd felkutatására, így azok törölhetők vagy jelenthetők. De ez nem könnyű. A gyűlöletbeszéd tág és vitatott fogalom. Nehéznek bizonyul a jogi vagy akár informális definíciós kísérlet az emberek körében. A gyűlöletbeszéd néhány példája olyan egyértelmű lehet, hogy senki sem vitathatja őket. De más esetek finomabbak lehetnek; milyen típusú cselekvések minősülnek nagyobb valószínűséggel „mikroagressziónak”. Ahogy az Egyesült Államok Legfelsőbb Bíróságának bírója, Potter Stewart híresen mondta az obszcenitásról: „Tudom, amikor látom.”

„Sokféle gyűlöletbeszéd [és] sértő nyelvezet létezik” – mondta Kennedy a Digital Trendsnek. „Egyes gyűlöletbeszédet könnyű megjelölni – például a rágalmakat. De a legtöbb gyűlöletbeszéd retorikailag összetett, démonizáló és dehumanizáló metaforák, kulturálisan specifikus sztereotípiák és „kutyafüttyök” révén.”

A probléma rosszabbá tétele, nem pedig jobbítása

Korábbi gyűlöletbeszéd-vadászat A.I. Az eszközök hatástalannak bizonyultak, mert túlságosan tompa eszközök az előítéletek bonyolultabb online példáinak feltárásához. A rosszul megtervezett gyűlöletbeszéd-észlelő algoritmusok messze nem állítják meg a gyűlöletkeltő beszédet az interneten Valójában kimutatták, hogy felerősíti az olyan dolgokat, mint például a faji elfogultság azáltal, hogy blokkolja a kisebbségek által küldött nem sértő tweeteket csoportok. Ez olyan egyszerű dolog lehet, mint az a tény, hogy a gyűlöletbeszéd-osztályozók túlérzékenyek az olyan kifejezésekre, mint például „fekete”, „meleg” vagy „transznemű”, amelyek bizonyos esetekben nagyobb valószínűséggel társulnak gyűlöletkeltő tartalomhoz beállítások.

Akárcsak a Microsoft hírhedt Tay chatbotja, amely megtanulta rasszista viselkedés a felhasználókkal való érintkezés után, az eredeti közösségimédia-szövegadatokra képzett osztályozók erősen támaszkodhatnak bizonyos szavakra, miközben figyelmen kívül hagyják a környező kontextust, vagy nincsenek tudatában annak.

s

Az online üzenetek kontextusban történő jobb elemzésének képessége az, amit a két új A.I. felderítő rendszerek ígérik. Az Egyesült Királyság Lola rendszere azt állítja, hogy percenként 25 000 üzenetet képes elemezni, hogy akár 98%-os pontossággal észlelje a káros viselkedéseket – beleértve az internetes zaklatást, a gyűlöletet és az iszlamofóbiát. Ennek egy része az, hogy nem csak a kulcsszavakat keresi, hanem egy „érzelemészlelő motor” segítségével kidolgozza, milyen érzelmeket vált ki a szöveg – legyen szó szerelemről, haragról, félelemről, bizalomról vagy másokról.

Eközben a Dél-Kaliforniai Egyetem A.I. Az észlelési rendszer azt ígéri, hogy a tartalom mellett a kontextust is megvizsgálja.

„A kutatás kiindulópontja egy szabványos módszer, amely a szöveges tokenek sorozatait numerikussá kódolja. vektorok, amelyeket [akkor] a „gyűlölet” vagy a „nincs gyűlölet” osztálycímke valószínűségi kiadására használnak.” Brandon mondott. „Egy csapatunk tagjai által kifejlesztett „post-hoc magyarázat” algoritmus segítségével programoztuk a gyűlöletbeszédet osztályozók, hogy kisebb jelentőséget tulajdonítsanak a csoportazonosítóknak, és nagyobb jelentőséget adjon a csoportot körülvevő kontextusnak azonosítók.”

A rendszert a fehér felsőbbrendűséget hirdető Stormfront webhely cikkeinek és a New York Times semlegesebb riportjának elemzésével tesztelték. Alkotói azt állítják, hogy 90%-os pontossággal képes volt a gyűlöletet a nem gyűlöletkeltő tartalomtól elkülöníteni.

Háború két fronton

Nem csak független kutatók fejlesztenek azonban eszközöket a gyűlöletbeszéd kimutatására. A közösségi hálózatok is dolgoznak a probléma megoldásán.

„Most 10 millió darabot távolítunk el Gyűlöletbeszéd negyede” – mondta Amit Bhattacharyya, a Facebook közösségi integritási csoportjának termékmenedzsment-igazgatója a Digital Trendsnek. „Ennek körülbelül 90%-át azelőtt észlelték, hogy a felhasználók jelentették volna nekünk. Többet fektettünk be a potenciálisan jogsértő tartalmak proaktív felderítésébe – és egyre jobbak lettünk –, beleértve a gyűlöletbeszédet is.”

A Facebook észlelési technikái – magyarázta Bhattacharyya – olyan dolgokra összpontosítanak, mint a szöveg és kép egyeztetése, olyan képeket és azonos szövegsorokat keres, amelyeket már eltávolítottak gyűlöletbeszédként máshol a webhelyen felület. Gépi tanulási osztályozókat is használ, amelyek elemzik a nyelvet és más tartalomtípusokat. A Facebooknak további adatpontjai is vannak, mivel meg tudja nézni a bejegyzésekre adott reakciókat és megjegyzéseket, hogy megtudja, hogyan ezek szorosan illeszkednek a gyűlöletbeszédet sértő tartalmakban korábban tapasztalt gyakori kifejezésekhez, mintákhoz és támadásokhoz irányelveket.

A Twitter gépi tanulási eszközöket is használ a gyűlöletkeltő tartalmak visszaszorítására. Ezek egy része kulcsszóalapú, de a Twitter emellett elemzi a felhasználói viselkedést, hogy meghatározza, mennyire kényelmesek a felhasználók az interakciókban. Például azt a felhasználót, aki tweetet küld egy másik felhasználónak, és válaszolnak rá, majd követik, másképp nézik, mint azt, aki ismételten közvetlenül egy másik személynek tweetel, de figyelmen kívül hagyja vagy blokkolja. Ezek a viselkedési dinamikák segíthetnek felfedni a zaklatási mintákat vagy a nem kívánt célzott viselkedést, amelyet a Twitter felhasználhat a platformján zajló események tartalmának jobb megértésére.

A Twitter szóvivője azonban azt mondta a Digital Trendsnek, hogy a sértőként megjelölt üzeneteket manuálisan felülvizsgálják emberek által (gépi prioritási sorrendben) annak megállapítása érdekében, hogy helyesen azonosították-e őket ilyen.

Folyamatos kihívás

A Facebook Bhattacharyya elmondta, hogy a közösségi hálózat „nagy előrelépést” tett az évek során a platformjain megjelenő gyűlöletbeszéd visszaszorításában, és csapata büszke arra, amit elért. Ugyanakkor Bhattacharyya azt mondta: "Munkánk soha nem teljes, és tudjuk, hogy soha nem leszünk képesek megakadályozni, hogy minden gyűlöletkeltő tartalom megjelenjen a platformjainkon."

A lehangoló valóság az, hogy az online gyűlöletbeszéd valószínűleg soha nem fog megoldódni problémaként. Legalábbis anélkül, hogy az emberek nem változtatnának. Az internet a maga kárára felerősíthet bizonyos emberi hangokat, és beágyazhat és kodifikálhat bizonyos emberi előítéleteket, de ez azért van így, mert az emberiség csak hatalmasat ír. Bármilyen probléma is létezik a való világban, bizonyos mértékig eljut az online világba.

Ennek ellenére az online visszaélésszerű magatartás visszaszorításának nem kell reaktívnak lennie. Proaktív is lehet. Például a Twitter szóvivője, aki a Digital Trends-szel beszélgetett, rámutatott, hogy a szabálysértés miatt 12 órára letiltott fiókkal rendelkező felhasználók többsége ismét megsértődik. Ez arra utal, hogy előfordulhatnak tanítható pillanatok. Függetlenül attól, hogy valóban arra ösztönzik a felhasználókat, hogy vizsgálják felül viselkedésüket, vagy egyszerűen megakadályozzák a szabályokat sértő viselkedést, ez mégis csökkenti a felkavaró szabálysértő viselkedést a platformon.

A szóvivő azt is elmondta, hogy a Twitter most egy „bökkenő” alapú rendszert vizsgál. Ez figyelmeztetést fog adni, mielőtt a felhasználók tweetelni kezdenének, figyelmeztetve őket arra, hogy az általuk közzétett tartalmak sérthetik a Twitter szabályait. Ennek oka lehet egy adott kulcsszó. Ha olyan cikket oszt meg, amelyet nem nyitott meg a Twitteren, az figyelmeztetést is jelenthet. Ezt a bökkenőrendszert nemrégiben tesztelték kis számú felhasználóval. Bár a próbaverzió most véget ért, fennáll annak a lehetősége, hogy a jövőben minden felhasználó számára elérhetővé válik.

A diskurzus jövője az interneten

A gyűlöletbeszéd és más sértő beszéd kérdése a közösségi médiában csak egyre sürgetőbbé válik. Franciaországban például a törvényt májusban fogadták el amely bizonyos bűnügyi tartalmak egy órán belüli eltávolítását követeli meg a közösségi médiából. Ellenkező esetben a szóban forgó közösségimédia-cégeket a globális bevételük 4%-áig terjedő pénzbírsággal sújtják. A többi „nyilvánvalóan tiltott” tartalmat 24 órán belül el kell távolítani. Nicole Belloubet igazságügyi miniszter azt mondta a francia parlamentnek, hogy a törvény segít csökkenteni az online gyűlöletbeszédet.

Tudomásunk szerint egyetlen ilyen törvényt sem javasoltak komolyan az Egyesült Államokban. De ahogy a közösségi média egyre nagyobb és befolyásosabb részévé válik kommunikációnk során, a mérgező viselkedés visszaszorítása egyre fontosabbá válik. Ez nem olyan probléma, amelyet pusztán emberi moderátorok kezelhetnek. De ez az is, amit az A.I. használatával történő végrehajtáskor óvatosan kell végezni – nemcsak azért, hogy javítsa a problémát, hanem azért is, hogy garantálja, hogy ne rontsa tovább.

Az internetes diskurzus jövője attól függ.

Szerkesztői ajánlások

• Hogyan A.I. létrehozta azt a csodálatos sportcsúcsot, amelyet nem lehet abbahagyni