Oamenii nu pot opri singuri discursurile instigatoare la ura online. Avem nevoie de roboți pentru a ajuta

Internetul are o problemă de discurs instigator la ură.

Accesați orice secțiune de comentarii YouTube sau accesați rețelele sociale chiar și pentru o perioadă scurtă de timp și nu veți găsi lipsă de comentarii jignitoare, frecvent prejudiciate. Dar cum rezolvi această problemă? Și, făcând acest lucru, cum eviți să agravezi accidental situația?

Luna aceasta, doi A.I. care caută discursuri instigatoare la ură. au fost anunțați algoritmi: unul creat în Regatul Unit, celălalt în S.U.A. Ambii ar putea fi utilizați într-o zi pentru a căuta în rețelele sociale sau în alte zone ale lumii online și pentru a evidenția discursul instigator la ură sau discursul jignitor, astfel încât să poată fi raportat, ștears sau blocat.

Primul, dezvoltat de cercetători de la Universitatea din Exeter din Marea Britanie, este un

instrument numit Lola care valorifică „cele mai recente progrese în procesarea limbajului natural și teoria comportamentală” pentru a scana prin mii de mesaje pe minut pentru a descoperi conținut de ură. „Nivelul de acuratețe este remarcabil în comparație cu soluțiile existente pe piață.” Dr. David Lopez, unul dintre creatorii Lolei, a declarat pentru Digital Trends.

Al doilea, opera lui cercetători de la Universitatea din California de Sud, pretinde că este capabil de ceva asemănător. „Algoritmul pe care l-am dezvoltat este un clasificator de text, care preia postări pe rețelele de socializare – sau eventual alt text – și prezice dacă textul conține sau nu discurs instigator la ură.” Brendan Kennedy, un doctorat în informatică. student care a lucrat la proiect, a spus Digital Trends.

Aceasta este o meserie pentru automatizare. Cam

Pentru a aprecia de ce este necesar să apelăm la soluții automate pentru a rezolva cea mai umană dintre probleme, este crucial să înțelegem amploarea rețelelor sociale. În fiecare secundă a zilei, sunt trimise în medie 6.000 de tweet-uri. Aceasta înseamnă 350.000 de tweet-uri pe minut, 500 de milioane de tweet-uri pe zi sau 200 de miliarde de tweet-uri pe an. Pe Facebook, aproximativ 35 de milioane de oameni își actualizează statutul zilnic.

Chiar și pentru giganții din tehnologie cu personal bine dotat, aceste cifre fac imposibil ca moderatorii umani să facă singuri moderarea necesară. Astfel de decizii trebuie luate foarte repede, nu doar pentru a rămâne la curent cu noul conținut generat în fiecare moment, ci și pentru ca anumite mesaje să nu fie văzute de un număr mare de utilizatori. Algoritmii bine proiectați sunt singura modalitate practică de a rezolva această problemă.

Folosind învățarea automată, este posibil – cel puțin în teorie – să se dezvolte instrumente care pot fi antrenate pentru a căuta discursurile instigatoare la ură sau discursurile jignitoare, astfel încât să poată fi șterse sau raportate. Dar acest lucru nu este ușor. Discursul instigator la ură este un termen larg și contestat. Încercările de a-l defini legal sau chiar informal în rândul oamenilor se dovedesc dificile. Unele exemple de discurs instigator la ură ar putea fi atât de clare încât nimeni nu le poate contesta. Dar alte cazuri pot fi mai subtile; tipul de acțiuni cel mai probabil să fie clasificate drept „micro-agresiuni”. După cum a spus celebrul judecător al Curții Supreme a Statelor Unite, Potter Stewart, despre obscenitate: „Știu asta când o văd”.

„Există multe tipuri de discurs instigator la ură [și] limbaj ofensator”, a spus Kennedy pentru Digital Trends. „Unele discursuri instigatoare sunt ușor de semnalat – de exemplu, insultele. Dar majoritatea discursurilor instigatoare la ură sunt complexe din punct de vedere retoric, demonizante și dezumanizante prin metafore, stereotipuri specifice culturale și „fluieruri de câine”.

Înrăutățirea problemei, nu mai bună

Vânătoarea anterioară de discurs instigator la ură A.I. instrumentele s-au dovedit ineficiente, deoarece sunt un instrument prea clar pentru a descoperi exemple mai complexe de prejudecăți online. Algoritmii prost proiectați de detectare a discursului instigator la ură, departe de a opri discursurile instigatoare la ură online, au s-a demonstrat că amplifică lucruri precum părtinirea rasială prin blocarea tweet-urilor neofensive trimise de minorități grupuri. Acesta ar putea fi ceva la fel de simplu ca faptul că clasificatorii de discurs instigator la ură sunt suprasensibili la termeni precum „Negru”, „gay” sau „transgender” care poate fi mai probabil asociat cu conținut instigator la ură în unele setări.

La fel ca infamul chatbot Tay al Microsoft, care a învățat comportament rasist după interacțiunea cu utilizatorii, clasificatorii care sunt instruiți pe datele text originale din rețelele sociale pot ajunge să se sprijine foarte mult pe anumite cuvinte, ignorând sau nu conștienți de contextul înconjurător.

s

Capacitatea de a analiza mai bine mesajele online în context este ceea ce cei doi noi I.A. sistemele de detectare promit. Sistemul Lola din Marea Britanie susține că poate analiza 25.000 de mesaje pe minut pentru a detecta comportamente dăunătoare – inclusiv hărțuirea cibernetică, ura și islamofobia – cu o acuratețe de până la 98%. O parte din aceasta constă nu doar asupra cuvintelor cheie, ci și prin utilizarea unui „motor de detectare a emoțiilor” pentru a afla ce emoții sunt provocate în text - indiferent dacă acestea sunt dragoste, furie, frică, încredere sau altele.

Între timp, Universitatea din California de Sud A.I. sistemul de detectare promite să se uite atât la context, cât și la conținut.

„Punctul nostru de plecare în această cercetare este o metodă standard, care codifică secvențe de jetoane text în numere. vectori, care sunt [atunci] folosiți pentru a scoate probabil eticheta de clasă „ura” sau „fără ură”,” Brandon a spus. „Folosind un algoritm de „explicație post-hoc” pe care membrii echipei noastre l-au dezvoltat, am programat discursul instigator la ură clasificatorii pentru a acorda mai puțină importanță identificatorilor de grup și mai multă importanță contextului din jurul grupului identificatori.”

Sistemul a fost testat prin analiza articolelor de pe site-ul web al supremației albe Stormfront și a reportajului mai neutru al New York Times. Creatorii săi susțin că a fost capabil să trimită ura de conținutul non-ura cu un nivel de precizie de 90%.

Un război pe două fronturi

Totuși, nu numai cercetătorii independenți dezvoltă instrumente pentru detectarea discursului instigator la ură. Rețelele sociale lucrează și ele pentru a rezolva această problemă.

„Înlăturăm acum 10 milioane de bucăți discurs de ură un sfert”, a declarat pentru Digital Trends Amit Bhattacharyya, director de management al produsului în grupul de integritate comunitară al Facebook. „Din acestea, aproximativ 90% au fost detectate înainte ca utilizatorii să ne raporteze acest lucru. Am investit mai mult în – și ne-am îmbunătățit – în detectarea proactivă a conținutului potențial care încalcă, inclusiv discursul instigator la ură.”

Tehnicile de detectare ale Facebook, a explicat Bhattacharyya, se concentrează pe lucruri precum potrivirea textului și a imaginilor, în care caută imagini și șiruri identice de text care au fost deja eliminate ca discurs instigator la ură în altă parte a platformă. De asemenea, utilizează clasificatoare de învățare automată care analizează limba și alte tipuri de conținut. Facebook are și puncte de date suplimentare, deoarece poate analiza reacțiile și comentariile la o postare pentru a vedea cum acestea se potrivesc îndeaproape cu expresiile, modelele și atacurile obișnuite văzute anterior în conținutul care încalcă discursul său instigator la ură politici.

Twitter folosește, de asemenea, instrumente de învățare automată pentru a combate conținutul instigator la ură. O parte din acestea se bazează pe cuvinte cheie, dar Twitter analizează suplimentar comportamentul utilizatorilor pentru a încerca să determine cât de confortabil sunt utilizatorii în interacțiuni. De exemplu, un utilizator care tweetează către un alt utilizator și i se răspunde și apoi este urmărit va fi văzut diferit față de cel care tweetează direct către o altă persoană în mod repetat, dar este ignorat sau blocat. Aceste dinamici comportamentale pot ajuta la dezvăluirea tiparelor de hărțuire sau a comportamentului țintit nedorit pe care Twitter le poate folosi apoi pentru a înțelege mai bine conținutul a ceea ce se întâmplă pe platforma sa.

Cu toate acestea, un purtător de cuvânt al Twitter a declarat pentru Digital Trends că mesajele marcate ca ofensatoare sunt revizuite manual de către oameni (într-o ordine prioritizată de mașină), astfel încât să se determine că au fost identificați corect ca astfel de.

O provocare continuă

Bhattacharyya de la Facebook a spus că rețeaua de socializare a făcut „progresuri mari” de-a lungul anilor în limitarea discursului instigator la ură pe platformele sale și că echipa sa este mândră de ceea ce a realizat. În același timp, Bhattacharyya a spus: „Munca noastră nu este niciodată completă și știm că s-ar putea să nu reușim niciodată să împiedicăm să apară pe platformele noastre fiecare conținut instigator la ură”.

Realitatea deprimantă este că discursul instigator la ură online nu va fi probabil niciodată rezolvat ca o problemă. Cel puțin, nu fără ca oamenii să facă o schimbare. Internetul ar putea, în detrimentul său, să amplifice anumite voci umane și să încorporeze și să codifice anumite prejudecăți umane, dar asta pentru că este doar umanitatea în general. Orice probleme există în lumea reală, într-o măsură, își vor face drum în lumea online.

Acestea fiind spuse, combaterea comportamentului abuziv online nu trebuie să fie reactivă. Poate fi și proactiv. De exemplu, purtătorul de cuvânt al Twitter care a discutat cu Digital Trends a subliniat că, dintre utilizatorii care au conturile interzise timp de 12 ore din cauza încălcărilor regulilor, majoritatea ofensează din nou. Acest lucru sugerează că pot apărea momente predabile. Indiferent dacă îi determină cu adevărat utilizatorilor să-și reexamineze comportamentul sau pur și simplu îi împiedică să se comporte într-un mod care încalcă regulile, aceasta reduce totuși comportamentul supărător de încălcare a regulilor pe platformă.

Purtătorul de cuvânt a mai spus că Twitter explorează acum un sistem bazat pe „nudge”. Acest lucru va oferi solicitări înainte ca utilizatorii să tweeteze, avertizându-i că ceea ce sunt pe cale să posteze ar putea încălca regulile Twitter. Acest lucru poate fi din cauza unui anumit cuvânt cheie. Când distribuiți un articol pe care nu l-ați deschis prin Twitter, acesta poate oferi și un avertisment. Acest sistem nudge a fost testat recent cu un număr mic de utilizatori. Deși încercarea s-a încheiat acum, există posibilitatea ca în viitor să fie lansată ca o funcție pentru toți utilizatorii.

Viitorul discursului pe internet

Problema discursului instigator la ură și a altor discursuri ofensatoare pe rețelele sociale urmează să devină mai presantă. În Franța, de exemplu, a legea a fost votată în mai care necesită eliminarea anumitor conținuturi criminale de pe rețelele sociale într-o oră. În caz contrar, companiile de social media în cauză se vor confrunta cu o amendă de până la 4% din veniturile lor globale. Alt conținut „vadit ilicit” trebuie eliminat în 24 de ore. Ministrul Justiției, Nicole Belloubet, a declarat Parlamentului francez că legea va contribui la reducerea discursului instigator la ură online.

Din câte știm, nicio lege nu a fost propusă serios în Statele Unite. Dar, pe măsură ce rețelele sociale devin o parte din ce în ce mai mare și mai influentă a modului în care comunicăm, combaterea comportamentului toxic va deveni din ce în ce mai importantă. Aceasta nu este o problemă care poate fi abordată doar de moderatori umani. Dar este și unul care, atunci când este întreprins folosind I.A., trebuie făcut cu atenție - nu doar pentru a se asigura că face problema mai bună, ci pentru a garanta că nu o înrăutățește.

De el depinde viitorul discursului pe internet.

Recomandările editorilor

• Cum A.I. a creat acea bobină uimitoare de momente sportive pe care nu te poți opri din vizionat