İnsanlar Çevrimiçi Nefret Söylemini Tek Başına Durduramaz. Yardım için Botlara İhtiyacımız Var

İnternette nefret söylemi sorunu var.

Herhangi bir YouTube yorum bölümüne gidin veya kısa bir süre için bile olsa sosyal medyayı tarayın; saldırgan, sıklıkla önyargılı yorumların eksik olmadığını göreceksiniz. Peki bu sorunu nasıl çözersiniz? Ve bunu yaparken kazara durumu daha da kötüleştirmekten nasıl kaçınırsınız?

Bu ay, nefret söylemi peşinde koşan iki A.I. algoritmalar açıklandı: Biri Birleşik Krallık'ta, diğeri ABD'de oluşturuldu. Her ikisi de bir gün kullanılabilir sosyal medyayı veya çevrimiçi dünyanın diğer alanlarını araştırmak ve nefret söylemini veya saldırgan söylemi öne çıkarmak, böylece bunların bildirilebilmesi, silinebilmesi veya engellenebilmesi.

İngiltere'nin Exeter Üniversitesi'nden araştırmacılar tarafından geliştirilen ilki, Lola adlı araç Nefret dolu içeriği ortaya çıkarmak için dakikada binlerce mesajı tarayarak "doğal dil işleme ve davranış teorisindeki en son gelişmelerden" yararlanıyor. “Piyasadaki mevcut çözümlerle karşılaştırıldığında doğruluk düzeyi olağanüstü”

Dr.David LopezLola'nın yaratıcılarından biri Digital Trends'e şunları söyledi:

İkincisi, eseri Güney Kaliforniya Üniversitesi'ndeki araştırmacılar, benzer bir şey yapabileceğini iddia ediyor. "Geliştirdiğimiz algoritma, sosyal medya gönderilerini veya potansiyel olarak başka metinleri alan ve metnin nefret söylemi içerip içermediğini tahmin eden bir metin sınıflandırıcıdır." Brendan Kennedy, bilgisayar bilimi doktorası. Projede çalışan öğrenci Digital Trends'e şunları söyledi:

Bu otomasyona yönelik bir iştir. Biraz

Bu en insani sorunları çözmek için otomatik çözümlere yönelmenin neden gerekli olduğunu anlamak için sosyal medyanın boyutunu anlamak çok önemlidir. Günün her saniyesinde ortalama 6.000 tweet gönderiliyor. Bu, dakikada 350.000 tweet'e, günde 500 milyon tweet'e veya yılda 200 milyar tweet'e denk geliyor. Açık FacebookHer gün yaklaşık 35 milyon kişi durumunu güncelliyor.

Kadrosu iyi olan teknoloji devleri için bile bu rakamlar, insan moderatörlerin gerekli denetimi kendi başlarına yapmalarını olanaksız hale getiriyor. Bu tür kararların çok hızlı bir şekilde alınması gerekiyor; sadece her an üretilen yeni içerikten haberdar olmak için değil, aynı zamanda belirli mesajların çok sayıda kullanıcı tarafından görülmemesi için de. İyi tasarlanmış algoritmalar bu sorunu çözmenin tek pratik yoludur.

Makine öğrenimini kullanarak, en azından teoride, nefret söylemini veya saldırgan söylemi tespit etmek ve bunların silinmesini veya bildirilmesini sağlamak üzere eğitilebilecek araçlar geliştirmek mümkündür. Ancak bu kolay değil. Nefret söylemi geniş ve tartışmalı bir terimdir. İnsanlar arasında onu yasal ve hatta gayri resmi olarak tanımlamaya çalışmak zor oluyor. Bazı nefret söylemi örnekleri o kadar net olabilir ki, hiç kimse onlara karşı çıkamaz. Ancak diğer durumlar daha incelikli olabilir; "mikro saldırılar" olarak sınıflandırılma olasılığı daha yüksek olan eylem türleri. Amerika Birleşik Devletleri Yüksek Mahkemesi Yargıcı Potter Stewart'ın müstehcenlik hakkında meşhur söylediği gibi: "Gördüğümde tanırım."

Kennedy, Digital Trends'e "Nefret söyleminin ve saldırgan dilin pek çok türü var" dedi. “Bazı nefret söylemlerini, örneğin hakaretleri işaretlemek kolaydır. Ancak çoğu nefret söylemi retorik olarak karmaşıktır; metafor, kültüre özgü stereotipler ve 'köpek ıslıkları' aracılığıyla şeytanlaştırıcı ve insanlıktan çıkarıcıdır.”

Sorunu iyileştirmek yerine daha da kötüleştirmek

Önceki nefret söylemi avcılığı yapan yapay zeka. Araçların etkisiz olduğu kanıtlandı çünkü çevrimiçi önyargının daha karmaşık örneklerini ortaya çıkaramayacak kadar kör bir araç. Kötü tasarlanmış nefret söylemi tespit algoritmaları, çevrimiçi nefret söylemini durdurmaktan çok uzaktır. aslında azınlık tarafından gönderilen saldırgan olmayan tweet'leri engelleyerek ırksal önyargı gibi şeyleri güçlendirdiği gösterilmiştir gruplar. Bu, nefret söylemi sınıflandırıcılarının aşağıdaki gibi terimlere aşırı duyarlı olması kadar basit bir şey olabilir Bazı ülkelerde nefret dolu içerikle ilişkilendirilme olasılığı daha yüksek olan "Siyah", "gay" veya "transseksüel" ayarlar.

Tıpkı Microsoft'un kötü şöhretli Tay chatbot'unun öğrendiği gibi kullanıcılarla etkileşim sonrasında ırkçı davranış, orijinal sosyal medya metin verileri üzerine eğitilmiş sınıflandırıcılar, kendilerini çevreleyen bağlamı göz ardı ederek veya farkında olmadan belirli kelimelere yoğun bir şekilde yaslanmaya başlayabilirler.

S

Çevrimiçi mesajları bağlam içinde daha iyi analiz etme yeteneği, iki yeni A.I. tespit sistemleri vaat ediyor. İngiltere'nin Lola sistemi, siber zorbalık, nefret ve İslamofobi dahil olmak üzere zararlı davranışları %98'e varan doğrulukla tespit etmek için dakikada 25.000 mesajı analiz edebildiğini iddia ediyor. Bunun bir kısmı sadece anahtar kelimelere bakmak değil, aynı zamanda bir "duygu tespit motoru" kullanarak metinde hangi duyguların ortaya çıktığını (bunun aşk mı, öfke mi, korku mu, güven mi yoksa diğerleri mi) olduğunu çözmektir.

Bu arada Güney Kaliforniya Üniversitesi A.I. tespit sistemi içeriğe olduğu kadar bağlama da bakmayı vaat ediyor.

"Bu araştırmadaki başlangıç ​​noktamız, metin belirteçlerinin dizilerini sayısal kodlara kodlayan standart bir yöntemdir. Brandon, [daha sonra] 'nefret' veya 'nefret yok' sınıf etiketini olasılıksal olarak çıkarmak için kullanılan vektörler" dedi. söz konusu. "Ekibimizin üyelerinin geliştirdiği 'post-hoc açıklama' algoritmasını kullanarak nefret söylemini programladık sınıflandırıcıların grup tanımlayıcılarına daha az önem vermesi ve grubu çevreleyen bağlama daha fazla önem vermesi tanımlayıcılar.”

Sistem, beyazların üstünlüğünü savunan Stormfront web sitesindeki makaleler ve New York Times'ın daha tarafsız röportajı analiz edilerek test edildi. Yaratıcıları, nefreti nefret olmayan içerikten %90'lık bir doğruluk düzeyiyle ayırabildiğini iddia ediyor.

İki cephede savaş

Ancak nefret söylemini tespit etmeye yönelik araçlar geliştirenler yalnızca bağımsız araştırmacılar değil. Sosyal ağlar da bu sorunu çözmek için çalışıyor.

“Şu anda 10 milyon parçayı kaldırıyoruz” Nefret söylemi Facebook'un topluluk bütünlüğü grubundaki ürün yönetimi direktörü Amit Bhattacharyya, Digital Trends'e şunları söyledi: "Bunların yaklaşık %90'ı kullanıcılar bize bildirmeden önce tespit edildi. Nefret söylemi de dahil olmak üzere potansiyel olarak ihlalde bulunan içerikleri proaktif olarak tespit etmeye daha fazla yatırım yaptık ve bu konuda daha iyiye gittik."

Bhattacharyya, Facebook'un tespit tekniklerinin metin ve görsel eşleştirme gibi şeylere odaklandığını açıkladı. Sitenin başka bir yerinde nefret söylemi olarak kaldırılmış görselleri ve aynı metin dizilerini arar platformu. Ayrıca dili ve diğer içerik türlerini analiz eden makine öğrenimi sınıflandırıcılarını da kullanır. Facebook'un ek veri noktaları da var, çünkü bir gönderiye verilen tepkilere ve yorumlara bakabiliyor ve bunun nasıl gerçekleştiğini görebiliyor. bunlar, daha önce nefret söylemini ihlal eden içeriklerde görülen yaygın ifadeler, kalıplar ve saldırılarla yakından eşleşiyor politikalar.

Twitter ayrıca nefret dolu içeriğe karşı önlem almak için makine öğrenimi araçlarını kullanıyor. Bunlardan bazıları anahtar kelimeye dayalıdır, ancak Twitter ayrıca kullanıcıların etkileşimlerde ne kadar rahat olduklarını belirlemek için kullanıcı davranışını da analiz eder. Örneğin, başka bir kullanıcıya tweet atan, yanıtlanan ve ardından takip edilen bir kullanıcı, doğrudan başka bir kişiye tekrar tekrar tweet atan ancak göz ardı edilen veya engellenen bir kullanıcıya göre farklı görülecektir. Bu davranış dinamikleri, Twitter'ın platformunda olup bitenlerin içeriğini daha iyi anlamak için kullanabileceği taciz kalıplarını veya istenmeyen hedefli davranışları ortaya çıkarmaya yardımcı olabilir.

Ancak bir Twitter sözcüsü Digital Trends'e saldırgan olarak işaretlenen mesajların manuel olarak incelendiğini söyledi doğru bir şekilde tanımlanıp tanımlanmadıklarını belirlemek için insanlar tarafından (makine öncelik sırasına göre) çok.

Devam eden bir meydan okuma

Facebook'tan Bhattacharyya, sosyal ağın platformlarında nefret söylemini önleme konusunda yıllar içinde "büyük ilerleme" kaydettiğini ve ekibinin başardıklarından gurur duyduğunu söyledi. Bhattacharyya aynı zamanda şunları söyledi: "Çalışmamız hiçbir zaman tamamlanmayacak ve her nefret dolu içeriğin platformlarımızda görünmesini hiçbir zaman engelleyemeyeceğimizi biliyoruz."

İç karartıcı gerçek şu ki, çevrimiçi nefret söylemi muhtemelen hiçbir zaman bir sorun olarak çözülmeyecek. En azından insanlar değişiklik yapmadan olmaz. İnternet, kendi zararına, belirli insan seslerini yükseltebilir ve belirli insan önyargılarını yerleştirip kodlayabilir, ancak bunun nedeni, bunun yalnızca insanlığın geniş kapsamlı bir şekilde yazılmasıdır. Gerçek dünyada var olan sorunlar bir dereceye kadar çevrimiçi dünyaya da yansıyacaktır.

Bununla birlikte, çevrimiçi taciz edici davranışlara karşı önlem almanın tepkisel olması gerekmiyor. Proaktif de olabilir. Örneğin Digital Trends'e konuşan Twitter sözcüsü, kural ihlali nedeniyle hesapları 12 saat süreyle yasaklanan kullanıcıların çoğunluğunun yeniden suç işlediğine dikkat çekti. Bu, öğretilebilir anların oluşabileceğini gösteriyor. Kullanıcıları davranışlarını yeniden incelemeye gerçekten teşvik etseler de, ya da sadece kuralları çiğneyecek şekilde davranmalarını durdursalar da, yine de platformda kuralları çiğneyen rahatsız edici davranışları azaltır.

Sözcü ayrıca Twitter'ın artık "dürtme" tabanlı bir sistem araştırdığını söyledi. Bu, kullanıcılara tweet atmadan önce uyarılar sunacak ve onları, yayınlayacaklarının Twitter kurallarına aykırı olabileceği konusunda uyaracak. Bunun nedeni belirli bir anahtar kelime olabilir. Açmadığınız bir yazıyı Twitter üzerinden paylaştığınızda uyarı da verebilir. Bu dürtme sistemi yakın zamanda az sayıda kullanıcıyla test edildi. Deneme şu anda sonuçlanmış olsa da, gelecekte tüm kullanıcılara bir özellik olarak sunulma ihtimali var.

İnternette söylemin geleceği

Nefret söylemi ve sosyal medyadaki diğer saldırgan söylemler sorunu giderek daha da acil hale geliyor. Örneğin Fransa'da bir yasa mayıs ayında kabul edildi Bu, belirli suç içeriğinin bir saat içinde sosyal medyadan kaldırılmasını gerektiriyor. Aksi takdirde söz konusu sosyal medya şirketleri küresel gelirlerinin yüzde 4'üne kadar para cezasıyla karşı karşıya kalacak. Diğer "açıkça yasa dışı" içeriklerin 24 saat içinde kaldırılması gerekir. Adalet Bakanı Nicole Belloubet, Fransız Parlamentosu'na, yasanın çevrimiçi nefret söyleminin azaltılmasına yardımcı olacağını söyledi.

Bildiğimiz kadarıyla Amerika Birleşik Devletleri'nde ciddi olarak böyle bir yasa teklif edilmedi. Ancak sosyal medya iletişim şeklimizin giderek daha büyük ve daha etkili bir parçası haline geldikçe, toksik davranışlara karşı mücadele giderek daha önemli hale gelecektir. Bu sadece insan moderatörlerin çözebileceği bir sorun değil. Ancak bu aynı zamanda yapay zeka kullanılarak üstlenildiğinde dikkatli bir şekilde yapılması gereken bir şeydir; yalnızca sorunu iyileştirdiğinden emin olmak için değil, aynı zamanda daha da kötüleştirmemesini garanti etmek için.

İnternetteki söylemin geleceği buna bağlı.

Editörlerin Önerileri

• Nasıl yapay zeka? İzlemeyi bırakamayacağınız o muhteşem spor vurguları makarasını yarattım