Półrocznik Językoznawczy Tertium/ Tertium Linguistic Journal

Vol 8, No 2 (2023)

A Morpho-syntactic Analysis of Human-moderated Hate Speech Samples from Wykop.pl Web Service

Inez Okulska,Anna Kołos

Abstract

Dynamiczny wzrost treści generowanych przez użytkowników w sieci stanowi poważne wyzwanie w zakresie ochrony użytkowników Internetu przed narażeniem na obraźliwe materiały, takie jak cyberprzemoc i mowa nienawiści, i jednoczesnego ograniczania rozprzestrzeniania nieetycznych zachowań. Jednak projektowanie zautomatyzowanych modeli wykrywania obraźliwych treści pozostaje złożonym zadaniem, szczególnie w językach o ograniczonych publicznie dostępnych danych. W naszych badaniach współpracujemy z serwisem internetowym Wykop.pl w celu uczenia modelu przy użyciu rzeczywistych treści, które podlegały usunięciu w procesie moderacji. W niniejszym artykule skupiamy się na języku polskim i omawiamy pojęcie zbiorów danych i metod anotacji, a następnie przedstawiamy naszą analizę stylometryczną treści z serwisu Wykop.pl w celu zidentyfikowania struktur morfosyntaktycznych, które są powszechnie aplikowane w języku cyberprzemocy i mowie nienawiści. Dzięki naszym badaniom mamy nadzieję na wniesienie wkładu w toczącą się dyskusję na temat obraźliwego języka i mowy nienawiści w badaniach socjolingwistycznych, podkreślając potrzebę analizy treści generowanych przez użytkowników w sieci.

References

Adamczak-Krysztofowicz, Sylwia, Anna Szczepaniak-Kozak (2017) “A Disturbing View of Intercultural Communication: Findings of a Study into Hate Speech in Polish.” Linguistica Silesiana, 38; 285-310. https://doi.org/10.24425/linsi.2017.117055.

Adamczak-Krysztofowicz, Sylwia, Anna Szczepaniak-Kozak, Magdalena Jaszczyk (2016) “Hate Speech: an Attempt to Disperse Terminological Ambiguities.” Voci 13; 13–28.

Banko, Michele, Brendon MacKeen, Laurie Ray (2020) “A Unified Taxonomy of Harmful Content.” [In:] Seyi Akiwowo, Bertie Vidgen, Vinodkumar Prabhakaran, Zeerak Waseem (eds.) Proceedings of the Fourth Workshop on Online Abuse and Harms; 125–137. Retrieved from https://aclanthology.org/volumes/2020.alw-1/. Date: 11.02.2024.

Davidson, Thomas, Dana Warmsley, Michael Macy, Ingmar Weber (2017) “Automated Hate Speech Detection and the Problem of Offensive Language”. [In:] Yu-Ru Lin, Meeyoung Cha, Daniele Quercia (eds.) Proceedings of the Eleventh International AAAI Conference on Web and Social Media (ICWSM 2017). Palo Alto, California: AAAI Press; 512–515.

De Gibert, Ona, Naiara Perez, Aitor García-Pablos, Montse Cuadros (2018) “Hate Speech Dataset from a White Supremacy Forum”. [In:] Darja Fišer, Ruihong Huang, Vinodkumar Prabhakaran, Rob Voigt, Zeerak Waseem, Jacqueline Wernimont (eds.) Proceedings of the Second Workshop on Abusive Language Online (ALW2); 11–20. Retrieved from https://aclanthology.org/volumes/W18-51/ Date: 11.02.2024.

ElSherief, Mai, Vivek Kulkarni, Dana Nguyen, William Yang Wang, Elizabeth Belding (2018) “Hate Lingo: A Target-based Linguistic Analysis of Hate Speech in Social Media”. [In:] Proceedings of the International AAAI Conference on Web and Social Media. Vol. 12; 42-51. Retrieved from https://ojs.aaai.org/index.php/ICWSM/article/view/15041/14891 Date: 11.02.2024. https://doi.org/10.1609/icwsm.v12i1.15041

Fortuna, Paula, Sérgio Nunes (2018) “A Survey on Automatic Detection of Hate Speech in Text.” ACM Computing Surveys, 51(4); 85:1 – 85:30. https://doi.org/10.1145/3232676.

Guillén-Nieto, Victoria (2023) Hate Speech: Linguistic Perspectives. Berlin, Boston: De Gruyter Mouton.

Jaszczyk-Grzyb, Magdalena (2021) Mowa nienawiści ze względu na przynależność etniczną i narodową w komunikacji internetowej. Analiza porównawcza języka polskiego i niemieckiego. Poznań: Wydawnictwo Naukowe UAM.

MacAvaney, Sean, Hao-Ren Yao, Eugene Yang, Katina Russell, Nazli Goharian, Ophir Frieder (2019) “Hate Speech Detection: Challenges and Solutions.” PloS one, 14(8); e0221152. https://doi.org/10.1371/journal.pone.0221152.

Mostafazadeh Davani, Aida, Mohammad Atari, Brendan Kennedy, Morteza Dehghani (2023) “Hate Speech Classifiers Learn Normative Social Stereotypes.” Transactions of the Association for Computational Linguistics, 11; 300–319. https://doi.org/10.1162/tacl_a_00550

Okulska, Inez, Daria Stetsenko, Anna Kołos, Agnieszka Karlińska, Kinga Głąbińska & Adam Nowakowski (2023a) “StyloMetrix: An Open-Source Multilingual Tool for Representing Stylometric Vectors”. arXiv preprint arXiv:2309.12810.

Okulska, Inez, Kinga Głąbińska, Anna Kołos, Agnieszka Karlińska, Emilia Wiśnios, Adam Nowakowski, Paweł Ellerik, Andrzej Prałat (2023b) “BAN-PL: a Novel Polish Dataset of Banned Harmful and Offensive Content from Wykop.pl web service”, arXiv:2308.10592v2 [cs.CL]. https://doi.org/10.48550/arXiv.2308.10592

Packard, Grant, Jonah Berger, Reihane Boghrati (2023) “How Verb Tense Shapes Persuasion.” Journal of Consumer Research, 50(3); 645-660. https://doi.org/10.1093/jcr/ucad006

Pandey, Anjali (2004) “Constructing Otherness: A Linguistic Analysis of the Politics of Representation and Exclusion in Freshman Writing.” Issues in Applied Linguistics, 14(2); 153–184. https://doi.org/10.5070/l4142005075

Paz, Maria Antonia, Julio Montero-Díaz, Alicia Moreno-Delgado (2020) “Hate Speech: A Systematized Review.” Sage Open, 10(4). https://doi.org/10.1177/2158244020973022.

Ptaszynski, Michal, Agata Pieciukiewicz, Paweł Dybała (2019) “Results of the PolEval 2019 Shared Task 6: First Dataset and Open Shared Task for Automatic Cyberbullying Detection in Polish Twitter.” [In:] Maciej Ogrodniczuk, Łukasz Kobyliński (eds.) Proceedings of the PolEval 2019 Workshop. Warszawa: IPI PAN; 90–110.

Ross, Björn, Michael Rist, Guillermo Carbonell, Benjamin Cabrera, Nils Kurowsky, and Michael Wojatzki (2016) “Measuring the Reliability of Hate Speech Annotations: The Case of the European Refugee Crisis”. Bochumer Linguistische Arbeitsberichte (NLP4CMC III: 3rd Workshop on Natural Language Processing for Computer-Mediated Communication), 17: 6–9.

Rybak, Piotr, Robert Mroczkowski, Janusz Tracz, Ireneusz Gawlik (2020) „KLEJ: Comprehensive Benchmark for Polish Language Understanding.” [In:] Dan Jurafsky, Joyce Chai, Natalie Schluter, Joel Tetreault (eds.) Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics; 1191–1201. Retrieved from https://aclanthology.org/2020.acl-main.111/ Date: 11.02.2024 https://doi.org/10.18653/v1/2020.acl-main.111.

Sowiński, Rafał (2018) „Rola systemu tagów w serwisie Wykop.pl. Folksonomia czy memy?” Zeszyty Naukowe Państwowej Wyższej Szkoły Zawodowej im. Witelona w Legnicy, 3(28); 201–212.

Szmyd, Wojciech, Alicja Kotyla, Michał Zobniów Piotr Falkiewicz, Jakub Bartczuk, Artur Zygadło (2023) “TrelBERT: A Pre-trained Encoder for Polish Twitter.” [In:] Jakub Piskorski, Michał Marcińczuk, Preslav Nakov, Maciej Ogrodniczuk, Senja Pollak, Pavel Přibáň, Piotr Rybak, Josef Steinberger, Roman Yangarber (eds.) Proceedings of the 9th Workshop on Slavic Natural Language Processing 2023 (SlavicNLP 2023); 17–24. Retrieved from https://aclanthology.org/2023.bsnlp-1.3/ Date: 11.02.2024. https://doi.org/10.18653/v1/2023.bsnlp-1.3

Waseem Zeerak (2016) “Are You a Racist or Am I Seeing Things? Annotator Influence on Hate Speech Detection on Twitter” [In:] David Bamman, A. Seza Doğruöz, Jacob Eisenstein, Dirk Hovy, David Jurgens, Brendan O’Connor, Alice Oh, Oren Tsur, Svitlana Volkova (eds.) Proceedings of the First Workshop on NLP and Computational Social Science. Austin, Texas: Association for Computational Linguistics; 138–142.

Warner, William, Julia Hirschberg (2012) “Detecting Hate Speech on the World Wide Web” [In:] Sara Owsley Sood, Meenakshi Nagarajan, Michael Gamon (eds.) Proceedings of the 2012 Workshop on Language in Social Media (LSM 2012); 19–26. Retrieved from https://aclanthology.org/W12-2103/ Date: 11.02.2024.