Модифікація LSTM мережі для виявлення мови ворожнечі в соціальних мережах

Abstract

Магістерська кваліфікаційна робота виконана студентом групи КНСШ-21 Андрієм Мруцем. Тема: «Модифікація LSTM мережі для виявлення мови ворожнечі в соціальних мережах». Робота направлена на здобуття ступеня магістра за спеціальністю “122 Комп’ютерні науки”. Об’єктом дослідження є процеси автоматизованої класифікації текстів із соціальних мереж. Предметом дослідження є методи та алгоритми адаптації нейронних мереж для виявлення мови ворожнечі. Досягнення мети відбувається за рахунок адаптації модифікованої архітектури LSTM для забезпечення високої точності та продуктивності в задачі виявлення ворожого контенту. Для апробації було використано різні обсяги даних, а також основні метрики якості моделі: точність, чутливість, f1-оцінка, та візуальний аналіз помилок. Порівняння обраної xLSTM модифікації з іншими популярними методами, такими як RNN, LSTM, GRU та BERT, підтвердило її переваги в адаптації до складних послідовностей тексту. У результаті виконання дипломної роботи адаптовано архітектуру xLSTM для виявлення мови ворожнечі. Реалізовано налаштування її гіперпараметрів із використанням платформи Optuna для оптимізації моделі, що дозволило досягти високої точності класифікації в умовах великих обсягів даних. У результаті виконання дипломної роботи адаптовано архітектуру xLSTM для виявлення мови ворожнечі. Поведено порівняння із базовими моделями: RNN, стандартна LSTM, GRU та сучасними трансформерами, такими як BERT. Ефективність моделей оцінювалася за метриками точності, повноти, f1-оцінки тощо. Результати підтвердили, що xLSTM перевершує базові моделі у задачах, де критично враховувати довгострокові залежності та контекст, що є ключовим для виявлення мови ворожнечі. Загальний обсяг роботи: 86 сторінок, 22 рисунки, 40 посиланнь. Master’s degree work of the student of the group KNSSH-21 Mturs Andrii Marianovych. The topic is " Modifying the LSTM Network to Detect Hate Speech in Social Media". The work is aimed at obtaining a master's degree in 122 "Computer Science". In today's world, where social media has become an integral part of our daily lives, hate speech has emerged as a significant issue with potentially severe consequences. It can serve as a tool for hostile information operations, fostering hatred and discrimination, violating human rights, and undermining social cohesion. It is crucial to note that not all statements perceived as offensive constitute hate speech. There exists a fine line between freedom of expression and the imperative to protect individuals from discrimination and violence. Consequently, the detection of hate speech is a complex task that requires a nuanced and methodologically rigorous approach. The aim of the work is to develop a modified LSTM network for detecting hate speech in social media, aiming to enhance detection accuracy compared to existing methods, identify various types of hate speech, and adapt to new forms as they emerge over time. To achieve this goal, the following tasks are necessary to solve: • Research of the subject area; • Analyzing existing approaches and algorithms; • Selecting an appropriate architecture and adapting the algorithm; • Training and evaluating the modified LSTM network; • Validating the proposed solution and demonstrating the system's performance. The object of this research is the process of detecting hate speech in social media. The subject of the study is the modification of LSTM networks for hate speech detection. The research methods involve mathematical modeling, as well as the design and adaptation of a modified LSTM architecture to enhance hate speech detection capabilities.