Розпізнавання хейту в контенті та ідентифікація тролів в соціальних мережах

Abstract

Сучасні інформаційні системи відіграють ключову роль у забезпеченні циф-рової безпеки, зокрема в питаннях контролю за контентом у соціальних мережах. Однією з актуальних проблем є поширення мови ворожнечі, токсичних комента-рів і цілеспрямованого тролінгу, які створюють загрозу інформаційному середо-вищу та психологічному комфорту користувачів. У межах цієї кваліфікаційної роботи розроблено інформаційну систему, яка автоматизує процес виявлення по-дібних проявів за допомогою алгоритмів машинного навчання та поведінкового аналізу. Система реалізована у вигляді вебзастосунку з використанням фреймворку Flask (Python) та бази даних SQLite. Інтерфейс користувача дозволяє здійснити завантаження текстового контенту, автоматично класифікувати його за рівнем то-ксичності, визначити категорію (нейтральне, агресивне, провокативне), а також візуалізувати взаємодію між користувачами у вигляді графа. Особливістю систе-ми є наявність ролей — звичайного користувача та модератора, що дозволяє ке-рувати історією аналізів та здійснювати контроль вмісту. Програмне забезпечення протестовано на контрольному прикладі, що вклю-чав набір коментарів різного ступеня токсичності. Отримані результати підтвер-джують точність класифікації, зручність інтерфейсу та можливість масштабуван-ня. Система може бути використана для моніторингу публічних комунікацій, під-тримки цифрової гігієни, а також в освітніх чи наукових цілях. Об’єкт дослідження – процес комунікації в соціальних мережах. Предмет дослідження – інформаційна система для розпізнавання мови воро-жнечі та тролінгу. Мета дослідження – створення вебзастосунку для аналізу ворожого контенту і підтримки модерації.

Modern information systems play a key role in ensuring digital security, particularly in moderating content in social networks. One of the most pressing challenges is the spread of hate speech, toxic comments, and deliberate trolling, which threaten both online communities and users’ psychological well-being. This thesis presents the development of an information system that automates the detection of such content using machine learning and behavioral analysis. The system is implemented as a web application using the Flask (Python) framework and an SQLite database. The user interface allows uploading of textual content, automatic classification by toxicity level, assignment of category (neutral, aggressive, provocative), and visualization of user interaction through a network graph. A distinctive feature of the system is the role-based access model, including regular users and moderators, which enables content control and history tracking. The software was tested on a sample dataset containing various degrees of toxic content. The results confirmed the classification accuracy, interface usability, and potential for scalability. The system can be used for monitoring public communication, promoting digital hygiene, and supporting educational or research objectives. Object of research – communication processes in social media. Subject of research – information system for hate speech and troll detection. Purpose of research – development of a web application for content analysis and moderation support.