Використання наївного Байєсівського класифікатора для фільтрування спаму

Abstract

Бакалаврська кваліфікаційна робота виконана студентом групи КН-413 Чорним Святославом Олеговичем. Тема “Застосування наївного Байєсівського класифікатора для фільтрації спаму”. Робота направлена на здобуття ступеня бакалавра за спеціальністю 122 “Комп’ютерні науки”. Дана дипломна робота присвячена розробці системи фільтрації водянистості[1] тексту з використанням наївного Байєсівського класифікатора. У даній роботі досліджувалась проблема водянистості тексту та шляхи її вирішення. Було описано процес збору та підготовки даних для дослідження. Зроблено детальний опис наївного Байєсівського класифікатора. Для того щоб оцінити ефективність, використано метрики точності відношення до неправильних класифікацій та матрицю помилок. Водянистий текст – це текст, у якому відсоток води вищий за мінімальний поріг, який необхідний для комфортного сприйняття тексту. Вода у тексті – це співвідношення кількості незначних слів до кількості слів цілого документа, що виражене у відсотках. Для даної роботи використано мову програмування Python та бібліотеки для роботи з текстовими даними. В результаті дослідження стало зрозуміло, що наївний Байєсівський класифікатор є задовільним методом для класифікації даних. The bachelor's qualification work was completed by a student of group CS-413 Chornyi Svyatoslav Olegovich. Topic "Application of naive Bayesian classifier for spam filtering". The work is aimed at obtaining a bachelor's degree in the specialty 122 "Computer Science". This thesis is devoted to the development of a system for filtering text wateriness[1] using a naive Bayesian classifier. In this work, the problem of wateriness of the text and ways to solve it were investigated. The process of data collection and preparation for the study was described. A detailed description of the naive Bayesian classifier is made. In order to evaluate the efficiency, the accuracy metrics of the relation to incorrect classifications and the error matrix were used.