Виявлення безпекових аномалій мережі з використанням систем штучного інтелекту

Abstract

Сучасні інформаційно-комунікаційні системи є основою діяльності більшості організацій, забезпечуючи ефективне функціонування внутрішніх процесів та надання послуг. З розвитком інформаційних технологій зростають як масштаби мереж, так і кількість потенційних загроз, пов’язаних із безпекою. Складність сучасних інформаційно-комунікаційних мереж у поєднанні з великою кількістю користувачів і зовнішніх підключень ускладнює традиційні методи моніторингу та аналізу аномальної активності. Тому виникає необхідність у застосуванні новітніх інструментів для виявлення безпекових аномалій, одним із найефективніших серед яких є штучний інтелект. Об’єктом дослідження є процес виявлення безпекових аномалій у мережі за допомогою технологій штучного інтелекту. Предмет дослідження включає методи та підходи до аналізу мережевого трафіку, які дозволяють автоматично виявляти аномальні дії в мережі. Мета роботи та завдання дослідження. Метою магістерської кваліфікаційної роботи є аналіз методів виявлення безпекових аномалій в інформаційно-комунікаційних мережах, що сприятиме підвищенню рівня захищеності інформаційної інфраструктури організацій. Для досягнення поставленої мети було визначено наступні завдання дослідження: 1. Здійснити аналіз основних загроз безпеці в інформаційно-комунікаційних мережах; 2. Дослідити традиційні методи виявлення аномалій, зокрема сигнатурні та евристичні підходи; 3. Проаналізувати нейронні мережі як інструмент для виявлення безпекових аномалій та перевірити ефективність залучення машинного навчання для виявлення кіберзагроз. 4. Експериментально перевірити ефективність методу залучення штучного інтелекту і машиного навчання для виявлення безпекових аномалій. Методи дослідження включають проведення аналізу наукової літератури з питань безпеки мереж та виявлення аномалій, а також експериментальні дослідження, що здійснюються на тестовому стенді з метою визначення оптимальних параметрів для виявлення безпекових аномалій у мережі. Наукова новизна дослідження полягає у розробці підходу до виявлення аномалій, що поєднує традиційні методи та інструменти штучного інтелекту, що дозволяє забезпечити підвищену ефективність у виявленні потенційних загроз. Практичне значення дослідження полягає у можливості застосування результатів для покращення моніторингу безпеки та створення системи, що автоматично аналізує поведінку мережі та своєчасно сигналізує про потенційні загрози. Випускна кваліфікаційна робота складається зі вступу, 5-ти розділів, висновку, списку використаних джерел та додатків. У першому розділі роботи розглянуто ключові підходи до виявлення аномалій у інформаційно-комунікаційних мережах. Важливою складовою сучасної кібербезпеки залишаються традиційні методи, такі як сигнатурні та евристичні системи. Сигнатурні методи працюють на основі вже відомих шаблонів атак, забезпечуючи високу точність і швидкість. Проте вони не здатні протидіяти новим загрозам, які ще не внесені до бази даних. Евристичні методи, в свою чергу, дозволяють виявляти відхилення в поведінці систем, що не обмежуються заздалегідь визначеними шаблонами, однак часто мають вищий рівень помилкових спрацьовувань, що може знижувати їхню ефективність [1]. Другий розділ присвячений ролі нейронних мереж у виявленні безпекових аномалій, зосереджуючись на їхньому потенціалі як інструменту для забезпечення кібербезпеки. Нейронні мережі стали невід’ємною частиною сучасних підходів до аналізу даних завдяки своїй здатності виявляти складні патерни та закономірності, що часто залишаються непоміченими традиційними методами. Вони можуть обробляти великі обсяги даних, що є критично важливим у контексті сучасних загроз, оскільки атаки стають дедалі більш складними і різноманітними. Нейронні мережі забезпечують можливість виявлення аномалій у реальному часі, що є важливим аспектом для систем кібербезпеки [2]. У ситуаціях, коли загроза може бути виявлена та нейтралізована на ранній стадії, нейронні моделі можуть значно знизити ризики і забезпечити захист інформаційних систем. Це особливо важливо в умовах постійних кібер-атак, коли кожна секунда може мати вирішальне значення. Завдяки своїй здатності аналізувати дані в режимі реального часу, нейронні мережі стають ключовим компонентом у системах моніторингу безпеки. У третьому розділі, розглянуто комплексні підходи до впровадження системи збору та аналізу журналів подій з метою підвищення рівня безпеки корпоративної інформаційно-комунікаційної мережі. Одним із ключових рішень було створення власного скрипту на Python для збору та парсингу журналів, що дозволяє уникнути залежності від сторонніх систем, таких як Elasticsearch або Loki, і забезпечити гнучкість у налаштуванні та адаптації системи до вимог організації [3]. Важливим аспектом впровадження є уніфікація процесу збору даних з різних джерел: систем Windows (Windows Event Log), Linux (systemd-journal), мережевих пристроїв (SNMP traps, Cisco log service), а також інших критичних компонентів мережевої інфраструктури. Це дозволяє забезпечити цілісність і достовірність зібраної інформації для подальшого аналізу [4]. На основі цих даних система штучного інтелекту буде здатна відповідати на важливі запити, зокрема щодо дій користувачів протягом робочого дня, їхньої взаємодії з корпоративними сервісами, а також автоматично виявляти нетипову поведінку, що може свідчити про потенційні загрози безпеці. У четвертому розділі комплексний підхід до інтеграції та неперервного навчання моделей машинного навчання, акцентуючи увагу на важливості збору та підготовки даних для навчання. Зібравши великий обсягів інформації з різних джерел, дозволило отримати детальну картину дій користувачів. Дані пройшли етапи попередньої обробки, де були видалені шуми, нормалізовані значення, а також створена відповідна структура для подальшого навчання моделей. Провевши навчання кількох моделей класифікації, включаючи Random Forest, SVM та Logistic Regression. Результати показали, що моделі можуть досягати високої точності у визначенні статусу дій користувачів. Аналіз різних алгоритмів дав змогу не лише оцінити їх ефективність, але й вибрати найбільш підходящі для специфічних завдань, пов'язаних із моніторингом та безпекою.Інтеграція цих моделей в платформу LAMA забезпечила зручний доступ до аналізу дій користувачів через веб-інтерфейс [5]. Використання RESTful API дозволило здійснювати запити до моделей класифікації та отримувати важливу інформацію про свою активність, завантаженість комутаторів та серверів у реальному часі. Система, що постійно навчається, здатна виявляти аномалії та незвичні патерни в поведінці користувачів, що сприяє покращенню інформаційної безпеки організації. Поєднуючи результати навчання моделей із платформою для аналізу даних, було створено ефективний інструмент для моніторингу та управління інформаційними потоками.

Modern information and communication systems are the basis of the activity of most organizations, ensuring the effective functioning of internal processes and the provision of services. With the development of information technologies, both the scale of networks and the number of potential security threats are growing. The complexity of modern information and communication networks combined with a large number of users and external connections complicates traditional methods of monitoring and analyzing anomalous activity. That why it is necessary to use the latest tools to detect security anomalies, one of the most effective of which is artificial intelligence. The object of research is the process of detecting security anomalies in the network using artificial intelligence technologies. The research subject includes methods and approaches to network traffic analysis that allow for automatic detection of anomalous activities in the network. The purpose of the work and research tasks. The purpose of the master's qualification work is the analysis of methods for detecting security anomalies in information and communication networks, which will contribute to increasing the level of security of the information infrastructure of organizations. To achieve the goal, the following research tasks were defined: 1. Analyze the main security threats in information and communication networks; 2. Investigate traditional methods of anomaly detection, including signature and heuristic approaches; 3. Analyze neural networks as a tool for security anomaly detection and test the effectiveness of machine learning engagement for cyber threat detection. 4. Experimentally check the effectiveness of the method of involving artificial intelligence and machine learning to detect security anomalies. Research methods include an analysis of scientific literature on network security and anomaly detection, as well as experimental research carried out on a test bench with the aim of determining the optimal parameters for detecting security anomalies in the network. The scientific novelty of the research consists in the development of an approach to anomaly detection that combines traditional methods and artificial intelligence tools, which allows for increased efficiency in detecting potential threats. The practical significance of the research lies in the possibility of applying the results to improve security monitoring and create a system that automatically analyzes network behavior and signals potential threats in time. The master's thesis consists of an introduction, 5 chapters, a conclusion, a list of used sources and appendices. The first section of the master's thesis discusses the key approaches to detecting anomalies in information and communication networks. Traditional methods such as signature and heuristic systems remain an important component of modern cyber security. Signature methods work on the basis of already known attack patterns, ensuring high accuracy and speed. However, they are not able to counter new threats that have not yet been entered into the database. Heuristic methods, in turn, allow detecting deviations in the behavior of systems that are not limited to predetermined patterns, but often have a higher level of false positives, which can reduce their effectiveness [1]. The second section focuses on the role of neural networks in security anomaly detection, focusing on their potential as a tool for cyber security. Neural networks have become an integral part of modern approaches to data analysis due to their ability to detect complex patterns and regularities that are often overlooked by traditional methods. They can process large volumes of data, which is critical in the context of today's threats, as attacks become increasingly complex and diverse. Neural networks provide the ability to detect anomalies in real time, which is an important aspect for cybersecurity systems [2]. In situations where a threat can be detected and neutralized at an early stage, neural models can significantly reduce risks and ensure protection of information systems. This is especially important in the face of constant cyber attacks, where every second can be crucial. Due to their ability to analyze data in real time, neural networks are becoming a key component in security monitoring systems. In the third section, complex approaches to the implementation of the system of collection and analysis of event logs are considered in order to increase the level of security of the corporate information and communication network. One of the key solutions was to create a custom Python script for collecting and parsing the logs, which avoids dependence on third-party systems such as Elasticsearch or Loki and provides flexibility in configuring and adapting the system to the organization's requirements [3]. An important aspect of the implementation is the unification of the data collection process from various sources: Windows systems (Windows Event Log), Linux (systemd-journal), network devices (SNMP traps, Cisco log service), as well as other critical components of the network infrastructure. This ensures the integrity and reliability of the collected information for further analysis [4]. Based on this data, the artificial intelligence system will be able to respond to important queries, in particular, about the actions of users during the working day, their interaction with corporate services, and also automatically detect atypical behavior that may indicate potential security threats. The fourth chapter takes a comprehensive approach to the integration and continuous training of machine learning models, emphasizing the importance of collecting and preparing data for training. Collecting a large amount of information from various sources made it possible to obtain a detailed picture of user actions. The data went through pre-processing steps, where noise was removed, values were normalized, and an appropriate structure was created for further training of models. Having trained several classification models including Random Forest, SVM and Logistic Regression. The results showed that the models can achieve high accuracy in determining the status of users' actions. The analysis of different algorithms made it possible not only to evaluate their effectiveness, but also to choose the most suitable ones for specific tasks related to monitoring and security. The integration of these models into the LAMA platform provided convenient access to the analysis of user actions through a web interface [5]. The use of RESTful API made it possible to make requests to classification models and receive important information about their activity, the load of switches and servers in real time. The system, which is constantly learning, is able to detect anomalies and unusual patterns in the behavior of users, which contributes to the improvement of the information security of the organization. By combining the results of model training with a data analysis platform, an effective tool for monitoring and managing information flows has been created.