Засоби моніторингу роботи ІТ-інфраструктури на основі машинного навчання

Abstract

Метою магістерської кваліфікаційної роботи є розробка, впровадження та експериментальна оцінка інтелектуальної системи моніторингу ІТінфраструктури з використанням методів машинного навчання, зокрема алгоритму Isolation Forest. У рамках роботи було поставлено завдання побудувати систему, здатну виявляти аномалії в поведінці системних метрик. Реалізована система автоматично збирає метрики з фізичних або віртуальних серверів через SSH чи API, здійснює попередню обробку та нормалізацію даних, а також регулярно оновлює моделі для адаптації до змін у поведінці інфраструктури. Робота складається з чотирьох основних розділів. Перший розділ присвячений аналізу сучасного стану проблеми моніторингу ІТ-інфраструктури, огляду традиційних підходів й обґрунтуванню доцільності застосування методів машинного навчання. У другому розділі викладено теоретичні основи побудови систем виявлення аномалій, розглянуто математичну модель алгоритму Isolation Forest, описано методику оцінки якості та продуктивності. Третій розділ містить опис архітектури створеної системи, її функціональних компонентів, інтерфейсу користувача, а також реалізовані засоби збору, обробки та аналізу метрик. У четвертому розділі наведено результати практичного експерименту, що включає оцінку швидкості навчання, часу прийняття рішень, порівняння з іншими алгоритмами, а також обґрунтування вибору найефективнішого підходу. Проведене дослідження підтвердило ефективність алгоритму Isolation Forest для задач виявлення аномалій у динамічних потоках метрик. Система виявила здатність до масштабування, адаптації до змін у поведінці системи та високої точності в реальному часі. Практичне значення роботи полягає у створенні готового до впровадження рішення, яке може застосовуватися як у невеликих компаніях, так і в потужних корпораціях.

The purpose of the master's thesis is to develop, implement and experimentally evaluate an intelligent IT infrastructure monitoring system using machine learning methods, in particular the Isolation Forest algorithm. The task was to build a system capable of detecting anomalies in the behaviour of system metrics. The implemented system automatically collects metrics from physical or virtual servers via SSH or API, performs data pre-processing and normalisation, and regularly updates models to adapt to changes in infrastructure behaviour. The paper consists of four main sections. The first section analyses the current state of the art of IT infrastructure monitoring, reviews traditional approaches, and justifies the feasibility of applying machine learning methods. The second section outlines the theoretical foundations of building anomaly detection systems, discusses the mathematical model of the Isolation Forest algorithm, and describes the methodology for assessing quality and performance. The third section describes the architecture of the created system, its functional components, user interface, and the implemented tools for collecting, processing, and analysing metrics. The fourth section presents the results of a practical experiment, including an assessment of the learning rate, decision-making time, comparison with other algorithms, and a justification for choosing the most effective approach. The study has confirmed the effectiveness of the Isolation Forest algorithm for the task of detecting anomalies in dynamic metric streams. The system proved to be scalable, adaptable to changes in system behaviour, and highly accurate in real time. The practical significance of the work is to create a ready-to-implement solution that can be used in both small companies and large corporations. Key words: machine learning, monitoring system, anomaly detection The total volume of work is 77 pages.