Інтегровані підходи до автоматизації, моніторингу та оптимізації продуктивності високонавантажених баз даних

Abstract

Бакалаврська кваліфікаційна робота присвячена дослідженню та реалізації самовідновлювальної системи (СВС) для автоматизованого моніторингу та оптимізації продуктивності бази даних у середовищі Microsoft SQL Server [1]. У першому розділі здійснено аналіз сучасних проблем продуктивності СУБД, а також розглянуто наявні підходи до їх вирішення. Наведено порівняння готових рішень, описано їх функціональність і обґрунтовано потребу в розробці індивідуально налаштованої, більш гнучкої системи. Визначено пріоритети розробки та ключові сценарії, які система повинна опрацьовувати. У другому розділі охарактеризовано предметну область, описано обрану базу даних, що імітує роботу з метеорологічними даними від пристроїв. Сформульовано вимоги до СВС, обґрунтовано вибір інструментів розробки, серед яких SQL Server Developer Edition, T-SQL [2], SQL Server Agent [3], Power BI [4]. Наведено схеми структури таблиць, що використовуються для збору метрик та зберіганні історичних даних. У третьому розділі розроблено вимоги до СВС та її логіки, зображено функціональну й структурну схему, описано алгоритми роботи окремих модулів - збережених процедур, завдань (jobs), планувальника SQL Agent, а також окремого модуля збору метрик. Реалізовано партиціювання великих таблиць та підготовлено систему до роботи в умовах високого навантаження. Використано інструменти Power BI, як засіб візуалізації та аналітики, з реалізацією інтерактивних інформаційних панелей. У четвертому розділі описано процес розгортання системи, налаштування SQL Server Agent, запуск завдань (job-ів) та підключення Power BI для візуалізації даних. Наведено базові інструкції для роботи адміністратора з СВС. СВС призначена для автоматичного виявлення та усунення проблем продуктивності SQL Server, ведення журналу подій та візуального аналізу БД. Об’єкт дослідження - високонавантажена база даних на платформі Microsoft SQL Server. Предмет дослідження - автоматизація моніторингу та самовідновлення СУБД. Мета дослідження: розробити інтегровану систему для самостійного виявлення та усунення типових проблем SQL Server без втручання адміністратора. Результати: реалізовано систему автоматичного моніторингу та самовідновлення бази даних, яка включає збережені процедури, завдання (jobs), збір метрик, журнал подій та звітність у Power BI. СВС автономна та дозволяє адміністратору аналізувати стан бази даних. Ключові слова - SQL SERVER, ПРОДУКТИВНІСТЬ, САМОВІДНОВЛЕННЯ, АВТОМАТИЗАЦІЯ, POWER BI, МЕТРИКИ, T-SQL.

The bachelor's thesis is devoted to the research and implementation of a self healing system (SHS) for automated monitoring and optimization of database performance in the Microsoft SQL Server environment [1]. The first section analyzes current DBMS performance problems and discusses existing approaches to solving them. A comparison of existing solutions is presented, their functionality is described, and the need to develop a customized, more flexible system is substantiated. The development priorities and key scenarios that the system should handle are identified. The second section characterizes the subject area, describes the selected database that simulates the work with meteorological data from devices. The requirements for the SHS are formulated, and the choice of development tools is substantiated, including SQL Server Developer Edition, T-SQL [2], SQL Server Agent [3], and Power BI [4]. Schemes of the structure of tables used for collecting metrics and storing historical data are presented. The third section develops the requirements for the SHS and its logic, shows the functional and structural diagram, describes the algorithms of individual modules - stored procedures, jobs, SQL Agent scheduler, and a separate module for collecting metrics. We implemented partitioning of large tables and prepared the system for operation under high load. Power BI tools were used as a visualization and analytics tool, with the implementation of interactive dashboards. Chapter 4 describes the process of deploying the system, configuring the SQL Server Agent, running jobs, and connecting Power BI for data visualization. It provides basic instructions for an administrator to work with the SHS. The SHS is designed to automatically detect and troubleshoot SQL Server performance problems, maintain an event log, and visually analyze the system status. The object of study is a high-load database on the Microsoft SQL Server platform. The subject of the study is the automation of monitoring and self-healing of DBMS. The purpose of the study: to develop an integrated system for self-detection and elimination of typical SQL Server problems without administrator intervention. Results: a system for automatic monitoring and self-healing of the database has been implemented, which includes stored procedures, jobs, metrics collection, event log, and Power BI reporting. The system is autonomous and allows the administrator to analyze the state of the database.