Дослідження SLO-орієнтованої системи адаптивної маршрутизації та масштабування у хмарній інфраструктурі

Abstract

У роботі досліджено підходи до побудови SLO-орієнтованої хмарної інфраструктури з використанням адаптивної маршрутизації, прогнозного масштабування та моделей машинного навчання для попередження порушень цільових показників якості [1-3]. Актуальність теми зумовлена зростанням залежності інформаційних систем від безперебійної роботи та необхідністю забезпечення стабільності у середовищах з динамічним навантаженням. Ураховуючи швидке поширення SRE-практик та хмарних сервісів, зростає потреба у створенні інтегрованої методології, яка дозволяє не реагувати на інциденти, а запобігати їм на основі даних та прогнозів [4-6]. Перший розділ присвячений аналізу основних концепцій, що лежать в основі SLO-орієнтованого підходу, включаючи визначення SLO, SLI та SLA, їх роль у забезпеченні надійності та стабільності сервісів, а також їх застосування у мікросервісних і хмарних архітектурах. У цьому розділі розглянуто еволюцію методів масштабування і проблематику реактивних підходів, а також потребу у використанні проактивних моделей, здатних прогнозувати ризики порушення SLO. Проаналізовано сучасні виклики та проблеми, які виникають під час управління високонавантаженими системами, та визначено теоретичну основу для побудови архітектури майбутнього прототипу.

Другий розділ містить детальний аналіз архітектурних складових SLO- орієнтованої інфраструктури. У ньому розглянуто логіку роботи балансувальників

навантаження, структуру обчислювальних компонентів на основі ECS Fargate та EC2, а також механізми масштабування та маршрутизації. Значну увагу приділено взаємодії між компонентами системи та забезпеченні швидкої реакції на потенційний інцидент, а також описано побудову багаторівневої архітектури, здатної підтримувати прогнозне масштабування. Окремо висвітлено роль моніторингу як центрального джерела даних для прогнозної моделі. У третьому розділі проведено аналіз інструментів, необхідних для впровадження SLO-орієнтованого підходу в хмарному середовищі. Розглянуто сервіси AWS, які забезпечують обчислення, маршрутизацію, масштабування та зберігання даних, а також системи моніторингу – Prometheus, Grafana та CloudWatch. Значну увагу приділено DevOps-практикам, зокрема використанню Terraform для інфраструктури як коду та Docker для контейнеризації. У цьому розділі обґрунтовано вибір інструментів і показано їхню взаємодію у межах єдиної керованої екосистеми. Четвертий розділ присвячений практичній реалізації експериментальної підсистеми у середовищі AWS. У ньому детально описано побудову прототипу, який включає ECS Fargate, Application Load Balancer, EC2, підсистеми моніторингу, Lambda-функції для прогнозування та S3 для довгострокового зберігання даних. Показано, як реалізується цикл «дані, прогноз, масштабування, маршрутизація» та наведено результати експериментів із тестовим навантаженням. За допомогою отриманих метрик оцінено ефективність системи та її здатність попереджати порушення SLO.

У висновку узагальнено результати дослідження та підтверджено ефективність SLO-орієнтованого підходу, який поєднує прогнозування, адаптивну маршрутизацію та багаторівневе масштабування. Показано, що використання моделей машинного навчання підвищує стабільність системи та дає змогу зменшити кількість інцидентів, пов’язаних з перевищенням затримки та недостатньою кількістю ресурсів. Отримані результати доводять, що даний підхід може бути застосований в сучасних хмарній інфраструктурі для підвищення надійності сервісів та оптимізації витрат.

This thesis explores the design and implementation of an SLO-oriented cloud infrastructure that integrates adaptive traffic routing, predictive autoscaling, and machine learning models to prevent service degradation and maintain target quality indicators [1-3]. The relevance of the topic stems from the increasing dependence of modern information systems on the continuous operation of microservices and the growing need to ensure system stability under dynamic or unpredictable workloads. As SRE practices and elastic cloud environments continue to evolve, there is a strong demand for an integrated methodology capable of preventing incidents proactively rather than reacting to them after the fact [4-6]. The first chapter provides a theoretical overview of the fundamental concepts underlying SLO-driven system design. It examines the definitions and roles of SLO, SLI, and SLA in ensuring service reliability, and analyzes how these concepts are applied in cloud-native and microservice architectures. The chapter also discusses the limitations of reactive autoscaling and highlights the necessity of predictive models capable of identifying SLO violation risks ahead of time. This section forms the conceptual basis for the system architecture developed later in the thesis. The second chapter presents a comprehensive analysis of the architectural components required for an SLO-driven cloud system. It describes the operational logic of load balancers, the structure of computing resources based on ECS Fargate and EC2, and the mechanisms that enable dynamic autoscaling and adaptive routing. The interaction between components is examined in detail, emphasizing on how to ensure in rapid system response on potential incidents. The chapter also underscores the critical role of monitoring as the primary sources of data for machine learning–based forecasting. The third chapter analyzes the tools necessary to implement the proposed approach in a real cloud environment. It evaluates AWS services responsible for computation, routing, scaling, monitoring, and data storage, and examines monitoring tools such as Prometheus, Grafana, and Amazon CloudWatch. Special attention is devoted to DevOps practices and infrastructure automation tools, emphasizing the role of Terraform as an IaC solution, Docker as a standard containerization tool. The analysis demonstrates how these tools collectively form a coherent and controlled ecosystem suitable for SLO-driven infrastructures. The fourth chapter focuses on the practical development and deployment of an experimental subsystem in AWS. It details the implementation of a fully functional prototype built on ECS Fargate, Application Load Balancer, EC2, Prometheus-based monitoring, CloudWatch metrics, forecasting Lambda functions, and S3-based long-term data storage. The chapter demonstrates how the pipeline “monitoring, forecasting, autoscaling, traffic routing” is realized in practice, and includes results from performance experiments conducted under various load scenarios. These results provide insight into the system’s ability to anticipate and prevent SLO violations. In conclusion, the thesis synthesizes the obtained results and confirms the effectiveness of the proposed SLO-driven architecture, which combines predictive analytics, adaptive routing, and multi-level autoscaling in a single cohesive framework. The research shows that ML-based forecasting significantly enhances system stability and reduces the number of latency-related incidents. The findings can be applied in modern cloud environments to improve service reliability, optimize resource consumption, and enhance the overall user experience.