Розроблення та впровадження розподіленої обчислювальної системи для високопродуктивних обчислень

Abstract

Сучасні обчислювальні системи для високопродуктивних обчислень можна побудувати з недорогих споживчих компонентів, що надає широкі можливості для проведення досліджень, симуляцій та навчальних експериментів у звичайних академічних установах, без потреби у мільйонних інвестиціях. Побудова таких систем — актуальна задача як з практичної, так і з дослідницької точки зору, що дає змогу одночасно вивчити принципи паралельних обчислень, оптимізації архітектур, мережевої взаємодії та програмного забезпечення. Об’єктом дослідження у бакалаврській роботі є процеси організації розподілених обчислень у системах високопродуктивного класу (HPC). Предметом дослідження виступають інструменти та методи побудови кластерних систем, налаштування інфраструктури для запуску паралельних задач і оцінювання ефективності їх виконання. У роботі створено кластерну обчислювальну систему на основі бюджетного апаратного забезпечення. Проведено налаштування мережевої взаємодії, файлової системи, аутентифікації, планувальника задач (Slurm), бібліотек для паралельних обчислень (MPI, PETSc, FenicsX), а також інструментів моніторингу та профілювання (Prometheus, Grafana, perf). Реалізовано та протестовано низку задач: синтетичні тести продуктивності, чисельні алгоритми та приклади криптографічної обробки даних. Проведено аналіз масштабованості, впливу розподілу навантаження між вузлами, продуктивності пам’яті та мережі, надано рекомендації щодо використання такої системи в наукових або освітніх цілях. Загальний обсяг роботи: 89 сторінок, 23 рисунки, 28 посилань.Modern computing systems for high-performance computing (HPC) can be built using affordable consumer-grade components, enabling a wide range of research, simulation, and educational experiments within academic institutions—without the need for multi-million-dollar investments. The design and implementation of such systems is a highly relevant task from both practical and scientific perspectives, offering an opportunity to explore parallel computing principles, architecture optimization, network communication, and software deployment. The object of research in this bachelor’s thesis is the organization of distributed computing processes in high-performance computing systems. The subject of research includes the tools and methods for building cluster systems, configuring infrastructure for launching parallel applications, and evaluating execution efficiency. This work presents the creation of a cluster computing system based on budget hardware. It covers the configuration of network communication, a shared file system, authentication mechanisms, job scheduling (Slurm), parallel computing libraries (MPI, PETSc, FenicsX), and monitoring and profiling tools (Prometheus, Grafana, perf). A number of computational tasks have been implemented and tested, including synthetic benchmarks, numerical algorithms, and cryptographic data processing examples. Scalability, workload distribution, memory and network performance have been analyzed, and recommendations are provided for using such a system in research or educational settings. Total volume of the work: 89 pages, 23 figures, 28 references.