Архітектура системи організації даних «розумних міст» на основі концепту Data Mesh

Abstract

Зростаюче використання різнотипового програмного забезпечення, є невід’ємною частиною процесів відбору, передавання, зберігання та опрацювання великих за обсягом наборів та колекцій даних, які характеризуються об’ємом, різноманітністю, швидкістю генерування, достовірністю, цінністю, варіативністю, якістю візуалізації тощо. Це обумовлює підвищену потребу у високоефективних засобах опрацювання даних, здатних адаптуватися до швидкозмінного середовища та різнорідних джерел даних. Великі сховища даних і озера даних є сучасними інформаційно-технологічними концептами, які достатньо грунтовно опрацьовані та успішно впроваджені в широкому ряді установ та організацій для задоволення інформаційних потреб, що виникають у процесах прийняття рішень, які дедалі частіше автоматизуються з використанням інтелектуальних аналітичних інструментів. Аналіз архітектурних рішень в побудові сучасних програмно-алгоритмічних комплексів та систем засвідчує необхідність зміни та корекції обчислювальних парадигм з метою справді якнайповнішого орієнтування на дані. У пропонованому підході дані розглядаються як базис організації процесів, а інструменти конвеєрного опрацювання як індукована другорядна проблема. Концепція «мережева архітектура даних» передбачає побудову інформаційно-технологічної архітектури, в якій дані цілеспрямовано розподіляються між кількома вузлами мережі з метою уникнення хаосу або блокування процесів управлінні даними. Це своєю чергою генерує потребу реалізації централізованих стратегій управління даними, які забезпечують системне поширення спільних принципів на всі вузли мережі. Такий підхід сприяє підвищенню якості процесів функціонування фірм та компаній, гнучкості організаційних структур, зменшенню рівня залежності системи опрацювання даних від єдиної концентрованої точки відмови, що полегшує запровадження системних політик безперервного вдосконалення процесів управління даними. The growing use of diverse software solutions has become an integral part of processes involving the selection, transmission, storage, and processing of large-scale data sets and collections characterized by volume, variety, velocity, veracity, value, variability, visualization, and more. This trend creates a heightened demand for highly efficient data processing tools capable of adapting to rapidly changing environments and heterogeneous data sources. Data warehouses and data lakes are modern information technology concepts that have been thoroughly developed and successfully implemented across a wide range of institutions and organizations to meet information needs arising from decision-making processes, which are increasingly being automated with intelligent analytical tools. An analysis of architectural decisions in the development of modern software-algorithmic systems highlights the need for a shift in computational paradigms to enable a more data-oriented approach. In this proposed model, data is considered the foundational element in process organization, while pipeline processing tools are treated as an induced secondary issue. The Data Mesh concept involves the development of an information technology architecture where data is intentionally distributed across multiple mesh nodes to prevent chaos or bottlenecks in data management processes. Thus, centralized data governance strategies are introduced to ensure consistent application of shared principles across all mesh nodes. This approach enhances the efficiency of business operations, improves organizational agility, and reduces the system’s dependency on a single point of failure, facilitating the implementation of systemic policies for continuous improvement in data management.