Спеціалізована програмна платформа для аналізу інформації в сховищах даних

Abstract

Наведено дизайн, висвітлено розроблення та оцінювання спеціалізованої програми для аналізу, розроблення агрегацій даних і візуалізації великих обсягів даних. Основна мета цієї програми – спростити оброблення даних, прискорити їх аналіз і полегшити написання коду для задач із великими обсягами даних. Для цього використано машинне навчання, а також два репозиторії. Програма містить зручний і зрозумілий інтерфейс, сервери, що обробляють різні типи запитів від користувачів і передають їх у базу даних, а також саму базу даних з двома репозиторіями. Методологія дослідження, використана в цьому дослідженні, передбачає ретельний аналіз наявних програм і методів вирішення проблем із великими обсягами даних. Цей аналіз вплинув на розроблення основних функцій програми. Потім було здійснено ретельне тестування та оцінювання цих функцій. Виконано дослідження користувачів для оцінювання ефективності програм з машинним навчанням порівняно з програмами, які працюють без нього, а також порівняння швидкості реалізацій розробки програм та обробки даних. Результати дослідження показують, що такий підхід пришвидшив розроблення програм та оброблення даних, зробив їх якіснішими та точнішими. У дослідженні зроблено висновок, що платформа має значний потенціал для підвищення продуктивності великих компаній і що зі збільшенням кількості даних і технологій без використання цього розроблення програм із такою логікою буде абсолютно неефективним.This article presents the design, development, and evaluation of a specialized program for analyzing, developing aggregations of this data, and visualizing large volumes of data. The main goal of this program is to simplify data processing, speed up their analysis, and make it easier to write code for problems with large amounts of data. To achieve this goal, machine learning is used, as well as two repositories. The program includes a convenient and easy-to-understand interface, servers that process various types of requests from users and transfer them to the database, and the database itself with two repositories. The research methodology used in this study involves a thorough analysis of existing programs and methods for solving problems with large volumes of data. This analysis informed the design of the core features of the program, which were then subjected to extensive testing and evaluation. A user study was conducted to evaluate the effectiveness of programs with machine learning in comparison to programs that work without it, and a comparison of the speed of implementations of program development and data processing was conducted. The results of the study show that this approach has accelerated program development, accelerated data processing, and made it more qualitative and accurate. The study concludes that the platform has significant potential to improve the performance of large businesses and that with the growth of multiple times of data and technology, without using this, the development of programs with similar logic will be completely ineffective.