Дослідження методів збору та обробки даних в розподілених інформаційних системах

Abstract

У статті розглянуто проблему обробки та аналізу великих об’ємів даних. Сьогодні, у зв’язку з появою джерел інформації, які можуть продукувати великі обсяги даних, оброблення даних стає все складнішим. Для вирішення поставленої проблеми розроблено велику кількість технологій специфічного призначення, проте більшість з них можна зарахувати до двох парадигм обробки даних, а саме потокової та пакетної. В цій статті розглянуто вищенаведені парадигми та технології, які застосовують для прийняття рішень щодо обробки даних, та спробуємо окреслити характеристики, які потрібно брати до уваги під час побудови систем обробки даних. На основі найперспективніших рішень наведемо також реалізацію системи збору та аналізу даних з пристроїв IoT.The article is devoted to the problem of processing and analysis of large amounts of data. Today, with the advent of sources of information that can produce large amounts of data, data collection is becoming an increasingly complex institution. To solve this problem, a wide range of technologies for specific purposes has been developed. However, most of them can be attributed to two paradigms of data processing, namely streaming and batch. In this article, we will consider the above paradigms and technologies used to build data processing solutions and try to outline several characteristics that need to be considered when building data processing systems. Also, based on the most promising solutions, the implementation of the system of data collection and analysis from IoT devices is given.