Метод дедублікації та розподілу даних у хмарних сховищах під час резервного копіювання даних

Abstract

Розроблено інтелектуальну систему дедублікації та поширення даних у хмарних сховищах. Сформоване програмне забезпечення має зручний інтерфейс, який дає змогу створювати резервні копії та відновлювати дані. Здійснено аналітичний огляд методологічних засад дослідження, проаналізовано різні підходи до резервного копіювання даних із використанням дедублікації та розподілу даних у хмарному сховищі, висвітлено їхні переваги та недоліки. Детально розглянуто переваги та недоліки сучасних технологій дедублікації даних. Цей аналіз довів ефективність розроблення та впровадження інтелектуальної системи дедублікації та розподілу даних у хмарному сховищі. Виконано систематичний аналіз предметної області. Сформульовано мету функціонування та розвитку системи, мету та місце функціонування системи, визначено очікувані ефекти від впровадження програмного продукту. Розроблено та детально описано концептуальну модель системи. Наведено детальні діаграми прецедентів, стану переходів, послідовностей, компонентів та класів, що разом дають змогу визначити поведінку системи, встановити та сформулювати необхідні бізнес-процеси. Проаналізовано (наведено недоліки та переваги використання різних підходів) та вибрано ефективні методи розв’язання задач: гібридна дедублікація на рівні блока, розбиття даних на основі цифрового відбитка Рабіна, розподіл даних на основі хеш-значень одиниці дублювання та використання розподіленого індексу. Під час аналізу розв’язків задач вибрано мову програмування Rust для написання клієнтської частини, мову програмування Scala для серверної частини, Akka для управління розподіленими обчисленнями та Amazon S3 як хмарне зберігання. Розроблено інтелектуальну систему дедублікації та розподілу даних у хмарному сховищі, здійснено опис програмного забезпечення, розглянуто етапи роботи користувача. Проведено тестування роботи спроєктованої системи та створено кілька контрольних зразків, проаналізовано результати.An intellectual system of data deduplication and distribution in cloud storage facilities was developed. The resulting software has a user-friendly interface that allows you to backup and restore data. An analytical review of the methodological principles of the research is carried out, existing approaches to data backup with the use of data deduplication and distribution in cloud storage are analyzed, their advantages and disadvantages are highlighted. The advantages and disadvantages of modern data deduplication technologies are considered in details. This analysis has proved the efficiency of the design and implementation of the intellectual system of data deduplication and distribution in cloud storage. A systematic analysis of the subject domain is performed. The purpose of functioning and development of the system, purpose and place of functioning of the system is formulated, the expected effects from the introduction of the software product are determined. A conceptual model of the system has been developed and described in detail. The detailed diagrams of precedents, states of transitions, sequences, components and classes are given, which together allowed to determine the system’s behavior, to define and formulate the necessary business processes. It is analyzed the disadvantages and advantages of using different approaches and the effective methods of solving problems are selected: hybrid deduplication at the block level, data splitting on the basis of Rabin’s digital imprint, data distribution based on the hash values of the duplication units, and the use of the distributed index. During the analysis of task solutions, the Rust programming language for writing a client part, Scala programming language for the server part, Akka for distributed computing management and Amazon S3 as cloud storage are selected. The intellectual system of deduplication and distribution of data in cloud storage is developed, the software description is described, the steps for the user’s operation are considered. The testing of the work of the designed system is carried out and several control samples were given, the results are analyzed.