Архітектура систем озер даних у галузі освіти: аналітичний огляд

Abstract

Здійснено аналітичний огляд розвитку концепту Data Lakes та його застосування у різних галузях як частини рішень концепту Big data. Розглянуто наявні стандартні архітектурні рішення для організації Data Lake. Також взято до уваги спеціалізовані напрями, що потребують відмінних чи додаткових аспектів для вирішення поставлених завдань, залежно від галузі використання Data Lake. Для правильної організації Data Lake застосовують різноманітні засоби опрацювання даних, зокрема розподілені системи зберігання даних, семантичні мережі та особливо метадані. Метадані відіграють величезну роль у розпізнаванні призначення даних та можливих зв’язків між ними та сутностями. Проаналізовано перспективи застосування Data Lake, зокрема в контексті розумного міста, дистанційної освіти та освітньої галузі загалом.An analytical review of the development of Data Lakes and its application in various industries, as part of Big data concept solutions, was conducted. The available standard architectural solutions for the Data Lake organization are considered. Also, specialized areas that require different or additional aspects to solve the tasks, depending on the field of Data Lake use, are taken into account. For the proper organization of Data Lake, various data processing tools are used, including distributed data storage systems, semantic networks, and especially metadata. Metadata plays a huge role in recognizing the purpose of data and possible relationships between it and entities. An overview of the prospects for the use of Data Lake, in particular as context of Smart City, distance education and the education industry in general, was conducted.