Інформаційна система зі структурування файлів сховища даних

Abstract

Проблема неструктурованих файлів у сховищах даних є актуальною для користувачів різного рівня – від студентів до працівників компаній. Відсутність ефективної організації файлів негативно впливає на продуктивність праці та створює незручний користувацький досвід. Неструктуровані дані містять потенційну цінність для бізнесу, що створює значний простір для вдосконалення робочих процесів. Дана робота присвячена розробці інформаційної системи, яка автоматизує процес структурування файлів у сховищах даних з урахуванням їх метаданих, змісту та оточення. Система реалізує гібридний підхід, який поєднує статичні алгоритми та елементи штучного інтелекту. Об’єкт дослідження. Об’єктом дослідження даної роботи є процес накопичення та зберігання неструктурованих файлів у цифрових сховищах, а також особливості їх подальшого структурування. Предмет дослідження. Предметом дослідження є методи і засоби автоматизованого аналізу та структурування неструктурованих файлів у сховищах даних на основі їхніх метаданих, вмісту й контексту зберігання. Створена система реалізована як веб-додаток з архітектурою клієнт-сервер. Серверна частина розроблена на мові Python з використанням фреймворку FastAPI, а клієнтська – на основі Vue.js з TypeScript. Система пропонує користувачам три рівні аналізу файлів (метадані, структурний, контентний) та різні алгоритми структуризації з можливістю попереднього перегляду змін. Результати тестування підтверджують ефективність розробленої системи для вирішення задачі автоматизованого структурування файлів різних типів при збереженні простоти використання та контролю з боку користувача. Система виконує зазначений функціонал і передбачує можливість подальшого покращення та розширення методів аналізу та алгоритмів структуризації.

The problem of unstructured files in data repositories is relevant for users of all levels – from students to company employees. The lack of effective file organization negatively affects work productivity and creates an inconvenient user experience. Unstructured data contains potential business value, creating significant space for workflow improvement. This work is dedicated to developing an information system that automates the process of structuring files in data repositories considering their metadata, content, and context. The system implements a hybrid approach that combines static algorithms and artificial intelligence elements. Object of research. The object of research in this work is the process of accumulation and storage of unstructured files in digital repositories, as well as the features of their subsequent structuring. Subject of research. The subject of research is methods and tools for automated analysis and structuring of unstructured files in data repositories based on their metadata, content, and storage context. The created system is implemented as a web application with client-server architecture. The server side is developed in Python using the FastAPI framework, and the client side is based on Vue.js with TypeScript. The system offers users three levels of file analysis (metadata, structural, content-based) and various structuring algorithms with the ability to preview changes. Testing results confirm the effectiveness of the developed system for solving the task of automated structuring of files of various types while maintaining ease of use and user control. The system performs the specified functionality and provides possibilities for further improvement and expansion of analysis methods and structuring algorithms.