Evaluation of multimodal data synchronization tools

Abstract

Постійне зростання обсягів даних вимагає розроблення ефективних методів управ- ління, опрацювання та зберігання інформації. Крім того, доцільно застосовувати мультимодальні підходи агрегації знань для отримання додаткових знань. Зазвичай проблема ефективного оброблення мультимодальних даних пов’язана з високоякісним попереднім обробленням даних. Одним із найважливіших етапів попереднього оброблення є синхронізація мультимодальних потоків даних для аналізу складних взаємодій у різних типах даних. У статті оцінено відомі підходи до синхронізації. Увагу зосереджено на стратегіях, основаних на класифікаторах реального часу, побудованих на комплексних платформах для інтеграції та управління даними. Після синхронізації мультимодальних наборів ключовими етапами є злиття даних, ідентифікація даних у різних каналах, таких як текст, відео та аудіо. Результати демонструють здійсненність запропонованого підходу синхронізації для вияв- лення тонких зв’язків між різними наборами даних. Також запропоновано архітектурне рішення для інтеграції запропонованого методу в наявні мультимодальні конвеєри опрацювання даних. Дослідження сприяє розробленню інструментів синхронізації для мультимодального аналізу даних у динамічних сценаріях реального світу.

The constant growth of data volumes requires the development of effective methods for managing, processing, and storing information. Additionally, it is advisable to apply multimodal approaches for knowledge aggregation to extract additional knowledge. Usually, the problem of efficient processing of multimodal data is associated with high-quality data preprocessing. One of the most critical preprocessing steps is synchronizing multimodal data streams to analyze complex interactions in different data types. In this article, we evaluate existing approaches to synchronization, focusing on strategies based on real-time classifiers, which are based on comprehensive platforms for data integration and management. After the synchronization of multimodal sets, the key stage is data fusion, data identification in different channels, such as text, video, and audio. The results demonstrate the feasibility of the proposed synchronization approach for revealing subtle relationships between various data sets. An architectural solution was also suggested to integrate the proposed method into existing multimodal data processing pipelines. This work contributes to developing synchronization tools for multimodal data analysis in dynamic realworld scenarios.