Інформаційна технологія аналізу мультимодальних даних на основі ансамблю моделей машинного навчання

Abstract

Дисертація має на меті розробити інформаційну технологію опрацювання мультимодальних даних на основі ансамблю моделей машинного навчання. Дослідження фокусується на розробці методів та засобів штучного інтелекту для попереднього опрацювання, кодування та синхронізації даних різних модальностей (мультимодальних) у єдину структуру даних з подальшим ухваленням остаточного рішення на основі узагальненої репрезентації різно модальних даних. Особливістю цього дослідження є обробка і тренування моделей машинного навчання на українських наборах даних, оскільки ця проблематика є недостатньо дослідженою на сьогодні. Розроблена система, яка стане результатом цієї дисертації, ідеально підходить для завдань, де вимагається висока надійність і ефективність обробки мультимодальних даних, наприклад, у медичній сфері, виробництві, інформаційній безпеці та електронній торгівлі. The dissertation aims to develop an information technology for processing multimodal data based on an ensemble of machine learning models. The study focuses on the development of methods and tools of artificial intelligence for pre-processing, encoding and synchronizing data of different modalities (multimodal) into a single data structure with further final decision-making based on a generalized representation of multimodal data. The peculiarity of this research is the processing and training of machine learning models on Ukrainian datasets, as this issue is not sufficiently studied today. The developed system, which will be the result of this thesis, is ideally suited for tasks requiring high reliability and efficiency of multimodal data processing, such as in the medical field, manufacturing, information security, and e-commerce.