Виявлення депресії шляхом застосування мультимодальної мережі злиття інформації

Abstract

Магістерська кваліфікаційна робота виконана студенткою групи КНСШ21 Никонюк Марією Вікторівною. Тема «Виявлення депресії шляхом застосування мультимодальної мережі злиття інформації». Робота направлена на здобуття ступеня магістр за спеціальністю 122 «Комп’ютерні науки». Об’єктом дослідження є процес виявлення ознак депресії за допомогою методів глибинного навчання. Предметом дослідження є методи глибинного навчання для діагностики депресії на основі мультимодальних даних. Досягнення мети відбувається за рахунок застосування сучасних методів машинного навчання, таких як згорткові нейронні мережі (CNN), двонапрямлені LSTM (Bi-LSTM) та механізм самоуваги, а також детальної попередньої обробки даних, включаючи очищення, аугментацію, виділення ключових ознак та нормалізацію. Крім того, важливим аспектом є збалансування класів у вибірці для забезпечення стабільності навчання моделі. Значну увагу приділено дослідженню та порівнянню підходів до інтеграції мультимодальних даних, зокрема методів раннього та пізнього злиття інформації, що дозволило оцінити переваги кожного підходу в контексті виявлення депресії. У результаті виконання роботи було розроблено та протестовано архітектури мереж раннього та пізнього злиття інформації, що обробляють аудіота текстові ознаки, забезпечуючи високу ефективність класифікації. Окрім цього, реалізовано підхід до інтерпретації результатів на рівні кожного пацієнта шляхом узагальнення сегментів аудіо та тексту, що дозволяє використовувати модель у реальних умовах. Отримані результати підкреслюють перспективу подальшого удосконалення запропонованого підходу для підвищення його ефективності та адаптації до використання в автоматизованій діагностиці депресії. Загальний обсяг роботи: 79 сторінок, 3 таблиці, 34 рисунки, 25 посилань. Master’s degree work of the student of the group CSAI-21 Nykoniuk Mariia Viktorivna. The topic is " Detection of depression using a multimodal information fusion network". The work is aimed at obtaining a master's degree in 122 "Computer Science". The object of research is the process of detecting signs of depression using deep learning methods. The subject of research is deep learning methods for diagnosing depression based on multimodal data. The goal is achieved through the use of modern machine learning methods, such as convolutional neural networks (CNNs), bi-directional LSTMs (Bi-LSTMs), and a self-focused mechanism, as well as detailed data preprocessing, including cleaning, augmentation, key feature extraction, and normalization. In addition, an important aspect is the balancing of classes in the sample to ensure the stability of model training. Considerable attention was paid to the study and comparison of approaches to the integration of multimodal data, in particular, early and late information fusion methods, which allowed us to assess the advantages of each approach in the context of depression detection. As a result of the work, architectures of early and late information fusion networks that process audio and text features were developed and tested, ensuring high classification efficiency. In addition, an approach to interpreting the results at the level of each patient by summarizing audio and text segments was implemented, which allows the model to be used in real-world settings. The obtained results emphasize the prospect of further improving the proposed approach to increase its efficiency and adaptation for use in automated diagnosis of depression. The total volume of work: 79 pages, 3 tables, 34 figures, 25 references.