Визначення психоемоційного стану людини на основі мультимодальних даних, та різних способів їх злиття

Abstract

Бакалаврська кваліфікаційна робота виконана студентом групи КН-410 - Жеребецьким Олегом Вячеславовичем. Тема - «Визначення психоемоційного стану людини на основі мультимодальних даних, та різних способів їх злиття». Робота направлена на здобуття ступеня бакалавр за спеціальністю 122 «Комп’ютерні науки». Метою дипломної роботи є розроблення інформаційної системи розпізнавання емоцій людини отриманих з камери ПК або смартфона, використовуючи різні способи злиття каналів зображення, звуку та тексту, та аналізу отриманих результатів і формування висновку. Об’єктом дослідження є процеси аналізу виразу обличчя (міміки) людини, емоційне забарвлення тону розмови та тексту, який транслює особа. Предметом дослідження є структури нейронних мереж для розпізнавання емоцій на основі різних потоків даних. В результаті виконання дипломної роботи розроблено 3 системи розпізнавання емоцій з різними способами злиття трьох потоків даних. Для цих 3 систем запрограмовано: - 5 нейронних мереж; - система подачі оброблених даних трьох типів отриманих з камери і мікрофона, із запису у пам’яті пристрою та з трансляції екрану пристрою; - генератор даних для чотирьох наборів даних; - генератор даних з іншого набору даних; - примітивний WEB інтерфейс в середині одного cell в Google Colab Notebook. Загальний обсяг роботи: 144 сторінок, 3 таблиць, 129 рисунків, 105 джерел. Bachelor's qualification work was performed by a student of group KN-410 - Zherebetskyi Oleh Viacheslavovych. The topic is «Determining the psycho-emotional state of a person on the basis of multimodal data and different ways of merging them». The work is aimed at obtaining a bachelor's degree in 122 "Computer Science". The purpose of the thesis is to develop an information system for recognizing human emotions obtained from a PC or smartphone camera, using different methods of merging channels of image, sound and text, and analysis of the results and the conclusion. The object of research is the facial expression of a person, the emotional color of the tone of conversation and the text transmitted by the person. The subject of research is - different structures of neural networks for recognizing emotions based on different data flows.