Жеребецький , Олег Вячеславович2024-04-232024-04-2320222024Жеребецький О. В. Визначення психоемоційного стану людини на основі мультимодальних даних, та різних способів їх злиття : пояснювальна записка до бакалаврської кваліфікаційної роботи : 122 «Комп’ютерні науки» / Олег Вячеславович Жеребецький ; Національний університет «Львівська політехніка». – Львів, 2022. – 152 с.https://ena.lpnu.ua/handle/ntb/61849Бакалаврська кваліфікаційна робота виконана студентом групи КН-410 - Жеребецьким Олегом Вячеславовичем. Тема - «Визначення психоемоційного стану людини на основі мультимодальних даних, та різних способів їх злиття». Робота направлена на здобуття ступеня бакалавр за спеціальністю 122 «Комп’ютерні науки». Метою дипломної роботи є розроблення інформаційної системи розпізнавання емоцій людини отриманих з камери ПК або смартфона, використовуючи різні способи злиття каналів зображення, звуку та тексту, та аналізу отриманих результатів і формування висновку. Об’єктом дослідження є процеси аналізу виразу обличчя (міміки) людини, емоційне забарвлення тону розмови та тексту, який транслює особа. Предметом дослідження є структури нейронних мереж для розпізнавання емоцій на основі різних потоків даних. В результаті виконання дипломної роботи розроблено 3 системи розпізнавання емоцій з різними способами злиття трьох потоків даних. Для цих 3 систем запрограмовано: - 5 нейронних мереж; - система подачі оброблених даних трьох типів отриманих з камери і мікрофона, із запису у пам’яті пристрою та з трансляції екрану пристрою; - генератор даних для чотирьох наборів даних; - генератор даних з іншого набору даних; - примітивний WEB інтерфейс в середині одного cell в Google Colab Notebook. Загальний обсяг роботи: 144 сторінок, 3 таблиць, 129 рисунків, 105 джерел. Bachelor's qualification work was performed by a student of group KN-410 - Zherebetskyi Oleh Viacheslavovych. The topic is «Determining the psycho-emotional state of a person on the basis of multimodal data and different ways of merging them». The work is aimed at obtaining a bachelor's degree in 122 "Computer Science". The purpose of the thesis is to develop an information system for recognizing human emotions obtained from a PC or smartphone camera, using different methods of merging channels of image, sound and text, and analysis of the results and the conclusion. The object of research is the facial expression of a person, the emotional color of the tone of conversation and the text transmitted by the person. The subject of research is - different structures of neural networks for recognizing emotions based on different data flows.ukрозпізнавання емоцій, мультимодальні дані, нейронна мережа, злиття мультимодальних даних, психоемоційний стан, генерація нових даних, emotion recognition, multimodal data, neural network, multimodal data fusion, psychoemotional state, new data generationStudents_diploma152