Когнітивна система на основі сентимент аналізу відео та аудіоконтенту

Abstract

Магістерська кваліфікаційна робота, виконана студентом групи КНСШ 21 Глинкою Ростиславом Юрійовичем. Тема «Когнітивна система на основі сентимент аналізу відео та аудіоконтенту». Робота направлена на здобуття ступеня магістр за спеціальністю 122 «Комп’ютерні науки». Метою даної роботи є програма реалізація аналізу емоційного стану людини по відео-ресурсах на основі порівняння виразу обличчя та голосу. Було проведено порівняння з існуючими засобами, основний їхній недолік – вони не є бімодальними. Результатом виконання даної дипломної роботи є готовий продукт у вигляді веб-застосунку, що допомагає аналізувати емоційний стан у відео за обличчям та аудіо. Користувач дає на вхід системі відеоресурс, і отримує детальну інформацію у вигляді графіків та базовий висновок самої системи. Таким чином можна аналізувати емоційний стан людини під час якогось інтерв’ю, співбесіди чи онлайн-зустрічей і покращувати процес комунікації. Master’s degree work was completed by the student of the CSAI-21 group Hlynka Rostyslav. The topic of the work is “Cognitive system based on sentiment analysis of video and audio content”. The work is aimed at obtaining a master’s degree in the specialty 122 “Computer Science”. The purpose of the work is to develop a system in the form of a web application that will compare the emotional state of a person in a video by analyzing facial expressions, pronunciation and their comparison. The object of the study is the analysis of a person's emotional state based on video resources. The subject of the research is the methods of video analysis of facial expressions and audio analysis of pronunciation. The scientific novelty of the work is the proposed method of analyzing the emotional state of a person based on the comparison of video and corresponding audio content. The practical value of this application lies in a convenient way to analyze a person's emotional state based on the speaker's non-verbal behavior during an online meeting, broadcast or video. An article related to the selection of the optimal classification algorithm was also published in the scientific database Scopus.