Розпізнавання жестів рук за допомогою нейронних мереж для людино-машинної взаємодії

Abstract

Магістерська кваліфікаційна робота виконана студентом групи КНСШ-11 Пасемком Андрієм Андрійовичем. Тема “Використання методів машинного навчання для розпізнавання жестів рук в галузі людино-машинної взаємодії”. Робота направлена на здобуття ступеня магістра за спеціальністю 122 «Комп’ютерні науки». Метою дипломної роботи є поглиблене дослідження різних методів машинного навчання для розпізнавання жестів рук в режимі реального часу. Об’єктом дослідження є методи розпізнавання жестів рук на динамічних даних. Мова жестів — система спілкування за допомогою візуальних жестів і знаків. Люди з вадами слуху та спільнота глухонімих використовують мову жестів як єдиний засіб спілкування. Нормальній людині дуже важко зрозуміти мову жестів. Тому меншина завжди стикалася з багатьма труднощами в спілкуванні з широким населенням. У цій дослідницькій роботі запропоновано новий підхід, заснований на глибокому навчанні, для визначення мови жестів, який може усунути бар’єр спілкування між нормальними та глухими людьми. Щоб спочатку виявити мову жестів у реальному часі, було підготовано набір даних, який містить 26 букв алфавіту американської мови жестів. Ці знаки були використані, щоб навчити власну модель CNN. У ході роботи було проведено деяку попередню обробку в наборі даних перед навчанням моделі CNN. Згідно з отриманими результатами, ми бачимо, що налаштована модель CNN може досягти найвищих 95% точності, 96% точності, 98% запам’ятовування та 99% f1-оцінки на тестовому наборі даних. У результаті виконання кваліфікаційної роботи було представлено власну повністю функціональну систему розпізнавання жестів в реальному часі. Master's qualification work was completed by a student of the CSAI-21 group, Pasemko Andrii Andriyovych. The topic is “Using machine learning methods for recognizing hand gestures in the field of human-machine interaction”. The work is aimed at obtaining a master's degree in specialty 122 “Computer Science”. The purpose of the thesis is an in-depth study of various machine learning methods for recognizing hand gestures in real time. The object of the research is methods for recognizing hand gestures on dynamic data. Sign language is a system of communication using visual gestures and signs. People with hearing impairments and the deaf community use sign language as the only means of communication. It is very difficult for a normal person to understand sign language. Therefore, the minority has always faced many difficulties in communicating with the general population. This research work proposes a new approach based on deep learning to define sign language, which can eliminate the communication barrier between normal and deaf people. To first detect sign language in real time, a dataset containing 26 letters of the American Sign Language alphabet was prepared. These characters were used to train our own CNN model. In the course of the work, some pre-processing was performed on the dataset before training the CNN model. According to the results obtained, we can see that the tuned CNN model can achieve the highest 95% accuracy, 96% precision, 98% recall, and 99% f1-score on the test dataset. As a result of the qualification work, our own fully functional real-time gesture recognition system was presented.