Розпізнавання мови жестів за допомогою алгоритмів машинного навчання
No Thumbnail Available
Date
2023
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Національний університет “Львівська політехніка”
Abstract
Ця дипломна робота приділяє увагу розпізнаванню американської мови жестів як актуальній та перспективній галузі, що може знайти широке застосування у спілкуванні, технологіях віртуальної реальності та підтримці людей з обмеженими можливостями. Робота описує важливість цього напрямку, аналізуючи методи та проблеми, пов'язані з розпізнаванням мови жестів. Перший розділ присвячений критичному аналізу літератури, під час якого були ідентифіковані ключові проблеми цієї галузі та відібрано 13 релевантних джерел за допомогою методу PRISMA. Визначено потребу у подальших дослідженнях для вирішення складнощів, таких як різноманітність жестів у різних культурах та умовах. У другому розділі роботи детально розглядаються різні методи розпізнавання мови жестів, зосереджуючись на нейронних мережах, таких як LSTM, ConvLSTM та трансформери. Аналізуються їхні переваги та використання в контексті розпізнавання жестів, включаючи важливість виявлення закономірностей між кадрами та використання функцій втрат для покращення точності системи. У наступному розділі оцінюються результати тестування чотирьох архітектур, зокрема трансформерів, де виявлено, що модель на основі трансформера перевершує у точності попередні архітектури, хоча використання деяких функцій втрат може впливати на її ефективність. Проаналізовано потребу у подальших експериментах з регуляризації для зменшення перенавчання та покращення результатів. Також було застосовано ансамбль моделей на основі найкращої архітектури, що показало певний ріст точності при збільшенні кількості моделей. Узагальнюючи, робота демонструє високий потенціал трансформерної архітектури в розпізнаванні жестів. У використанні різних функцій втрат, виявлені певні перспективи та важливість подальших експериментів з регуляризації для зменшення перенавчання та покращення точності. Результати свідчать про значний прогрес у цій галузі та визначають напрямки подальших досліджень для досягнення більш точних та надійних систем розпізнавання мови жестів. This thesis focuses on the recognition of American Sign Language as a relevant and promising field that can find wide application in communication, virtual reality technologies and support of people with disabilities. The work describes the importance of this direction, analyzing methods and problems related to sign language recognition. The first chapter is devoted to a critical analysis of the literature, during which the key issues of this field were identified and 13 relevant sources were selected using the PRISMA method. The need for further research to address complexities such as the diversity of gestures across cultures and settings is identified. The second chapter of the paper deals in detail with different methods of sign language recognition, focusing on neural networks such as LSTM, ConvLSTM and transformers. Their advantages and use in the context of gesture recognition are analyzed, including the importance of detecting patterns between frames and using loss functions to improve system accuracy. The next section evaluates the test results of four architectures, particularly transformers, where the transformer-based model is found to outperform previous architectures in accuracy, although the use of some loss functions may affect its performance. The need for further regularization experiments to reduce overtraining and improve results is analyzed. An ensemble of models based on the best architecture was also applied, which showed some increase in accuracy as the number of models increased. In summary, the work demonstrates the high potential of transformative architecture in gesture recognition. In the use of different loss functions, some perspectives are revealed and the importance of further regularization experiments to reduce overtraining and improve accuracy. The results indicate significant progress in this field and identify directions for further research to achieve more accurate and reliable sign language recognition systems.
Description
Keywords
американська мова жестів, класифікація, трансформер, ансамбль моделей, машинне навчання, American Sign Language, classification, transformer, model ensemble, machine learning
Citation
Гринишин А. Б. Розпізнавання мови жестів за допомогою алгоритмів машинного навчання : пояснювальна записка до магістерської кваліфікаційної роботи : 122 «Комп’ютерні науки» / Анастасія Богданівна Гринишин ; Національний університет «Львівська політехніка». – Львів, 2023. – 92 с.