Gesture recognition system for controlling IoT systems

Abstract

Розвиток Інтернету речей (IoT) відкриває нові можливості для розробки інтелектуальних сервісів, що покращують взаємодію користувачів із навколишніми пристроями. Сучасні IoT-системи в основному використовують сенсорні екрани та мобільні додатки для керування, проте методи на основі жестів можуть значно розширити їхню функціональність. Запропоновано систему розпізнавання жестів, що застосовують для керування IoT- пристроями. Основою роботи системи є класифікація траєкторії руху пальців за допомогою прихованої марковської моделі (HMM). Система складається із трьох основних етапів: початкове виділення рук за допомогою кольорової та глибокої інформації, визначення кінчиків пальців на основі контурів руки, а також використання кластеризації в полярних координатах для екстракції динамічних характеристик. Алгоритми Баум-Велша та Вітербі застосовують відповідно для навчання та розпізнавання жестів. Результати експериментів показують, що розроблена система здатна класифікувати жести з урахуванням просторово-часової варіативності з високою точністю. Зокрема, середній рівень розпізнавання досягнув 98,61% для навчального набору та 93,06% для тестових даних. Запропонований підхід демонструє ефективність у складних умовах, включаючи зміни освітлення та часткове перекриття об’єктів у сцені.The development of the Internet of Things (IoT) opens up new opportunities for creating intelligent services that enhance user interaction with surrounding devices. Modern IoT systems primarily use touchscreens and mobile applications for control; however, gesturebased methods can significantly expand their functionality. This work proposes a gesture recognition system applied to the control of IoT devices. The core of the system is the classification of finger movement trajectories using a Hidden Markov Model (HMM). The system consists of three main stages: initial hand segmentation using colour and depth information, fingertip detection based on hand contours, and the use of clustering in polar coordinates to extract dynamic features. The Baum-Welch and Viterbi algorithms are applied for training and gesture recognition, respectively. Experimental results show that the developed system is capable of classifying gestures with consideration of spatiotemporal variability with high accuracy. In particular, the average recognition rate reached 98.61 % for the training set and 93.06 % for the test data. The proposed approach demonstrates effectiveness under challenging conditions, including changes in lighting and partial occlusion of objects in the scene.