Optimization of object detection in closed space using mobile robotic systems with obstacle avoidance

Abstract

Запропоновано використання модифікованого процесу навчання нейронної мережі з почерговим використанням декількох наборів даних для розпізнавання обʼєктів мобільними роботизованими системами у закритому просторі. Проаналізовано останні дослідження та підходи до вирішення проблеми розпізнавання точних контурів обʼєктів, виявлено ключові особливості декількох архітектур нейронних мереж. Виявлено нестачу даних про ефективність використання систем розпізнавання обʼєктів у мобільних роботизованих системах із обходом перешкод у закритому просторі. Розроблено метод, що ґрунтується на поєднанні нейронної мережі глибинного навчання для отримання точних контурів обʼєктів із візуальними даними перешкод у закритому середовищі. Застосовано архітектуру Deeplab для пошуку точних меж обʼєктів та використано для тренування моделей набори даних, які пропонують велику кількість анотацій для різноманітних сцен і категорій обʼєктів, а саме NYU Depth Dataset V2 і ADE20K. Здійснено експерименти для порівняння точності моделей UNet та Deeplab на різних наборах даних та їх комбінаціях для визначення доцільності використання запропонованого підходу для розвʼязання поставлених завдань. Визначено точність розпізнавання розробленого методу на рівні 86,9 % із використанням архітектури Deeplab та комбінації наборів даних ADE20K та NYU Depth. Подано результати у графічному вигляді розпізнавання обʼєктів у різних типах закритого простору із порівнянням точності розпізнавання різних підходів. Встановлено, що запропонована модифікація процесу навчання сприяє підвищенню точності розпізнавання перешкод у закритому просторі, надає оптимальніше рішення для навігаційної компоненти роботизованих систем за допомогою отримання інформації про точні обриси перешкод і побудови оптимальнішого шляху, і є ефективною для виконання поставлених завдань.Introducing neural network training process modification that uses combination of several datasets to optimize search of objects and obstacles using mobile robotic systems in a closed space. The study includes an analysis of papers and existing approaches aiming to solve the problem of object boundary detection and discovers the key features of several neural network architectures. During research, it was discovered that there is an insufficient amount of data about the effectiveness of using obstacle detection approaches by mobile robotics systems in a closed space. The presented method is a combination of a deep neural network-based approach for object boundary recognition and visual data for obstacles in a closed space. The base for the object detection neural network is a Deeplab model architecture, trained on the NYU Depth Dataset V2 and ADE20K datasets with extensive data for varying scene types and object categories along with corresponding annotations. The first one consists exclusively of indoor images with precise masks even for little objects, while the latter contains both indoor and outdoor images. The paper provides the results of several conducted experiments aiming to estimate the performance and feasibility of using the developed system for various tasks with the UNet and Deeplab architectures on different datasets. The experiments determined that the developed system built utilizing the Deeplab neural network architecture trained using the combination of ADE20K scene parsing dataset and NYU Depth indoor data dataset reached an accuracy of 86.9 % in multi-object segmentation. The visual results were presented to demonstrate the obstacle detection of various objects in a closed space and to compare object detection accuracy of several approaches in different situations, like an empty apartment with random obstacles on the way or a crowded study space at a university. The results show an excellent distinction between room sides like ceiling and floor, walls and doors, as well as detecting people and pieces of furniture. The benefits of this study constitute that the proposed neural network training process modification facilitates precise obstacle detection in a closed space by mobile robotic systems, provides more optimal solution to be used in navigation component of such systems by gathering information about precise objects outlines and constructing more optimal path to destination, and is an effective approach to solving the assigned tasks in various environments.