Методи пошуку та розпізнавання об’єктів у відеозображеннях на мобільній платформі IOS в реальному часі

Abstract

Досліджено особливості найпоширеніших методів і систем пошуку та розпізнавання об’єктів у відеозображеннях. За результатами дослідження показано доцільність побудови засобів пошуку та розпізнавання для платформи iOS у реальному часі. Запропоновано метод функціональної адаптації алгоритму пошуку та розпізнавання об’єктів до особливостей відеозображень, який полягає в опрацюванні відеозображення згладжуючим та мінімізаційним фільтрами, що забезпечує зменшення часу пошуку та розпізнавання об’єктів. Розроблено базову структурну схему таких засобів та алгоритм функціонування. Розроблено алгоритмічнопрограмні засоби для розв’язання завдання на знаходження та оперативне розпізнавання об’єктів у режимі реального часу мовою Swift під мобільну платформу iOS. Використано особливості згорткової нейронної мережі з архітектурою YOLOv3 та фреймворку для роботи з нейронними мережами під мобільні додатки CoreML. Запропоновано метод поліпшення роботи такої нейронної мережі, який оснований на квантизації вагових коефіцієнтів нейромережі та забезпечує мінімізацію розміру моделі та часу пошуку її об’єктів. Досліджено значення частоти оброблення кадрів зображень із використанням запропонованої моделі YOLOv3-KD та моделей нейронних мереж типу YOLOv3-tiny та YOLOv3-416. Доведено можливість функціонування запропонованих засобів у режимі реального часу.The features of the most common methods and systems for searching and recognizing objects in video are explored. The research shows the feasibility of building search and recognition tools for the iOS platform in real time. The method of functional adaptation of the algorithm of search and recognition of objects to features of video is offered, which consists in processing of video image by smoothing and minimization filters, which reduces the time of search and recognition of objects. The block diagram and algorithm of system functioning were designed. Developed a program to solve the problem of finding and quickly recognizing objects in real time in Swift language on the iOS mobile platform. A convolutional neural network with YOLOv3 architecture was used along with framework for working with neural networks for mobile CoreML applications. A method of improving the performance of such a neural network is proposed, which is based on the quantization of the neural network weights and minimizes the model size and search time of its objects. The frequencies of image processing using the proposed means and models of neural networks of the type YOLOv3-tiny, YOLOv3-416 and our own model YOLOv3-KD are investigated. The possibility of functioning of the proposed funds in real time is provided.