Рекомендаційна система виявлення нетипових дій на основі аналізу відеопотоку

Abstract

Поєднання виконання декількох справ є одним з кроків до можливості досягнення цілей у сьогоденні. Автоматизація процесів дозволяє людям в сучасному світі спрощувати ті процеси, які роками виконувались мануально. Одним із прикладів, який потребує автоматизації це догляд за дітьми, чи людьми які цього потребують. Що стосується України, то проблема догляду за дорослими стає, як ніколи актуальною. І тому починаючи з 2008 року в нас започатковано нідерландсько-український медичний проект під назвою МАТРА [1]. Такий проект можна віднести до одного з способів вирішення питання, щодо догляду за людьми похилого віку. З огляду на те, процес звичного відеонагляду варто «оновити» використовуючи методи відеоаналітики, які пропонують інтелектуальний аналіз відеопотоку: виявлення предметів, об’єктів та аналіз поведінки. Для таких систем характерними є методи машинного навчання [2]. Проектована рекомендаційна система виявлення нетипових дій на основі аналізу відеопотоку поєднує в собі технології відеоаналітики. Мета системи – допомагати доглядати та визначати дії людини, над кою ведеться спостереження, її взаємодії з іншими предметами, об’єктами, визначення нетипової дії чи взаємодії особи на основі відео, який аналізується методами штучного інтелекту. Основним входом системи є швидке визначення загрози для спостережуваного об’єкту, вихід – прогноз нетипової дії об’єкту та сповіщення про можливу небезпеку. Якщо говорити, про те, що пропонована система допомагає батькам справлятись з вихованням дитини, поєднувати роботу та догляд за дітьми, тоді це більш поширено на сферу особистого життя. Розглядаючи використання системи як догляду за дорослими людьми, які цього потребують, то вона актуальна у сфері суспільного життя, де піднімається гостре питання турботи людей. Таким чином пропонована система розширює можливість догляду за такими людьми, спрощує процес і заохочує до цього. Для розроблення системи виявлення нетипових дій на основі аналізу відео слід звернути увагу на алгоритм YOLO (You Look Only One) – це алгоритм роботи згорткової нейронної мережі для виявлення об’єктів в реальному часі. Для проектованої системи аналізу відеопотоку найоптимальніше обрати модифікацію алгоритму YOLOv3-tiny, оскільки при роботі з середовищем виявлення об’єктів у реальному часі більш швидке [3]. Для опису структури бази даних розроблювальної системи було розроблено схему бази даних. Для системи виявлення нетипових дій на основі аналізу відео визначено такі таблиці БД: Camera, VideoAnalysis, Notification, UserSetting, User, UserCondition. Впровадження рекомендаційної системи виявлення нетипових дій на основі аналізу відеопотоку було розглянуто з точки зору економіки. Обраховано кошторис розроблення системи. Визначено показники якості системи та зроблено порівняльний аналіз з аналогом проектованої системи, визначено комплексний показник якості. На основі комплексного показника якості та цін споживання аналогу і проектованого рішення вирахувано показник конкурентноспроможності. Отже, після проведення розрахунків та аналізу проектування та експлуатації зрозуміло, що розробка проектного рішення є економічно-вигідна. Об’єктом дослідження є процес виявлення нетипових дій на основі аналізу відеопотоку. Предметом дослідження є методи та засоби аналізу відеопотоку. Мета і задача дослідження – створити систему виявлення нетипових дій на основі аналізу відеопотоку, яка зможе надавати рекомендації щодо прийняття рішень по догляду за особами як дитячого так і похилого віку в різних життєвих ситуаціях. Створена рекомендаційна система виявлення нетипових дій застосовується на побутовому рівні. Система виконує роботу людини-наглядальника, автоматизуючи роботу таким чином, що створює для людини більше можливостей. «Інтелект» системи працює так як і людський, аналізує все, що відбувається в середовищі та подає сигнал-рекомендацію для людини-доглядальника.

Combining several tasks is one of the steps to achieving the goals todays. Process automation allows people in today's world to simplify those processes that have been performed manually for years. One example that needs automation is caring for children or people who need it. As for Ukraine, caring for adult is becoming more urgent than ever. Therefore, since 2008 we have launched a Dutch and Ukrainian medical project called MATRA [1]. Such a project can be attributed to one of the ways to address the issue of care for the elderly. So, video surveillance should be "updated" using the methods of video analytics, which offer intelligent analysis of video flow: detection of objects, objects and analysis of behavior. Such systems are characterized by machine learning methods in the field of artificial intelligence [2]. The designed recommendation system for detecting atypical actions based on video stream analysis combines video analytics technologies. The goal of the system is to help care for and determine the actions of the person being observed, their interactions with other objects, the definition of atypical actions or interactions of a person based on video, which is analyzed by artificial intelligence. The main input of the designed system is a quick threat detection for an observation object, an output - a forecast of atypical object activity and a notification of a possible danger. If we say that the proposed system helps parents with caring for a child, combining work and child care, then it is more common in the sphere of personal life. Considering the use of the system as care for adults, who need it, it is relevant in the sphere of public life. Therefore, the proposed system expands the possibility of caring for such people, simplifies the process and encourages it. To develop a system for detecting atypical actions based on video analysis, we should pay attention to the YOLO (You Look Only One) algorithm. It is a real-time convolutional neural network algorithm. For the designed video stream analysis system, it is best to choose a modification of the YOLOv3-tiny algorithm, because when working with the environment, real-time object detection is faster [3]. A database schema was developed to describe the database structure of the development system. The database schema allows you to represent its logical configuration. The following database tables are defined for the system of detection of atypical actions on the basis of video analysis: Camera, VideoAnalysis, Notification, UserSetting, User, UserCondition. The introduction of a recommendation system for detecting atypical actions based on video stream analysis was considered from an economic point of view. The estimate of system development is calculated. The quality indicators of the system are determined and the comparative analysis with the analogue of the designed system is made, the complex quality indicator is determined. On the basis of a comprehensive indicator of quality and consumption prices of the analogue and the designed solution, the indicator of competitiveness is calculated. Thus, after calculations and analysis of design and operation, it is clear that the development of a design solution is cost-effective. The object of the research is the process of detecting atypical actions based on the analysis of the video stream. The subject of the research are methods and means of video stream analysis. The purpose and task of the study is to create a system for detecting atypical actions based on video stream analysis, which will be able to provide recommendations for decision-making on the care of both children and the elderly in various life situations. The created recommendation system for detecting atypical actions is used at the household level. The system performs the work of a human observer, automating the work in a way that creates more conditions for a person. The "intelligence" of the system works as well as human, analyzes everything that happens in the environment and gives a signal-recommendation to the person who will make the decision. Key words: care for children and adults, video surveillance, video analytics, YOLO algorithm, artificial intelligence, recommendation system.

Reference: 1. Scientific Bulletin of Uzhgorod National University: Science. magazine. / founded: Uzhhorod National University. un-t. 1994. Uzhhorod. Twice a year. 2013, №20, p. 203-206. 2. Letter of the company. Video surveillance. Ukraine. 2021. URL: Відеоспостереження (leater.com). 3. Redmon J., Divvala S., Girshick R., Farhadi A. University of Washington, Allen Institute for AI. You Only Look Once: Unified, Read-Time Object Detection: May 9, 2016. 1-10 p.