Система аналізу вартості ремонту транспортних засобів на основі візуальних даних

Abstract

Важливим компонентом в системі управління та обробки інформації, автоматизованих систем та систем прийняття рішень є процес розпізнавання образів. Основними завданнями, пов'язаними з класифікацією і ідентифікацією предметів, явищ і сигналів, що описуються кінцевим набором деяких властивостей і ознак, виникають в таких галузях як робототехніка, інформаційний пошук, моніторинг та аналіз візуальних даних, дослідження штучного інтелекту. Алгоритмічна обробка і класифікація зображень застосовуються в системах безпеки, контролю та управління доступом, в системах відеоспостереження, системах віртуальної реальності та інформаційних пошукових системах. На сьогоднішній час у виробництві широко використовуються системи розпізнавання рукописного тексту, автомобільних номерів, відбитків пальців або людських осіб. Метою роботи є розробка сиcтeми aнaлiзy вapтocтi peмoнтy тpaнcпopтниx зacoбiв нa ocнoвi вiзyaльниx дaниx, здатного вирішувати проблему інверсії для різних галузей застосування, розпізнаючи тривимірні об'єкти навколишнього світу з урахуванням їх інваріантних перетворень. Об'єктом дослідження дипломної роботи є системи комп'ютерного зору, що здійснюють класифікацію та ідентифікацію об'єктів на зображенні. Предметом дослідження є методи і засоби розробки алгоритмів сиcтeми aнaлiзy вapтocтi peмoнтy тpaнcпopтниx зacoбiв нa ocнoвi вiзyaльниx дaниx. Методи дослідження. Для вирішення поставлених завдань використовувалися методи комп'ютерного зору, теорії оптимізації, математичної статистики, теорії штучних нейронних мереж, імовірнісних моделей, теорії планування експерименту. Наукова новизна дипломної роботи полягає в наступному: • Розроблено математичну модель, здатна інкапсулювавти зображені об'єкти за допомогою ієрархії локальних еквіваріантних ознак, стійких до просторових перетворень. • Розроблено алгоритм навчання згорткової нейромережі на базі моделі еквіваріантного уявлення об'єктів базі потоку візуальних даних без участі експериментатора. • Запропоновано алгоритм ідентифікації та класифікації об'єктів, що використовує CNN згорткову нейронну мережу. 1. Порівняльний аналіз методів розпізнавання зображень показав, що незважаючи на різноманітність підходів до навчання та виділення класифікуючих ознак, більшість методів не розглядає проблему розпізнавання зображень об'єктів під впливом інваріантних тривимірних перетворень. Існуючий клас методів, орієнтованих розпізнавання тривимірних об'єктів, таких як глибокі згорткові мережі та констеляційні моделі, здатний вирішувати завдання інваріантного розпізнавання, проте демонструє обмежену здатність до локалізації об'єктів на зображенні та визначення параметрів їх просторового розташування, що є важливим цілого ряду прикладних завдань обробки інформації. 2. Зазначені недоліки можуть бути усунені за допомогою побудови моделі, що включає в себе інформацію про тривимірну форму зображених об'єктів та використання відповідних алгоритмів навчання та розпізнавання. Як новий підхід для навчання такої моделі пропонується застосувати алгоритм навчання за допомогою потоку даних, що дозволяє вилучати інформацію про просторові взаємини локальних ознак об'єкта та вирішити проблему розпізнавання зображень довільно орієнтованих тривимірних об'єктів. В процесі дослідження предметної області була вивчена робота та структура інформаційної системи СТО. Також досліджено функціональну частину проекту. Базуючись на зібраних даних побудовано діаграму варіантів використання, контекста діаграма, діаграма декомпозиції.

1. Розроблено та представлено комплекс алгоритмів, що виконують завдання навчання моделі та розпізнавання зображень за допомогою розробленої моделі. Запропоновані алгоритми дозволяють повною мірою реалізувати поставлену задачу розпізнавання зображень з виконанням тривимірної просторової локалізації об'єктів. 2. Розроблено алгоритм виділення локальних ознак, що ґрунтується на використання інформатико-теоретичних характеристик зображення та вибір найбільш інформаційно-ємних фрагментів зображення. 3. Розроблено алгоритм оптичного трекінгу, що дозволяє моделі вилучати дані для навчання з кадрів відеопотоку без використання промаркованої вибірки та без участі людини. За результатами проведених експериментів можна зробити наступні висновки: 1. Для представленого методу та трьох альтернативних методів розпізнавання, було проведено комплексне тестування з використанням різних категорій тестових наборів даних, що включають зображення під впливом шуму розмиття та оклюзії. 2. Експериментальна перевірка показала перевагу розробленого методу. Точність розпізнавання під час використання запропонованого методу збільшується на 7-10%. 3. Розроблений метод більш стійкий до локального шуму зображень, підданих розмиття та оклюзії, падіння точності розпізнавання розробленого методу становить 3-5% проти 5-10% альтернативних методів. 4. Точність розпізнавання розробленого методу при зміні орієнтації об'єкта на зображенні має відхилення лише на 4-5 %.An important component in the system of information management and processing, automated systems and decision-making systems is the process of pattern recognition. The main tasks related to the classification and identification of objects, phenomena and signals, described by a finite set of some properties and features, arise in such areas as robotics, information retrieval, monitoring and analysis of visual data, artificial intelligence research. Algorithmic image processing and classification are used in security, access control and management systems, video surveillance systems, virtual reality systems and information retrieval systems. At present, handwriting recognition systems, car numbers, fingerprints or human faces are widely used in production. The aim of the work is to develop a system of analysis of the accuracy of transport of vehicles on the basis of visual data, capable of solving the problem of inversion for different applications, recognizing three-dimensional objects of the surrounding world taking into account their transformations. The object of study of the thesis are computer vision systems that classify and identify objects in the image. The subject of the research is the methods and means of developing algorithms of the system of analysis of the safety of the repair of transport equipment on the basis of visual data. Research methods. Methods of computer vision, optimization theory, mathematical statistics, theory of artificial neural networks, probabilistic models, theory of experimental planning were used to solve the tasks. The scientific novelty of the thesis is as follows: • A mathematical model capable of encapsulating depicted objects using a hierarchy of local equivalent features resistant to spatial transformations has been developed. • The algorithm of training of a convolutional neural network on the basis of model of equivalent representation of objects on the basis of a stream of visual data without participation of the experimenter is developed. • The algorithm of identification and classification of objects using CNN convolutional neural network is offered. 1. A comparative analysis of image recognition methods has shown that despite the diversity of approaches to learning and the selection of classification features, most methods do not consider the problem of image recognition of objects under the influence of invariant three-dimensional transformations. The existing class of methods focused on the recognition of three-dimensional objects, such as deep convolutional networks and constellation models, is able to solve the problem of invariant recognition, but demonstrates limited ability to localize objects in the image and determine their spatial location, which is important for a number of applications. information processing tasks. 2. These shortcomings can be eliminated by building a model that includes information about the three-dimensional shape of the depicted objects and the use of appropriate algorithms for learning and recognition. As a new approach to learning such a model, it is proposed to use a learning algorithm using a data stream, which allows to extract information about the spatial relationships of local features of the object and solve the problem of image recognition of arbitrarily oriented three-dimensional objects. In the process of researching the subject area, the work and structure of the information system of the service station were studied. The functional part of the project was also studied. Based on the collected data, a diagram of use cases, context diagram, decomposition diagram is constructed. 1. A set of algorithms that perform the tasks of model learning and image recognition using the developed model is developed and presented. The proposed algorithms allow to fully implement the task of image recognition with the implementation of three-dimensional spatial localization of objects. 2. An algorithm for selecting local features is developed, which is based on the use of computer-theoretical characteristics of the image and the selection of the most information-intensive fragments of the image. 3. An optical tracking algorithm has been developed that allows the model to extract data for learning from video stream frames without the use of a marked sample and without human intervention. Based on the results of the experiments, the following conclusions can be drawn: 1. For the presented method and three alternative recognition methods, a comprehensive test was performed using different categories of test data sets, including images under the influence of blur and occlusion noise. 2. Experimental verification showed the advantage of the developed method. Recognition accuracy when using the proposed method increases by 7-10%. 3. The developed method is more resistant to local noise of images subjected to blurring and occlusion, the drop in recognition accuracy of the developed method is 3-5% against 5-10% of alternative methods. 4. The accuracy of recognition of the developed method when changing the orientation of the object in the image has a deviation of only 4-5%.