Інформаційна інтелектуальна система виявлення збігів в колекціях графічних зображень

Abstract

У сучасному світі неперервний обмін графічними зображеннями є повсякденним явищем для багатьох з нас. Проте це також викликає ряд проблем, які потребують розв'язання. Способів представлення графічної інформації існує дуже багато, і з кожним днем кількість зображень лише зростає, що ускладнює роботу з великими обсягами даних. Тому ручний пошук схожостей та спільних характеристик між зображеннями є малоефективним і недоцільним методом. Завдяки створенню автоматизованої системи, яка може приймати на вхід набори графічних зображень та порівнювати їх різними методами, індивідуально підібраними для кожного типу зображень, цей процес можна значно прискорити та спростити. Для реалізації такого функціоналу у системі використовувалися такі алгоритми пошуку ключових точок, як ORB(Oriented FAST Rotated BRIEF), SIFT(Scale Invariant Feature Transform) [1], а також нейромережа VGG16 [2]. ORB (Oriented FAST and Rotated BRIEF) – це ефективний метод виявлення ключових точок та їх опису для використання в комп'ютерному зорі. ORB використовує алгоритм FAST (Features from Accelerated Segment Test) для швидкого виявлення ключових точок, після чого оцінює їхню орієнтацію, що робить його інваріантним до поворотів. Для опису ключових точок ORB застосовує метод BRIEF (Binary Robust Independent Elementary Features), обертаючи шаблони BRIEF відповідно до орієнтації ключової точки для підвищення інваріантності до поворотів. SIFT (Scale-Invariant Feature Transform) – це метод виявлення ключових точок та їх опису, що використовується в комп'ютерному зорі. SIFT виявляє ключові точки, визначаючи масштабно-інваріантні особливості зображення, що робить його стійким до змін масштабу, обертання та освітлення. Метод використовує Gaussian blur для виявлення екстремумів в масштабно-просторовому просторі. Після виявлення ключових точок, SIFT оцінює їхню орієнтацію, що дозволяє створювати інваріантні до обертання дескриптори. Для опису ключових точок SIFT будує гістограму градієнтів в локальному околі точки, що забезпечує детальний і надійний опис. VGG16 – це згорткова нейронна мережа, яка використовується для аналізу зображень в комп'ютерному зорі. Вона складається з 16 шарів, включаючи 13 згорткових шарів та 3 повнозв'язних шари. Кожен згортковий шар супроводжується функцією активації ReLU, що допомагає моделі вивчати нелінійні залежності. Після кількох згорткових шарів додаються шари max-pooling, які зменшують розмір просторових даних, зберігаючи найважливіші ознаки. VGG16 показує високу точність у задачах класифікації зображень. Використання VGG16 значно спрощує роботу з великими об'ємами графічних даних і забезпечує високу точність визначення ознак. Також одним з важливих компонентів реалізації став користувацький інтерфейс, що був реалізований за допомогою бібліотеки CustomTkinter, яка дозволила реалізувати зручний та повноцінний інтерфейс для взаємодії з програмою простих користувачів. Об’єкт дослідження – процес перевірки та виявлення рівня подібності одного або декількох графічних зображень до заданої вибірки зображень. Предмет дослідження – методи, алгоритми та програмні засоби, що дозволять обробляти та аналізувати однакові зображення для виявлення плагіату або множинних копій, а також забезпечити найвищу якість та швидкість у пошуку таких зображень. Мета та задачі дослідження – створення інтелектуальної інформаційної системи для пошуку збігів графічних зображень у певній вибірці. Проектування цієї системи включало вирішення наступних завдань: • Створення програмного забезпечення, яке може приймати набір зображень для обробки. • Розробка алгоритму аналізу зображень для покращення продуктивності та точності розпізнавання подібності. • Створення зручного інтерфейсу для кінцевого користувача. • Забезпечення можливості роботи з різними форматами графічних об’єктів. • Надання можливості точного налаштування параметрів для виявлення подібності серед графічних зображень. Науковою новизною одержаних результатів є не лише детальний опис, оцінка якості та реалізація базових принципів алгоритмів, що здатні формувати чіткі критерії порівняння графічних зображень між собою, а й імплементація більш складних новітніх інтелектуальних технологій, що базуються на використанні методів машинного навчання та штучного інтелекту. Результатом даної роботи є спроектована програма пошуку схожих характеристик в колекціях графічних зображень. Ця програма дозволяє здійснювати вибір зображень для порівняння, вибрати та настроїти під себе кожен з типів пошуку та швидко і у простому вигляді представити результати виконаного пошуку.In today's world, the continuous exchange of graphic images is a daily occurrence for many of us. However, it also raises a number of problems that need to be solved. There are many ways to present graphic information, and every day the number of images only grows, which makes it difficult to work with large amounts of data. Therefore, manual search for similarities and common characteristics between images is an inefficient and impractical method. By creating an automated system that can take in sets of graphic images and compare them using different methods individually tailored to each type of image, this process can be greatly accelerated and simplified. To implement such functionality in the system, such key point search algorithms as ORB (Oriented FAST Rotated BRIEF), SIFT (Scale Invariant Feature Transform) [1], as well as the VGG16 neural network [2] were used. ORB (Oriented FAST and Rotated BRIEF) is an effective method of identifying key points and describing them for use in computer vision. ORB uses the FAST (Features from Accelerated Segment Test) algorithm to quickly detect key points, then estimates their orientation, making it invariant to turns. To describe keypoints, ORB applies the BRIEF (Binary Robust Independent Elementary Features) method, rotating BRIEF patterns according to keypoint orientation to improve rotation invariance. SIFT (Scale-Invariant Feature Transform) is a keypoint detection and description method used in computer vision. SIFT detects key points by identifying scale-invariant features of an image, making it robust to changes in scale, rotation, and illumination. The method uses Gaussian blur to detect extremes in scale-spatial space. After detecting the key points, SIFT estimates their orientation, which allows the creation of rotation-invariant descriptors. To describe key points, SIFT builds a histogram of gradients in the local neighborhood of the point, which provides a detailed and reliable description. VGG16 is a convolutional neural network used for image analysis in computer vision. It consists of 16 layers, including 13 convolutional layers and 3 fully connected layers. Each convolutional layer is accompanied by a ReLU activation function that helps the model learn nonlinear dependencies. After several convolutional layers, max-pooling layers are added, which reduce the size of the spatial data while preserving the most important features. VGG16 shows high accuracy in image classification tasks. The use of VGG16 significantly simplifies work with large volumes of graphic data and ensures high accuracy of feature determination. Also, one of the important components of the implementation was the user interface, which was implemented with the help of the CustomTkinter library, which made it possible to implement a convenient and full-fledged interface for interaction with the program of ordinary users. The object of research is the process of checking and identifying the level of similarity of one or more graphic images to a given sample of images. The subject of research is methods, algorithms and software tools that will allow processing and analysis of identical images to detect plagiarism or multiple copies, as well as to ensure the highest quality and speed in the search of such images. The purpose and tasks of the research are the creation of an intelligent information system for finding matches of graphic images in a certain sample. The design of this system included solving the following tasks: • Creating software that can accept a set of images for processing. • Development of an image analysis algorithm to improve the performance and accuracy of similarity recognition. • Creating a user-friendly interface for the end user. • Providing the ability to work with various formats of graphic objects. • Providing the possibility of fine-tuning parameters for detecting similarities among graphic images. The scientific novelty of the obtained results is not only the detailed description, quality assessment and implementation of the basic principles of algorithms capable of forming clear criteria for comparing graphic images with each other, but also the implementation of more complex modern intelligent technologies based on the use of machine learning methods and artificial intelligence. The result of this work is a designed program for searching for similar characteristics in collections of graphic images. This program allows you to select images for comparison, select and customize each of the search types, and quickly and simply present the results of the performed search.