Система для розпізнавання елементів одягу та їх кольорів на зображенні
Date
2023-02-28
Journal Title
Journal ISSN
Volume Title
Publisher
Видавництво Львівської політехніки
Lviv Politechnic Publishing House
Lviv Politechnic Publishing House
Abstract
У роботі представлена система розпізнавання елементів одягу та їх кольорів, розроблена мовою програмування Java у вигляді вебзастосунку, використовуючи архітектуру Model-View-Controller (MVC). Для зручності розробки та збирання проєкту використано систему автоматичного збирання Gradle. Система оперує принципами штучних нейронних мереж на платформі Clarifai, детально розглядаючи процес виявлення об'єктів на зображенні та ефективність роботи системи в умовах реального використання. Взято InceptionV2 як базову модель з оброблення зображень, використано техніку FPN для аналізу зображень з різними масштабами, зі зміною розміру зображень до 512 пікселів, і здійснено навчання за допомогою стохастичного градієнтного спуску з використанням техніки виділення важких прикладів (негативів). Застосовано алгоритм зрізу по медіані для визначення домінантного кольору елементу одягу; визначення домінантного кольору кожного елементу одягу розглядається окремо, з акцентом на точність розпізнавання, яка складає 100 %. Реалізовано підхід для визначення найближчого кольору з назвою на основі домінантного кольору. Підхід базується на обчисленні евклідової відстані між двома точками у тривимірному просторі, де здійснюється перебір 140 кольорів з назвою колірної моделі RGB для визначення найближчого кольору з назвою до домінантного. Проте при пошуку найближчого кольору з назвою виявлено певні обмеження, які призводять до пониження точності до 60 %. Вплив різних факторів, таких як освітлення та якість зображення, детально розглядається в контексті їх впливу на результат роботи системи. Інтерфейс користувача представлено як інтуїтивний інструмент для взаємодії з системою, що дає змогу перевіряти розпізнані елементи одягу та визначені кольори. Окрім того, додатково надаються рекомендації з основних колірних комбінацій, які можуть бути використані користувачем для поліпшення свого стилю одягу. У роботі наведено приклад застосування системи на реальному зображенні, візуально продемонстровано результати та описано якість розпізнавання елементів одягу та їх кольорів. Однією з ключових особливостей представленої системи є її гнучкість і можливість масштабування. Якість розпізнавання може бути надалі покращена за допомогою додаткового тренування моделі на більш великих наборах даних. У роботі висвітлені питання оптимізації процесів оброблення даних та подальшого аналізу отриманих результатів. Оцінено час та складність виконання алгоритмів пошуку домінантного кольору та пошуку найближчого кольору з назвою. Наукова новизна отриманих результатів дослідження полягає в тому, шо вперше розроблено комплексну систему розпізнавання елементів одягу та їх кольорів з використанням ШНМ та реалізовано підхід пошуку найближчого кольору з назвою, де під комплексністю системи розуміється повний цикл оброблення зображення в одній системі – визначення розташування елементів одягу, класифікація елементів одягу, визначення домінантного кольору елементів одягу та визначення найближчого кольору з назвою для подальшого візуального відображення усієї інформації користувачу та наданні основних колірних комбінацій для виправлення власних кольорів, чи для того, щоб запевнитись у правильності колірної комбінації. Практична значущість результатів дослідження полягає у розробленні структури та алгоритмів роботи застосунку, програмній реалізації системи, яка змінює підхід до вибору та перевірки колірних комбінацій. Такий підхід дає користувачу чіткі назви кольорів, згідно з якими можна створювати власні, правильні за комбінаціями кольорів, набори одягу або якісно здійснювати пошук елементів одягу у мережі за отриманими кольорами. Також систему можна використати як засіб для розмітки "даних" або, іншими словами, для підготовки матеріалу, який буде використовуватись для тренування моделей машинного навчання чи нейронних мереж. Перспективи розвитку включають інтеграцію з іншими системами, розширення бази даних зображень для покращення точності та використання додаткових джерел даних для розширення функціоналу системи.
The paper introduces a system for recognizing clothing items and their colors, developed using the Java programming language in the form of a web application, employing the Model-View-Controller (MVC) architecture. For development and project assembly convenience, the Gradle automatic build system was utilized. The system operates based on artificial neural network principles on the Clarifai platform, thoroughly examining the process of object detection in images and the system's real-world performance. InceptionV2 serves as the base model for image processing, incorporating the FPN technique to analyze images at different scales, resizing images up to 512 pixels, and training using stochastic gradient descent with hard negative mining. The system employs a median cut algorithm to determine the dominant color of clothing items. Determining the dominant color of each clothing item is done separately, with a focus on achieving 100 % recognition accuracy. An approach to determining the nearest color name based on the dominant color is implemented. This approach is based on calculating the Euclidean distance between two points in a three-dimensional space, iterating through 140 colors with RGB color model names to find the nearest color name. However, there are certain limitations in finding the nearest color name that result in a reduced accuracy of 60 %. The impact of various factors, such as lighting and image quality, is thoroughly examined in the context of their influence on the system's performance. The user interface is designed as an intuitive tool for interacting with the system, allowing users to check recognized clothing items and identified colors. Additionally, recommendations on basic color combinations that users can employ to enhance their clothing style are provided. The work includes an example of the system's application on a real image, visually demonstrating the results and describing the quality of clothing item and color recognition. One of the key features of the presented system is its flexibility and scalability. Recognition quality can be further improved through additional model training on larger datasets. The paper also addresses data processing and result analysis optimization. The novelty of the research results lies in the development of a comprehensive clothing item and color recognition system using artificial neural networks and the implementation of an approach to finding the nearest color with name. Completeness of the system refers to the entire image processing cycle within a single system, including clothing item location determination, clothing item classification, dominant color determination, and finding the nearest color with name for visual display to the user, along with providing basic color combinations for color correction or reassurance of color combinations' correctness. The practical significance of the research results lies in the development of the application's structure and algorithms, the software implementation of the system, which changes the approach to selecting and verifying color combinations. This approach provides users with clear color names, allowing them to create their own accurate color combinations for clothing sets or effectively search for clothing items online based on received colors. The system can also be used as a "data labeling" tool for preparing materials used in training machine learning models or neural networks. Future prospects include integration with other systems, expanding the image database to improve accuracy, and utilizing additional data sources to enhance the system's functionality.
The paper introduces a system for recognizing clothing items and their colors, developed using the Java programming language in the form of a web application, employing the Model-View-Controller (MVC) architecture. For development and project assembly convenience, the Gradle automatic build system was utilized. The system operates based on artificial neural network principles on the Clarifai platform, thoroughly examining the process of object detection in images and the system's real-world performance. InceptionV2 serves as the base model for image processing, incorporating the FPN technique to analyze images at different scales, resizing images up to 512 pixels, and training using stochastic gradient descent with hard negative mining. The system employs a median cut algorithm to determine the dominant color of clothing items. Determining the dominant color of each clothing item is done separately, with a focus on achieving 100 % recognition accuracy. An approach to determining the nearest color name based on the dominant color is implemented. This approach is based on calculating the Euclidean distance between two points in a three-dimensional space, iterating through 140 colors with RGB color model names to find the nearest color name. However, there are certain limitations in finding the nearest color name that result in a reduced accuracy of 60 %. The impact of various factors, such as lighting and image quality, is thoroughly examined in the context of their influence on the system's performance. The user interface is designed as an intuitive tool for interacting with the system, allowing users to check recognized clothing items and identified colors. Additionally, recommendations on basic color combinations that users can employ to enhance their clothing style are provided. The work includes an example of the system's application on a real image, visually demonstrating the results and describing the quality of clothing item and color recognition. One of the key features of the presented system is its flexibility and scalability. Recognition quality can be further improved through additional model training on larger datasets. The paper also addresses data processing and result analysis optimization. The novelty of the research results lies in the development of a comprehensive clothing item and color recognition system using artificial neural networks and the implementation of an approach to finding the nearest color with name. Completeness of the system refers to the entire image processing cycle within a single system, including clothing item location determination, clothing item classification, dominant color determination, and finding the nearest color with name for visual display to the user, along with providing basic color combinations for color correction or reassurance of color combinations' correctness. The practical significance of the research results lies in the development of the application's structure and algorithms, the software implementation of the system, which changes the approach to selecting and verifying color combinations. This approach provides users with clear color names, allowing them to create their own accurate color combinations for clothing sets or effectively search for clothing items online based on received colors. The system can also be used as a "data labeling" tool for preparing materials used in training machine learning models or neural networks. Future prospects include integration with other systems, expanding the image database to improve accuracy, and utilizing additional data sources to enhance the system's functionality.
Description
Keywords
Clarifai, домінантний колір, RGB, колірні комбінації, модель машинного навчання, Feature Pyramid Network (FPN), Clarifai, dominant color, RGB, color combinations, machine learning model, Feature Pyramid Network (FPN)
Citation
Теслюк В. М. Система для розпізнавання елементів одягу та їх кольорів на зображенні / В. М. Теслюк, С. С. Івасів // Український журнал інформаційних технологій. — Львів : Видавництво Львівської політехніки, 2023. — Том 5. — № 2. — С. 25–32.