Система для розпізнавання елементів одягу та їх кольорів на зображенні

dc.citation.epage32
dc.citation.issue2
dc.citation.journalTitleУкраїнський журнал інформаційних технологій
dc.citation.spage25
dc.citation.volume5
dc.contributor.affiliationНаціональний університет “Львівська політехніка”
dc.contributor.affiliationLviv Polytechnic National University
dc.contributor.authorТеслюк, В. М.
dc.contributor.authorІвасів, С. С.
dc.contributor.authorTeslyuk, V. M.
dc.contributor.authorIvasiv, S. S.
dc.coverage.placenameЛьвів
dc.coverage.placenameLviv
dc.date.accessioned2024-04-01T11:06:08Z
dc.date.available2024-04-01T11:06:08Z
dc.date.created2023-02-28
dc.date.issued2023-02-28
dc.description.abstractУ роботі представлена система розпізнавання елементів одягу та їх кольорів, розроблена мовою програмування Java у вигляді вебзастосунку, використовуючи архітектуру Model-View-Controller (MVC). Для зручності розробки та збирання проєкту використано систему автоматичного збирання Gradle. Система оперує принципами штучних нейронних мереж на платформі Clarifai, детально розглядаючи процес виявлення об'єктів на зображенні та ефективність роботи системи в умовах реального використання. Взято InceptionV2 як базову модель з оброблення зображень, використано техніку FPN для аналізу зображень з різними масштабами, зі зміною розміру зображень до 512 пікселів, і здійснено навчання за допомогою стохастичного градієнтного спуску з використанням техніки виділення важких прикладів (негативів). Застосовано алгоритм зрізу по медіані для визначення домінантного кольору елементу одягу; визначення домінантного кольору кожного елементу одягу розглядається окремо, з акцентом на точність розпізнавання, яка складає 100 %. Реалізовано підхід для визначення найближчого кольору з назвою на основі домінантного кольору. Підхід базується на обчисленні евклідової відстані між двома точками у тривимірному просторі, де здійснюється перебір 140 кольорів з назвою колірної моделі RGB для визначення найближчого кольору з назвою до домінантного. Проте при пошуку найближчого кольору з назвою виявлено певні обмеження, які призводять до пониження точності до 60 %. Вплив різних факторів, таких як освітлення та якість зображення, детально розглядається в контексті їх впливу на результат роботи системи. Інтерфейс користувача представлено як інтуїтивний інструмент для взаємодії з системою, що дає змогу перевіряти розпізнані елементи одягу та визначені кольори. Окрім того, додатково надаються рекомендації з основних колірних комбінацій, які можуть бути використані користувачем для поліпшення свого стилю одягу. У роботі наведено приклад застосування системи на реальному зображенні, візуально продемонстровано результати та описано якість розпізнавання елементів одягу та їх кольорів. Однією з ключових особливостей представленої системи є її гнучкість і можливість масштабування. Якість розпізнавання може бути надалі покращена за допомогою додаткового тренування моделі на більш великих наборах даних. У роботі висвітлені питання оптимізації процесів оброблення даних та подальшого аналізу отриманих результатів. Оцінено час та складність виконання алгоритмів пошуку домінантного кольору та пошуку найближчого кольору з назвою. Наукова новизна отриманих результатів дослідження полягає в тому, шо вперше розроблено комплексну систему розпізнавання елементів одягу та їх кольорів з використанням ШНМ та реалізовано підхід пошуку найближчого кольору з назвою, де під комплексністю системи розуміється повний цикл оброблення зображення в одній системі – визначення розташування елементів одягу, класифікація елементів одягу, визначення домінантного кольору елементів одягу та визначення найближчого кольору з назвою для подальшого візуального відображення усієї інформації користувачу та наданні основних колірних комбінацій для виправлення власних кольорів, чи для того, щоб запевнитись у правильності колірної комбінації. Практична значущість результатів дослідження полягає у розробленні структури та алгоритмів роботи застосунку, програмній реалізації системи, яка змінює підхід до вибору та перевірки колірних комбінацій. Такий підхід дає користувачу чіткі назви кольорів, згідно з якими можна створювати власні, правильні за комбінаціями кольорів, набори одягу або якісно здійснювати пошук елементів одягу у мережі за отриманими кольорами. Також систему можна використати як засіб для розмітки "даних" або, іншими словами, для підготовки матеріалу, який буде використовуватись для тренування моделей машинного навчання чи нейронних мереж. Перспективи розвитку включають інтеграцію з іншими системами, розширення бази даних зображень для покращення точності та використання додаткових джерел даних для розширення функціоналу системи.
dc.description.abstractThe paper introduces a system for recognizing clothing items and their colors, developed using the Java programming language in the form of a web application, employing the Model-View-Controller (MVC) architecture. For development and project assembly convenience, the Gradle automatic build system was utilized. The system operates based on artificial neural network principles on the Clarifai platform, thoroughly examining the process of object detection in images and the system's real-world performance. InceptionV2 serves as the base model for image processing, incorporating the FPN technique to analyze images at different scales, resizing images up to 512 pixels, and training using stochastic gradient descent with hard negative mining. The system employs a median cut algorithm to determine the dominant color of clothing items. Determining the dominant color of each clothing item is done separately, with a focus on achieving 100 % recognition accuracy. An approach to determining the nearest color name based on the dominant color is implemented. This approach is based on calculating the Euclidean distance between two points in a three-dimensional space, iterating through 140 colors with RGB color model names to find the nearest color name. However, there are certain limitations in finding the nearest color name that result in a reduced accuracy of 60 %. The impact of various factors, such as lighting and image quality, is thoroughly examined in the context of their influence on the system's performance. The user interface is designed as an intuitive tool for interacting with the system, allowing users to check recognized clothing items and identified colors. Additionally, recommendations on basic color combinations that users can employ to enhance their clothing style are provided. The work includes an example of the system's application on a real image, visually demonstrating the results and describing the quality of clothing item and color recognition. One of the key features of the presented system is its flexibility and scalability. Recognition quality can be further improved through additional model training on larger datasets. The paper also addresses data processing and result analysis optimization. The novelty of the research results lies in the development of a comprehensive clothing item and color recognition system using artificial neural networks and the implementation of an approach to finding the nearest color with name. Completeness of the system refers to the entire image processing cycle within a single system, including clothing item location determination, clothing item classification, dominant color determination, and finding the nearest color with name for visual display to the user, along with providing basic color combinations for color correction or reassurance of color combinations' correctness. The practical significance of the research results lies in the development of the application's structure and algorithms, the software implementation of the system, which changes the approach to selecting and verifying color combinations. This approach provides users with clear color names, allowing them to create their own accurate color combinations for clothing sets or effectively search for clothing items online based on received colors. The system can also be used as a "data labeling" tool for preparing materials used in training machine learning models or neural networks. Future prospects include integration with other systems, expanding the image database to improve accuracy, and utilizing additional data sources to enhance the system's functionality.
dc.format.extent25-32
dc.format.pages8
dc.identifier.citationТеслюк В. М. Система для розпізнавання елементів одягу та їх кольорів на зображенні / В. М. Теслюк, С. С. Івасів // Український журнал інформаційних технологій. — Львів : Видавництво Львівської політехніки, 2023. — Том 5. — № 2. — С. 25–32.
dc.identifier.citationenTeslyuk V. M. System for recognizing clothing items and their colors in an image / V. M. Teslyuk, S. S. Ivasiv // Ukrainian Journal of Information Technology. — Lviv : Lviv Politechnic Publishing House, 2023. — Vol 5. — No 2. — P. 25–32.
dc.identifier.doidoi.org/10.23939/ujit2023.02.025
dc.identifier.issn2707-1898
dc.identifier.urihttps://ena.lpnu.ua/handle/ntb/61601
dc.language.isouk
dc.publisherВидавництво Львівської політехніки
dc.publisherLviv Politechnic Publishing House
dc.relation.ispartofУкраїнський журнал інформаційних технологій, 2 (5), 2023
dc.relation.ispartofUkrainian Journal of Information Technology, 2 (5), 2023
dc.relation.references[1] Ahmad, I. (2020). 40 Algorithms Every Programmer Should Know: Hone your problem-solving skills by learning different algorithms and their implementation in Python (Illustrated ed.). Packt Publishing, 382p.
dc.relation.references[2] Alamsyah, A., Saputra, M. A. A., & Masrury, R. A. (2019). Object Detection Using Convolutional Neural Network To Identify Popular Fashion Product. Journal of Physics: Conference Series, 1192, 012040. https://doi.org/10.1088/1742-6596/1192/1/012040
dc.relation.references[3] Albon, C. (2018). Machine Learning with Python Cookbook: Practical Solutions from Preprocessing to Deep Learning (1st ed.). O'Reilly Media, 364p. ISBN-10: 9781491989388, ISBN-13: 978-1491989388.
dc.relation.references[4] Brital, A. (2021). Inception V2 CNN Architecture Explained. Retrieved from: https://medium.com/@AnasBrital98/inception-v2-cnn-architecture-explained-128464f742ce
dc.relation.references[5] Brownlee, J. (2020 a). Machine Learning Mastery. Deep Learning CNN for Fashion-MNIST Clothing Classification. Retrieved from: https://machinelearningmastery.com/how-to-develop-a-cnn-from-scratch-for
dc.relation.references[6] Brownlee, J. (2020 b). Machine Learning Mastery. How to Train an Object Detection Model with Keras. Retrieved from: https://machinelearningmastery.com/how-to-train-an-object-detection-mode
dc.relation.references[7] Chu, J., Guo, Z., & Leng, L. (2018). Object Detection Based on Multi-Layer Convolution Feature Fusion and Online Hard Example Mining. IEEE Access, 6, 19959-19967. https://doi.org/10.1109/ACCESS.2018.2815149
dc.relation.references[8] Clarifai. (2013). A leading platform for building AI-powered software solutions. Retrieved from: https://www.clarifai.com/company/about
dc.relation.references[9] Clarifai documentation. (2013). Retrieved from: https://docs.clarifai.com/api-guide/api-overview
dc.relation.references[10] Dhakar, L. (2011). Color Thief. Retrieved from: https://lokeshdhakar.com/projects/color-thief
dc.relation.references[11] Hui, J. (2018). Understanding Feature Pyramid Networks for Object Detection (FPN). Retrieved from: https://jonathan-hui.medium.com/understanding-feature-pyramid-networks-f
dc.relation.references[12] RapidTables. (2023). RGB Color Codes Chart. Retrieved from https://www.rapidtables.com/web/color/RGB_Color.html.
dc.relation.references[13] Schildt, H. (2021). Java: The Complete Reference, Twelfth Edition (12th ed.). McGraw Hill. ISBN-10: 1260463419, ISBN-13: 978-1260463415.
dc.relation.references[14] Shrivastava, A., Gupta, A., & Girshick, R. (2016). Training Region-based Object Detectors with Online Hard Example Mining. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 1, 761-69). https://doi.org/10.1109/CVPR.2016.89
dc.relation.references[15] Sourabh, S. K., & Chakraborty, S. (2009). Empirical Study on the Robustness of Average Complexity & Parameterized Complexity Measure for Heapsort Algorithm. International Journal of Computational Cognition, 7(4), 1.
dc.relation.references[16] Taiwo, O. E., Christianah, A. O., Oluwatobi, A. N., & Aderonke, K. A. (2020). Comparative study of two divide and conquer sorting algorithms: quicksort and mergesort. Procedia Computer Science, 171, 2532-2540. https://doi.org/10.1016/j.procs.2020.04.274
dc.relation.references[17] Thakkar, S. (2018). Dominant colors in an image using k-means clustering. Retrieved from: https://medium.com/buzzrobot/dominant-colors-in-an-image-using-k-means-c
dc.relation.references[18] Tsang, S. (2019). FPN - Feature Pyramid Network (Object Detection). Retrieved from: https://towardsdatascience.com/review-fpn-feature-pyramid-network-object
dc.relation.references[19] Woltmann, S. (2014). Color Thief by Lokesh Dhakar - A Fast Java Implementation. Retrieved from: https://github.com/SvenWoltmann/color-thief-java
dc.relation.referencesen[1] Ahmad, I. (2020). 40 Algorithms Every Programmer Should Know: Hone your problem-solving skills by learning different algorithms and their implementation in Python (Illustrated ed.). Packt Publishing, 382p.
dc.relation.referencesen[2] Alamsyah, A., Saputra, M. A. A., & Masrury, R. A. (2019). Object Detection Using Convolutional Neural Network To Identify Popular Fashion Product. Journal of Physics: Conference Series, 1192, 012040. https://doi.org/10.1088/1742-6596/1192/1/012040
dc.relation.referencesen[3] Albon, C. (2018). Machine Learning with Python Cookbook: Practical Solutions from Preprocessing to Deep Learning (1st ed.). O'Reilly Media, 364p. ISBN-10: 9781491989388, ISBN-13: 978-1491989388.
dc.relation.referencesen[4] Brital, A. (2021). Inception V2 CNN Architecture Explained. Retrieved from: https://medium.com/@AnasBrital98/inception-v2-cnn-architecture-explained-128464f742ce
dc.relation.referencesen[5] Brownlee, J. (2020 a). Machine Learning Mastery. Deep Learning CNN for Fashion-MNIST Clothing Classification. Retrieved from: https://machinelearningmastery.com/how-to-develop-a-cnn-from-scratch-for
dc.relation.referencesen[6] Brownlee, J. (2020 b). Machine Learning Mastery. How to Train an Object Detection Model with Keras. Retrieved from: https://machinelearningmastery.com/how-to-train-an-object-detection-mode
dc.relation.referencesen[7] Chu, J., Guo, Z., & Leng, L. (2018). Object Detection Based on Multi-Layer Convolution Feature Fusion and Online Hard Example Mining. IEEE Access, 6, 19959-19967. https://doi.org/10.1109/ACCESS.2018.2815149
dc.relation.referencesen[8] Clarifai. (2013). A leading platform for building AI-powered software solutions. Retrieved from: https://www.clarifai.com/company/about
dc.relation.referencesen[9] Clarifai documentation. (2013). Retrieved from: https://docs.clarifai.com/api-guide/api-overview
dc.relation.referencesen[10] Dhakar, L. (2011). Color Thief. Retrieved from: https://lokeshdhakar.com/projects/color-thief
dc.relation.referencesen[11] Hui, J. (2018). Understanding Feature Pyramid Networks for Object Detection (FPN). Retrieved from: https://jonathan-hui.medium.com/understanding-feature-pyramid-networks-f
dc.relation.referencesen[12] RapidTables. (2023). RGB Color Codes Chart. Retrieved from https://www.rapidtables.com/web/color/RGB_Color.html.
dc.relation.referencesen[13] Schildt, H. (2021). Java: The Complete Reference, Twelfth Edition (12th ed.). McGraw Hill. ISBN-10: 1260463419, ISBN-13: 978-1260463415.
dc.relation.referencesen[14] Shrivastava, A., Gupta, A., & Girshick, R. (2016). Training Region-based Object Detectors with Online Hard Example Mining. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 1, 761-69). https://doi.org/10.1109/CVPR.2016.89
dc.relation.referencesen[15] Sourabh, S. K., & Chakraborty, S. (2009). Empirical Study on the Robustness of Average Complexity & Parameterized Complexity Measure for Heapsort Algorithm. International Journal of Computational Cognition, 7(4), 1.
dc.relation.referencesen[16] Taiwo, O. E., Christianah, A. O., Oluwatobi, A. N., & Aderonke, K. A. (2020). Comparative study of two divide and conquer sorting algorithms: quicksort and mergesort. Procedia Computer Science, 171, 2532-2540. https://doi.org/10.1016/j.procs.2020.04.274
dc.relation.referencesen[17] Thakkar, S. (2018). Dominant colors in an image using k-means clustering. Retrieved from: https://medium.com/buzzrobot/dominant-colors-in-an-image-using-k-means-c
dc.relation.referencesen[18] Tsang, S. (2019). FPN - Feature Pyramid Network (Object Detection). Retrieved from: https://towardsdatascience.com/review-fpn-feature-pyramid-network-object
dc.relation.referencesen[19] Woltmann, S. (2014). Color Thief by Lokesh Dhakar - A Fast Java Implementation. Retrieved from: https://github.com/SvenWoltmann/color-thief-java
dc.relation.urihttps://doi.org/10.1088/1742-6596/1192/1/012040
dc.relation.urihttps://medium.com/@AnasBrital98/inception-v2-cnn-architecture-explained-128464f742ce
dc.relation.urihttps://machinelearningmastery.com/how-to-develop-a-cnn-from-scratch-for
dc.relation.urihttps://machinelearningmastery.com/how-to-train-an-object-detection-mode
dc.relation.urihttps://doi.org/10.1109/ACCESS.2018.2815149
dc.relation.urihttps://www.clarifai.com/company/about
dc.relation.urihttps://docs.clarifai.com/api-guide/api-overview
dc.relation.urihttps://lokeshdhakar.com/projects/color-thief
dc.relation.urihttps://jonathan-hui.medium.com/understanding-feature-pyramid-networks-f
dc.relation.urihttps://www.rapidtables.com/web/color/RGB_Color.html
dc.relation.urihttps://doi.org/10.1109/CVPR.2016.89
dc.relation.urihttps://doi.org/10.1016/j.procs.2020.04.274
dc.relation.urihttps://medium.com/buzzrobot/dominant-colors-in-an-image-using-k-means-c
dc.relation.urihttps://towardsdatascience.com/review-fpn-feature-pyramid-network-object
dc.relation.urihttps://github.com/SvenWoltmann/color-thief-java
dc.rights.holder© Національний університет “Львівська політехніка”, 2023
dc.subjectClarifai
dc.subjectдомінантний колір
dc.subjectRGB
dc.subjectколірні комбінації
dc.subjectмодель машинного навчання
dc.subjectFeature Pyramid Network (FPN)
dc.subjectClarifai
dc.subjectdominant color
dc.subjectRGB
dc.subjectcolor combinations
dc.subjectmachine learning model
dc.subjectFeature Pyramid Network (FPN)
dc.subject.udc004.4
dc.titleСистема для розпізнавання елементів одягу та їх кольорів на зображенні
dc.title.alternativeSystem for recognizing clothing items and their colors in an image
dc.typeArticle

Files

Original bundle
Now showing 1 - 2 of 2
No Thumbnail Available
Name:
2023v5n2_Teslyuk_V_M-System_for_recognizing_25-32.pdf
Size:
1.44 MB
Format:
Adobe Portable Document Format
No Thumbnail Available
Name:
2023v5n2_Teslyuk_V_M-System_for_recognizing_25-32__COVER.png
Size:
1.78 MB
Format:
Portable Network Graphics
License bundle
Now showing 1 - 1 of 1
No Thumbnail Available
Name:
license.txt
Size:
1.8 KB
Format:
Plain Text
Description: