Віртуальна онлайн-примірка аксесуарів і головних уборів з використанням доповненої реальності

Abstract

Протягом останніх років зростає кількість куплених в інтернеті аксесуарів і головних уборів, і водночас не зменшується процент повернення товару. Одним з підходів до вирішення цієї проблеми є віртуальні приміряльні. Доступність до системи онлайн-припасування аксесуарів і головних уборів та якість примірки є важливими критеріями для користувачів. Наявні системи для онлайн-примірки мають недоліки з оклюзіями, відображенням освітлення й тіней, а також точністю відтворення товарів на людині щодо навколишнього середовища. У статті запропоновано вирішення проблеми онлайн-припасування до людини аксесуарів і головних уборів з появою тіней та освітлення на 3D моделі за рахунок використання нейронних мереж. Запропоновано метод, який симулює високоякісне припасування товарів на людині, з високою кількістю кадрів за секунду, можливістю відтворити з будь-якого пристрою з веббраузером та невеликими вимогами до CPU та GPU. Прототип алгоритму має переваги порівняно з 2D аналогами: 3D освітлення, динамічна зміна його яскравості, тіні, віртуальне середовище та зменшені оклюзії. Створено віртуальну онлайн-примірку з використанням доповненої реальності – MLight-VTON. Зазначено, що на основі запропонованого методу та бібліотеки Three.js можна додавати натреновані моделі TensorFlow.js для подальшого вдосконалення деформації тканини та сегментації тіла. In recent years, the number of accessories and headwear purchased on the Internet has been increasing, and at the same time, the percentage of product returns has not decreased. One approach to solving this problem is virtual fitting rooms. Accessibility to the online fitting system for accessories and headwear and the quality of fitting are important criteria for users. Existing systems for online fitting have shortcomings with occlusions, reflection of lighting and shadows, and the accuracy of reproduction of goods on a person in relation to the environment. The article is devoted to solving the problem of online fitting of accessories and headgear to a person with the appearance of shadows and lighting on a 3D model due to the use of neural networks. A method is proposed that simulates high-quality human stocking with a high number of frames per second, the ability to play from any device with a web browser, and low CPU and GPU requirements. The algorithm prototype has advantages compared to 2D counterparts: 3D lighting, dynamic change of its brightness, shadows, virtual environment and reduced occlusions. Created a virtual online fitting using augmented reality – MLight-VTON. It is noted that based on the proposed method and the Three.js library, trained TensorFlow.js models can be added to further improve tissue deformation and body segmentation.