Improving pedestrian segmentation using region proposal-based CNN semantic segmentation

Abstract

Сегментація пішоходів є критично важливим завданням комп’ютерного зору, але моделям сегментації може бути складно точно класифікувати пішоходів на зображеннях із складним фоном і змінами яскравості, а також оклюзіями. Ця проблема ще більше ускладнюється для стиснутих моделей, які були розроблені для роботи з високими обчислювальними вимогами глибинних нейронних мереж. Щоб вирішити ці проблеми, запропоновано новий підхід, який інтегрує структуру на основі регіональних пропозицій у процес сегментації. Щоб оцінити продуктивність запропонованого фреймворку, проведено експерименти з набором даних PASCAL VOC, який є складним фоном. Використовуємо дві різні моделі сегментації, UNet і SqueezeUNet, щоб оцінити вплив регіональних пропозицій на ефективність сегментації. Проведені експерименти показують, що включення регіональних пропозицій значно покращує точність сегментації та зменшує кількість помилкових пікселів у фоні, що призводить до кращої загальної продуктивності. Зокрема, модель SqueezeUNet забезпечує середнє значення Intersection over Union (mIoU) у розмірі 0.682, що на 12% краще порівняно з базовою моделлю SqueezeUNet без регіональних пропозицій. Подібно модель UNet досягає 0.678, що є покращенням на 13% порівняно з базовою моделлю UNet без регіональних пропозицій.

Pedestrian segmentation is a critical task in computer vision, but it can be challenging for segmentation models to accurately classify pedestrians in images with challenging backgrounds and luminosity changes, as well as occlusions. This challenge is further compounded for compressed models that were designed to deal with the high computational demands of deep neural networks. To address these challenges, we propose a novel approach that integrates a region proposal-based framework into the segmentation process. To evaluate the performance of the proposed framework, we conduct experiments on the PASCAL VOC dataset, which presents challenging backgrounds. We use two different segmentation models, UNet and SqueezeUNet, to evaluate the impact of region proposals on segmentation performance. Our experiments show that the incorporation of region proposals significantly improves segmentation accuracy and reduces false positive pixels in the background, leading to better overall performance. Specifically, the SqueezeUNet model achieves a mean Intersection over Union (mIoU) of 0.682, which is a 12% improvement over the baseline SqueezeUNet model without region proposals. Similarly, the UNet model achieves a mIoU of 0.678, which is a 13% improvement over the baseline UNet model without region proposals.