Оцінка методу прунінгу SNIP на сучасній моделі детекції обличчя

Abstract

Завдяки швидкому розвитку машинного навчання та як наслідок глибокого навчання глибокі нейронні мережі досягли помітних результатів у різних сферах. Однак зі збільшенням точності навчених моделей нові архітектури нейронних мереж створюють нові виклики, оскільки потребують великої кількості обчислювальних потужностей для навчання та подальшого використання. Ця стаття має на меті переглянути підходи до зменшення обчислювальних потужностей та часу, потрібних для навчання нейронних мереж, оцінити та вдосконалити один із таких методів на моделі для детекції облич. Результати показали, що пропонований метод може усунути 69 % параметрів, втрачаючи лише 1,4 % точності. Його можна додатково покращити, зменшивши втрату точності до 0,7 %, вилучивши контекстні модулі мережі із методу.With rapid development of machine learning and subsequently deep learning, deep neural networks achieved remarkable results in solving various tasks. However, with increasing the accuracy of trained models, new architectures of neural networks present new challenges as they require significant amount of computing power for training and inference. This paper aims to review existing approaches to reducing computational power and training time of the neural network, evaluate and improve one of existing pruning methods for a face detection model. Obtained results show that the presented method can eliminate 69% of parameters while accuracy being declined only by 1.4%, which can be further improved to 0.7% by excluding context network modules from the pruning method.