Дослідження архітектури розріджених мереж

Abstract

Бакалаврська кваліфікаційна робота виконана студентом групи КН-408 Бердником Данилом Ігоровичем. Тема «Дослідження архітектури розріджених мереж». Робота направлена на здобуття ступеня бакалавр за спеціальністю 122 «Комп’ютерні науки». Об'єкт – архітектури згорткових нейронних мереж такі як Lenet-5, Resnet-18 та VGG-11. Предмет дослідження – оптимізація різних архітектур згорткових нейронних мереж за допомогою різних методів розрідження та визначення об’єму інформації, який міститься у мережі. Мета – визначення різниці в об’ємі інформації, яку містить мережа отримана в результаті операції розрідження. Пошук патернів в розріджених мережах для подальшої побудови оптимальних нейронних мереж. В результаті роботи, для обраних архітектур мереж було застосовано методи, які дозволяють отримати розріджену архітектуру мережі та проведено оцінки отриманих архітектур метриками точності та обсягу інформації. Отримані результати дозволяють визначити патерни важливості шарів згорткових мереж. Загальний обсяг роботи: 57 сторінки, 19 рисунків, 19 посилань. The bachelor's qualification work was performed by a student of the KN-408 group Berdnyk Danylo Ihorovych. Topic " Investigation of the structure of sparce neural networks". The work is aimed at obtaining a bachelor's degree in 122 "Computer Science". Object architectures of convolutional neural networks such as Lenet-5, Resnet-18 and VGG-11. The subject of research is the optimization of different architectures of convolutional neural networks using different sparcity methods and methods for measuring the amount of information contained in the network. The purpose is to determine the difference in the amount of information contained in the network obtained as a result of the sparse operation. Search for patterns in sparse networks for further construction of optimal neural networks. As a result, for the selected network architectures, were used methods that allow to obtain a sparse network architecture and to evaluate the obtained architectures by metrics of accuracy and amount of information. The obtained results allow to determine the patterns of importance of layers of convolutional networks. Total volume of work: 57 pages, 19 figures, 19 links.