Методи навчання штучних нейромереж на базі узагальнених нейроелементів

Abstract

Дисертаційна робота присвячена розробленню методів навчання узагальнених нейронних елементів та штучних нейромереж на основі цих елементів. Встановлено нові властивості двопорогових нейронних елементів, поліноміальних нейронних елементів та комплексних нейронних елементів з дискретними функціями активації. Запропоновано нові і узагальнено існуючі методи навчання нейроелементів вказаного типу, досліджено поведінку, збіжність, швидкість та алгоритмічну складність алгоритмів їх навчання. Розроблено методи навчання штучних багатошарових нейромереж прямого поширення на базі узагальнених нейронних елементів зі згладженими функціями активації. Описано модифікації алгоритму зворотного поширення похибки навчання цих нейромереж. На основі запропонованих у дисертаційній роботі моделей та методів розроблено програмне забезпечення для підтримки процесу планування випуску продукції УАП ТОВ «Фішер-Мукачево». The thesis is devoted to the research of the properties of generalized neurons and ar-tificial neural networks, the development of the learning methods, neural net simulation, the design of IT solutions for forecasting. The new properties of bithreshold neurons, polynomial neurons and complex weighted neurons with discrete activation functions are established. The new or modified learning techniques are proposed also the learning algorithms behavior, convergence, computational speed and complexity are studied. The techniques of the learning of multilayer feed-forward neural networks with smoothed activation functions are developed. The modification of back-propagation for such networks is featured. The software solution for production planning is designed based on models and techniques developed in the thesis. Диссертационная работа посвящена вопросам исследования свойств обобщенных нейронных элементов и искусственных нейросетей на базе этих элементов, разработке методов и алгоритмов их обучения с учителем, нейросетевого моделирования, построения нейросетевых информационных технологий для решения задачи прогнозирования. Установлены новые свойства двухпороговых нейронных элементов, полиномиальных нейронных элементов и комплексных нейронных элементов с дискретными функциями активации. Получены новые оценки числа д-разбиений и количества двухпороговых булевых функций и найдены условия, которые обеспечивают представление двухпороговых булевых функций с помощью списков решений. Установлены оценки коэффициентов целочисленных весовых векторов двухпороговых нейронных элементов. Определен объем памяти, достаточной для сохранения весовых векторов двухпороговых нейронных элементов. Предложены новые и обобщены существующие методы обучения нейроэлементов указанного вида, исследовано поведение, сходимость, скорость и алгоритмическая сложность алгоритмов их обучения. Доказана конечность итерационного процесса обучения полиномиальных нейронных элементов в режиме offline. Показано, что задача обучения двухпорогового нейронного элемента относится к классу NP-полных задач. Разработаны методы обучения искусственных многослойных нейросетей прямого распространения на базе обобщенных нейронных элементов со сглаженными двухпороговыми функциями активации. Описаны модификации алгоритма обратного распространения обучения этих нейросетей. Разработана модификация алгоритма обратного распространения ошибки обучения многослойной искусственной комплексной нейросети прямого распространения. На основе предложенных в диссертационной работе моделей и методов разработано программное обеспечение для поддержки процесса планирования выпуска продукции УАП ООО «Фишер-Мукачево».