Побудова оптимізованої багатошарової нейронної мережі в межах нелінійної моделі узагальненої похибки

Abstract

У роботі запропоновано спосіб оптимізації структури багатошарової нейронної мережі на основі мінімізації нелінійної узагальненої похибки, яка ґрунтується на принципі мінімальної довжини опису. Відповідно до цього принципу, узагальнена похибка мережі під час роботи з новими даними визначається похибкою апроксимації даних нейронною мережею у нелінійному наближенні та похибкою опису моделі. З умови мінімуму узагальненої похибки мережі виведено вирази для обчислення оптимального розміру мережі (кількість синаптичних зв’язків та кількість нейронів у прихованих шарах). Побудовано графічні залежності узагальненої похибки мережі від кількості синаптичних зв’язків між нейронами за різних значень вхідних образів і фіксованої кількості навчальних прикладів та графічні залежності оптимальної кількості синаптичних зв’язків від кількості навчальних прикладів за різних значень вхідних образів. На основі співвідношень для оптимальної кількості синаптичних зв’язків між нейронами та оптимальної кількості нейронів у прихованих шарах оцінено ступінь складності навчання нейронної мережі.

In this paper, we propose a method for optimizing the structure of a multilayer neural network based on minimizing nonlinear generalized error, which is based on the principle of minimum length of description. According to this principle, the generalized error is determined by the error in the description of the model and the error in the approximation of the data by the neural network in the nonlinear approximation. From the condition of minimizing the generalized network error, the expressions for calculating the optimal network size are given (the number of synaptic connections and the number of neurons in hidden layers). The graphic dependences of the generalized error of the network on the number of synaptic connections between the neurons with different values of input images and the fixed number of educational examples and the graphic dependences of the optimal number of synaptic connections from the number of educational examples with different values of the input images are constructed. The assessment of the degree of complexity of the training of the neural network is carried out on the basis of the ratio of the optimal number of synaptic connections between the neurons and the optimal number of neurons in the hidden layers.