Hechth–Nielsen theorem for a modified neural network with diagonal synaptic connections

Abstract

У роботі запропоновано модифіковану тришарову нейронну мережу з архітектурою, яка має тільки діагональні синаптичні зв’язки між нейронами, внаслідок чого отримано трансформовану теорему Хехт–Нільсена. Така архітектура тришарової нейронної мережі (m = 2n + 1 - кількість нейронів прихованого шару нейромережі, n - кількість вхідних образів) дає змогу апроксимувати функцію від n змінних із заданою точністю " > 0 за допомогою однієї операції агрегування. Тришарова нейронна мережа, яка має як діагональні, так і недіагональні синаптичні зв’язки між нейронами, апроксимує функцію від n змінних за допомогою двох операцій агрегування. Крім цього, діагоналізація матриці синаптичних зв’язків приводить до зменшення обчислювального ресурсу і відповідно до зменшення часу налаштування вагових коефіцієнтів синаптичних зв’язків під час навчання нейронної мережі.

The work suggests a modified three-layer neural network with architecture that has only the diagonal synaptic connections between neurons; as a result we obtain the transformed Hecht–Nielsen theorem. This architecture of a three-layer neural network (m = 2n + 1 is the number of neurons in the hidden layer of the neural network, n is the number of input signals) allows us to approximate the function of n variables, with the given accuracy " > 0, using one aggregation operation, whereas a three-layer neural network that has both diagonal and non-diagonal synaptic connections between neurons approximates the function of n variables by means of two aggregation operations. In addition, the matrix diagonalization of the synaptic connections leads to a decrease of computing resources and reduces the time of adjustment of the weight coefficients during the training of a neural network.