Hechth–Nielsen theorem for a modified neural network with diagonal synaptic connections

Date

2019-02-26

Authors

Пелещак, Р.
Литвин, В.
Пелещак, І.
Дорошенко, М.
Оливко, Р.
Peleshchak, R.
Lytvyn, V.
Peleshchak, I.
Doroshenko, M.
Olyvko, R.

Journal Title

Journal ISSN

Volume Title

Publisher

Lviv Politechnic Publishing House

Abstract

У роботі запропоновано модифіковану тришарову нейронну мережу з архітектурою, яка має тільки діагональні синаптичні зв’язки між нейронами, внаслідок чого отримано трансформовану теорему Хехт–Нільсена. Така архітектура тришарової нейронної мережі (m = 2n + 1 - кількість нейронів прихованого шару нейромережі, n - кількість вхідних образів) дає змогу апроксимувати функцію від n змінних із заданою точністю " > 0 за допомогою однієї операції агрегування. Тришарова нейронна мережа, яка має як діагональні, так і недіагональні синаптичні зв’язки між нейронами, апроксимує функцію від n змінних за допомогою двох операцій агрегування. Крім цього, діагоналізація матриці синаптичних зв’язків приводить до зменшення обчислювального ресурсу і відповідно до зменшення часу налаштування вагових коефіцієнтів синаптичних зв’язків під час навчання нейронної мережі.
The work suggests a modified three-layer neural network with architecture that has only the diagonal synaptic connections between neurons; as a result we obtain the transformed Hecht–Nielsen theorem. This architecture of a three-layer neural network (m = 2n + 1 is the number of neurons in the hidden layer of the neural network, n is the number of input signals) allows us to approximate the function of n variables, with the given accuracy " > 0, using one aggregation operation, whereas a three-layer neural network that has both diagonal and non-diagonal synaptic connections between neurons approximates the function of n variables by means of two aggregation operations. In addition, the matrix diagonalization of the synaptic connections leads to a decrease of computing resources and reduces the time of adjustment of the weight coefficients during the training of a neural network.

Description

Keywords

нейронна мережа, діагоналізація матриці, операція агрегування, апроксимація функції, neural network, diagonalize the matrix, aggregation operation, approximation of function

Citation

Hechth–Nielsen theorem for a modified neural network with diagonal synaptic connections / R. Peleshchak, V. Lytvyn, I. Peleshchak, M. Doroshenko, R. Olyvko // Mathematical Modeling and Computing. — Lviv : Lviv Politechnic Publishing House, 2019. — Vol 6. — No 1. — P. 101–108.

Endorsement

Review

Supplemented By

Referenced By