Multilayer Neural Networks – As Determined Systems
No Thumbnail Available
Date
2021-10-10
Journal Title
Journal ISSN
Volume Title
Publisher
Видавництво Львівської політехніки
Lviv Politechnic Publishing House
Lviv Politechnic Publishing House
Abstract
В роботі досліджено вплив швидкості навчання (η)
на процес навчання багатошарової нейронної мережі.
Програма для багатошарової нейронної мережі була
написана мовою Python. Швидкість навчання розглядалась як постійна величина і визначалась її оптимальна
величина, за якої досягалось найкраще навчання. Для
аналізу впливу швидкості навчання використовувалась
логістична функція, яка описує процес навчання. Показано, що функція похибки навчання характеризується
біфуркаційними процесами, які призводять до хаотичного стану, якщо η>0,8. Визначено оптимальне значення
швидкості навчання, яке визначає появу процесу
подвоєння кількості локальних мінімумів, і становить
для тришарової нейронної мережі з 4 нейронами в кожному шарі η=0,62. Збільшення кількості прихованих
шарів (3÷30), та кількості нейронів у кожному шарі
(4÷150) не приводить до кардинальної зміни діаграми
логістичної функції (xn,η), а отже, і оптимальної величини швидкості навчання.
The study of the influence of learning speed (η) on the learning process of a multilayer neural network is carried out. The program for a multilayer neural network was written in Python. The learning speed is considered as a constant value and its optimal value at which the best learning is achieved is determined. To analyze the impact of learning speed, a logistic function, which describes the learning process, is used. It is shown that the learning error function is characterized by bifurcation processes that lead to a chaotic state at η> 0.8. The optimal value of the learning speed is determined. The value determines the appearance of the process of doubling the number of local minima, and is η = 0.62 for a three-layer neural network with 4 neurons in each layer. Increasing the number of hidden layers (3 ÷ 30) and the number of neurons in each layer (4 ÷ 150) does not lead to a radical change in the diagram of the logistic function (xn, η), and hence, in the optimal value of the learning speed.
The study of the influence of learning speed (η) on the learning process of a multilayer neural network is carried out. The program for a multilayer neural network was written in Python. The learning speed is considered as a constant value and its optimal value at which the best learning is achieved is determined. To analyze the impact of learning speed, a logistic function, which describes the learning process, is used. It is shown that the learning error function is characterized by bifurcation processes that lead to a chaotic state at η> 0.8. The optimal value of the learning speed is determined. The value determines the appearance of the process of doubling the number of local minima, and is η = 0.62 for a three-layer neural network with 4 neurons in each layer. Increasing the number of hidden layers (3 ÷ 30) and the number of neurons in each layer (4 ÷ 150) does not lead to a radical change in the diagram of the logistic function (xn, η), and hence, in the optimal value of the learning speed.
Description
Keywords
multilayer neural network, learning speed, logistic function, chaotic state
Citation
Multilayer Neural Networks – As Determined Systems / Sergii Sveleba, Volodymyr Brygilevych, Ivan Katerynchuk, Ivan Kuno, Ivan Karpa, Ostap Semotiuk, Yaroslav Shmyhelskyy, Nazar Sveleba // Computational Problems of Electrical Engineering. — Lviv : Lviv Politechnic Publishing House, 2021. — Vol 11. — No 2. — P. 26–31.