Multilayer Neural Networks – As Determined Systems

Simple item page
dc.citation.epage31
dc.citation.issue2
dc.citation.spage26
dc.contributor.affiliationIvan Franko National University of Lviv
dc.contributor.affiliationState Higher School of Technology and Economics in Jarosław, Poland
dc.contributor.affiliationUkrainian Academy of Printing
dc.contributor.authorСвелеба, Сергій
dc.contributor.authorБригілевич, Володимир
dc.contributor.authorКатеринчук, Іван
dc.contributor.authorКуньо, Іван
dc.contributor.authorКарпа, Іван
dc.contributor.authorСемотюк, Остап
dc.contributor.authorШмигельський, Ярослав
dc.contributor.authorСвелеба, Назар
dc.contributor.authorSveleba, Sergii
dc.contributor.authorBrygilevych, Volodymyr
dc.contributor.authorKaterynchuk, Ivan
dc.contributor.authorKuno, Ivan
dc.contributor.authorKarpa, Ivan
dc.contributor.authorSemotiuk, Ostap
dc.contributor.authorShmyhelskyy, Yaroslav
dc.contributor.authorSveleba, Nazar
dc.coverage.placenameЛьвів
dc.coverage.placenameLviv
dc.date.accessioned2023-04-26T08:15:43Z
dc.date.available2023-04-26T08:15:43Z
dc.date.created2021-10-10
dc.date.issued2021-10-10
dc.description.abstractВ роботі досліджено вплив швидкості навчання (η) на процес навчання багатошарової нейронної мережі. Програма для багатошарової нейронної мережі була написана мовою Python. Швидкість навчання розглядалась як постійна величина і визначалась її оптимальна величина, за якої досягалось найкраще навчання. Для аналізу впливу швидкості навчання використовувалась логістична функція, яка описує процес навчання. Показано, що функція похибки навчання характеризується біфуркаційними процесами, які призводять до хаотичного стану, якщо η>0,8. Визначено оптимальне значення швидкості навчання, яке визначає появу процесу подвоєння кількості локальних мінімумів, і становить для тришарової нейронної мережі з 4 нейронами в кожному шарі η=0,62. Збільшення кількості прихованих шарів (3÷30), та кількості нейронів у кожному шарі (4÷150) не приводить до кардинальної зміни діаграми логістичної функції (xn,η), а отже, і оптимальної величини швидкості навчання.
dc.description.abstractThe study of the influence of learning speed (η) on the learning process of a multilayer neural network is carried out. The program for a multilayer neural network was written in Python. The learning speed is considered as a constant value and its optimal value at which the best learning is achieved is determined. To analyze the impact of learning speed, a logistic function, which describes the learning process, is used. It is shown that the learning error function is characterized by bifurcation processes that lead to a chaotic state at η> 0.8. The optimal value of the learning speed is determined. The value determines the appearance of the process of doubling the number of local minima, and is η = 0.62 for a three-layer neural network with 4 neurons in each layer. Increasing the number of hidden layers (3 ÷ 30) and the number of neurons in each layer (4 ÷ 150) does not lead to a radical change in the diagram of the logistic function (xn, η), and hence, in the optimal value of the learning speed.
dc.format.extent26-31
dc.format.pages6
dc.identifier.citationMultilayer Neural Networks – As Determined Systems / Sergii Sveleba, Volodymyr Brygilevych, Ivan Katerynchuk, Ivan Kuno, Ivan Karpa, Ostap Semotiuk, Yaroslav Shmyhelskyy, Nazar Sveleba // Computational Problems of Electrical Engineering. — Lviv : Lviv Politechnic Publishing House, 2021. — Vol 11. — No 2. — P. 26–31.
dc.identifier.citationenSveleba S., Brygilevych V., Katerynchuk I., Kuno I., Karpa I., Semotiuk O., Shmyhelskyy Y., Sveleba N. (2021) Multilayer Neural Networks – As Determined Systems. Computational Problems of Electrical Engineering (Lviv), vol. 11, no 2, pp. 26-31.
dc.identifier.urihttps://ena.lpnu.ua/handle/ntb/58465
dc.language.isoen
dc.publisherВидавництво Львівської політехніки
dc.publisherLviv Politechnic Publishing House
dc.relation.ispartofComputational Problems of Electrical Engineering, 2 (11), 2021
dc.relation.references[1] O. Rudenko and E. Bodianskyy, Artificial neural networks. Kharkiv, Ukraine: SMIT Company, 2006. (Ukrainian)
dc.relation.references[2] S. Subotin, Neural networks: theory and practice Zhytomyr, Ukraine: Publisher О. О. Evenok, 2020. (Ukrainian).
dc.relation.references[3] V. Kruglov and V. Borisov Artificial neural networks. Theory and practice. Moscow, Russia: Hotline – Telecom, 2001. (Russian)
dc.relation.references[4] S. Subotin and A. Olijnyk Neural networks: tutorial Zaporizhzhia, Ukraine: ZNTU, 2014. (Ukrainian)
dc.relation.references[5] Yurij Olenych, Sergiy Sveleba, Ivan Katerynchuk, Ivan Kunio, and Ivan Karpa, “Features of deep study neural network” https://openreviewhub.org/lea /paper-2019/features-deep-study-neural-network#
dc.relation.references[6] Yu Taranenko, “Information entropy of chaos”, https:// habr.com/ru/post/447874/
dc.relation.references[7] A. Kuznetsov, Dynamical systems and bifurcations. Saratov, Russia: LLC Publishing Center “Science”, 2015. (Russian)
dc.relation.referencesen[1] O. Rudenko and E. Bodianskyy, Artificial neural networks. Kharkiv, Ukraine: SMIT Company, 2006. (Ukrainian)
dc.relation.referencesen[2] S. Subotin, Neural networks: theory and practice Zhytomyr, Ukraine: Publisher O. O. Evenok, 2020. (Ukrainian).
dc.relation.referencesen[3] V. Kruglov and V. Borisov Artificial neural networks. Theory and practice. Moscow, Russia: Hotline – Telecom, 2001. (Russian)
dc.relation.referencesen[4] S. Subotin and A. Olijnyk Neural networks: tutorial Zaporizhzhia, Ukraine: ZNTU, 2014. (Ukrainian)
dc.relation.referencesen[5] Yurij Olenych, Sergiy Sveleba, Ivan Katerynchuk, Ivan Kunio, and Ivan Karpa, "Features of deep study neural network" https://openreviewhub.org/lea /paper-2019/features-deep-study-neural-network#
dc.relation.referencesen[6] Yu Taranenko, "Information entropy of chaos", https:// habr.com/ru/post/447874/
dc.relation.referencesen[7] A. Kuznetsov, Dynamical systems and bifurcations. Saratov, Russia: LLC Publishing Center "Science", 2015. (Russian)
dc.relation.urihttps://openreviewhub.org/lea
dc.rights.holder© Національний університет „Львівська політехніка“, 2021
dc.subjectmultilayer neural network
dc.subjectlearning speed
dc.subjectlogistic function
dc.subjectchaotic state
dc.titleMultilayer Neural Networks – As Determined Systems
dc.title.alternativeБагатошарові нейронні мережі – як детерміновані системи
dc.typeArticle

Files

Original bundle
Now showing 1 - 1 of 1
No Thumbnail Available
Name:
2021v11n2_Sveleba_S-Multilayer_Neural_Networks_26-31.pdf
Size:
441.98 KB
Format:
Adobe Portable Document Format
Download
License bundle
Now showing 1 - 1 of 1
No Thumbnail Available
Name:
license.txt
Size:
2.07 KB
Format:
Plain Text
Description:
Download

Collections

Computational Problems Of Electrical Engineering. – 2021. – Vol. 11, No. 2