Performance evaluation of a novel Conjugate Gradient Method for training feed forward neural network

Abstract

У цій статті створено новий метод спряженого градієнта для розв’язання задач необмеженої оптимізації. Запропонований метод задовольняє властивість достатнього спуску незалежно від лінійного пошуку, і глобальна збіжність була встановлена за деяких умов. Крім того, новий метод використовувався для навчання різного набору даних через нейронну мережу з прямим зв’язком. Отримані результати показують, що запропонований алгоритм значно скорочує час обчислення за рахунок прискорення спрямованої мінімізації з вищою швидкістю збіжності.In this paper, we construct a new conjugate gradient method for solving unconstrained optimization problems. The proposed method satisfies the sufficient decent property irrespective of the line search and the global convergence was established under some suitable. Further, the new method was used to train different sets of data via a feed forward neural network. Results obtained show that the proposed algorithm significantly reduces the computational time by speeding up the directional minimization with a faster convergence rate.