Стекінг нейроподібної структури МПГП з RBF шаром на підставі генерування випадкового кортежу її гіперпараметрів для завдань прогнозування

Abstract

Підвищення точності прогнозування засобами штучного інтелекту є важливим завданням у різних галузях промисловості, економіки, медицини. Ансамблеве навчання – один із можливих варіантів досягнення цього. Зокрема, побудова стекінгових моделей на підставі різних методів машинного навчання чи з використанням різних частин наявного набору даних демонструє високу точність прогнозу. Проте потреба правильного підбору членів ансамблю, їх оптимальних параметрів тощо зумовлює необхідність великих часових витрат на підготовку та навчання таких моделей. В роботі запропоновано дещо інший підхід до побудови простого, проте ефективного ансамблевого методу. Розроблено нову модель стекінгу нелінійних нейроподібних структур МПГП, основану на використанні тільки одного типу ШНМ як елементної бази ансамблю та застосуванні однакової для усіх членів ансамблю навчальної вибірки. Такий підхід забезпечує певні переваги порівняно з процедурами побудови ансамблів на підставі різних методів машинного навчання, як мінімум у напрямі підбору оптимальних параметрів для кожного з них. Як основу ансамлювання в нашому випадку використано кортеж випадкових гіперпараметрів для кожного окремого члена ансамблю, тобто навчання кожної комбінованої нейроподібної структури МПГП з додатковим RBF шаром як окремого члена ансамблю здійснюється із використанням різних, випадково вибраних значень центрів RBF та центрів мас. Це забезпечує необхідне різноманіття елементів ансамблю. Експериментальні дослідження щодо ефективності роботи запропонованого ансамблю проведено із використанням реального набору даних. Завдання полягає у прогнозуванні величини медичних страхових виплат на підставі низки незалежних атрибутів. Експериментально визначено оптимальну кількість членів ансамблю, яка забезпечує найвищу точність розв’язання поставленої задачі. Здійснено порівняння результатів роботи запропонованого ансамблю з наявними методами цього класу. Встановлено найвищу точність розробленого ансамблю за задовільної тривалості процедури його навчання.

Improving prediction accuracy by artificial intelligence tools is an important task in various industries, economics, medicine. Ensemble learning is one of the possible options to solve this task. In particular, the construction of stacking models based on different machine learning methods, or using different parts of the existing data set demonstrates high prediction accuracy of the. However, the need for proper selection of ensemble members, their optimal parameters, etc., necessitates large time costs for the construction of such models. This paper proposes a slightly different approach to building a simple but effective ensemble method. The authors developed a new model of stacking of nonlinear SGTM neural-like structures, which is based on the use of only one type of ANN as an element base of the ensemble and the use of the same training sample for all members of the ensemble. This approach provides a number of advantages over the procedures for building ensembles based on different machine learning methods, at least in the direction of selecting the optimal parameters for each of them. In our case, a tuple of random hyperparameters for each individual member of the ensemble was used as the basis of ensemble. That is, the training of each combined SGTM neural-like structure with an additional RBF layer, as a separate member of the ensemble occurs using different, randomly selected values of RBF centers and centersfof mass. This provides the necessary variety of ensemble elements. Experimental studies on the effectiveness of the developed ensemble were conducted using a real data set. The task is to predict the amount of health insurance costs based on a number of independent attributes. The optimal number of ensemble members is determined experimentally, which provides the highest prediction accuracy. The results of the work of the developed ensemble are compared with the existing methods of this class. The highest prediction accuracy of the developed ensemble at satisfactory duration of procedure of its training is established.