Стекінгове об'єднання однорідних методів машинного навчання із використанням випадкового шуму: задача регресії

Abstract

Магістерська кваліфікаційна робота виконана студентом групи КНСШ-22 Нагірний Святославом Богдановичем. Тема: «Стекінгове об'єднання однорідних методів машинного навчання із використанням випадкового шуму: задача регресії». Робота направлена на здобуття ступеня магістр за спеціальністю 122 «Комп’ютерні науки». Метою дипломної роботи є удосконалення композиції стекінгового гомогенного ансамблю методів машинного навчання за рахунок формування унікальної для кожного з членів ансамблю вибірки даних на основі випадкового шуму для підвищення точності розв’язання задачі апроксимації. Досягнення мети відбувається за рахунок додавання шумів до вибірки даних яка використовується для навчання, та створення ансамблю в якому всі члени є однорідними (метод опорних векторів з нелінійним ядром). Об’єктом дослідження є процеси композиції стекінгових методів машинного навчання у випадку розв’язання задачі класифікації. Предметом досліджень є методи композиції стекінгових гомогенних ансамблів. Результатом магістерської кваліфікаційної роботи є реалізація стекінгового ансамблю для підвищення точності розв’язання задачі класифікації на основі композиції однорідних методів машинного навчання та декореляції набору даних для кожного з них із використанням випадкового шуму. У результаті виконання магістерської кваліфікаційної роботи реалізовано стекінговий гомогенний ансамбль нелінійних методів машинного навчання; розроблено та захищено авторським правом його програмну реалізацію. Розроблений метод підвищує точність апроксимації наборів даних. Relevance of the research topic. The use of modern means of machine learning does not always ensure high accuracy of work. One of the solutions to this problem is the use of ensembles of machine learning methods. Among the four main classes of ensemble methods, stacking is quite common in the scientific literature. The main advantage of stacking machine learning methods is that this approach can leverage the capabilities of a number of well-performing models to solve classification or regression tasks and make predictions with better performance than any single model in the ensemble. Stacking is appropriate when several different machine learning models are well suited to be applied to a given data set, but with the underlying architecture, the chosen model can only be applied once. Achieving performance improvement depends on the complexity of the problem and whether it is well-represented by the training data and complex enough to learn more by combining predictions. It also depends on the choice of the underlying models and whether they are sufficiently accurate and sufficiently uncorrelated in their predictions (or errors). Existing models of heterogeneous stacking ensembles require a lot of computing resources to select the optimal operating parameters of each of the members in the ensemble. That is why the task of minimizing such costs while maintaining high accuracy of work arises. The aim of the thesis is to improve the composition of a stacked homogeneous ensemble of machine learning methods by forming a unique data sample for each member of the ensemble based on random noise to increase the accuracy of solving the approximation problem.