Оптимізація використання глибинного навчання з підкріпленням за допомогою генетичного алгоритму у середовищі Unreal Engine

Abstract

В даній магістерській науковій роботі розглянуто можливість поєднання алгоритмів глибинного машинного навчання з підкріпленням з метаевристичним генетичним алгоритмом задля оптимізації вибору одного або декількох найоптимальніших алгоритмів глибинного навчання з підкріпленням та параметрів до них. За середовище в якому відбуваються навчання та перевірки роботи алгоритмів обрано ігровий рушій Unreal Engine 4, в якому додано можливість створення прототипів агентів будь-якої складності, які використовуватимуть обраний алгоритм навчання з підкріпленням. Та можливість створення середовища симуляції з власними правилами та законами. В ході виконання даної наукової роботи було також проведено аналіз машинного глибинного навчання з підкріпленням як галузі машинного навчання. Здійснено огляд існуючих алгоритмів глибинного навчання з підкріпленням. Проведено також аналіз метаевристичних алгоритмів як галузі машинного навчання, та досліджено генетичний алгоритм як алгоритм створений для симуляції природного відбору. В даній роботі поєднуються два початкових етапи навчання, що впливають на конкурентоспроможність інтелектуального індивіда у вибірці. А саме етап генетичного успадкування найкращих рис. Та етап самонавчання індивіду базуючись на отриманих від предків параметрах. У ідеї даної системи лежить в основі спостереження за живою природою. Результатом отриманим в ході виконання даної роботи стала система, що дозволяє спростити процес обрання алгоритму глибинного навчання з підкріпленням у будь-якому створеному середовищі симуляції для агента будь-якої складнощі симульованого в ігровому рушії Unreal Engine 4. Обсяг магістерської роботи складає: 66 сторінок, 26 рисунків та 40 цитованих джерел. This master's research paper considers the possibility of combining algorithms of deep machine learning with reinforcement with a metaheuristic genetic algorithm to optimize the choice of one or more optimal algorithms of deep learning with reinforcement and parameters to them. For the environment in which the training and testing of algorithms takes place, the game engine Unreal Engine 4 was chosen, which added the ability to prototype agents of any complexity, which will use the selected training algorithm with reinforcement. And the ability to create a simulation environment with its own rules and laws. In the course of this scientific work, an analysis of machine deep learning with reinforcement as a branch of machine learning was also conducted. A review of existing in-depth learning algorithms with reinforcement is reviewed. The analysis of metaheuristic algorithms as a branch of machine learning is also carried out, and the genetic algorithm as an algorithm created for simulation of natural selection is investigated.