Оптимізація маршрутів самокерованих автомобілів за допомогою навчання з підкріпленням

Abstract

В магістерській роботі розглянуто застосування методів навчання з підкріпленням (Reinforcement Learning, RL) для вирішення задач оптимізації маршрутів самокерованих автомобілів. RL дозволяє самокерованим транспортним засобам адаптувати свої дії до динамічних змін умов середовища, таких як дорожній трафік, погодні умови та аварійні ситуації, що робить цей підхід перспективним для підвищення ефективності автономного транспорту. У першому розділі розкрито основні теоретичні аспекти навчання з підкріпленням, описано принципи функціонування алгоритмів RL, функцію винагороди, а також підходи до моделювання середовища для автономного транспорту. Наведено огляд сучасних досягнень у сфері застосування RL в транспортних системах та їх інтеграції з іншими технологіями, такими як прогнозування трафіку, комп'ютерний зір і глибоке навчання. Другий розділ присвячено аналізу існуючих методів планування маршрутів самокерованих автомобілів. Детально описано особливості реалізації RL у контексті оптимізації маршрутів: використання симуляцій для навчання моделей, облік реального трафіку, прогнозування небезпечних ситуацій, а також інтеграція технологій для оцінки витрат палива та екологічної ефективності. У третьому розділі подано результати моделювання автономного автомобіля із застосуванням RL. Описано блок-схему оптимізації маршруту, що базується на симуляціях реального середовища, розроблено функцію 8 винагороди для досягнення балансу між швидкістю, безпекою та витратами енергії. Проведено серію експериментів, які демонструють, що використання RL дозволяє досягти скорочення часу в дорозі на 15-20% у порівнянні з традиційними методами. Об’єкт дослідження: процеси планування маршрутів самокерованих автомобілів. Предмет дослідження: методи та алгоритми навчання з підкріпленням для оптимізаціїмаршрутів. Мета роботи: розробка ефективного методу оптимізації маршрутів автономних транспортних засобів з використанням RL. Результати дослідження: в результаті роботи розроблено модель оптимізації маршрутів із застосуванням RL, яка дозволяє підвищити ефективність маршрутів автономних автомобілів на основі симуляційного навчання. Ця модель може бути інтегрована у сучасні транспортні системи для забезпечення вищого рівня адаптивності до змінних умов середовища.оптимізація маршрутів, алгоритми, симуляція, функція винагороди, трафік.

The master's thesis considers the use of Reinforcement Learning (RL) methods to solve the problems of optimizing the routes of self-driving cars. RL allows self-driving vehicles to adapt their actions to dynamic changes in environmental conditions, such as traffic, weather conditions, and emergencies, making this approach promising for improving the efficiency of autonomous vehicles. The first section reveals the main theoretical aspects of reinforcement learning, describes the principles of RL algorithms, the reward function, and approaches to modeling the environment for autonomous vehicles. An overview of current advances in the application of RL in transportation systems and its integration with other technologies, such as traffic forecasting, computer vision, and deep learning, is provided. The second section is devoted to the analysis of existing methods for planning routes for self-driving cars. The features of RL implementation in the context of route optimization are described in detail: the use of simulations to train models, accounting for real traffic, predicting dangerous situations, and integrating technologies to assess fuel consumption and environmental efficiency. The third section presents the results of modeling an autonomous car using RL. A route optimization flowchart based on real-world simulations is described, and a reward function is developed to achieve a balance between speed, safety, and energy consumption. A series of experiments have been conducted that demonstrate that the use of RL can reduce travel time by 15-20% compared to traditional methods. Object of research: processes of route planning for self-driving cars. Subject of research: methods and algorithms of reinforcement learning for route optimization. 10 Purpose: to develop an effective method for optimizing the routes of autonomous vehicles using RL. Research results: as a result of the work, a model of route optimization using RL was developed, which allows to increase the efficiency of autonomous vehicles' routes based on simulation training. This model can be integrated into modern transportation systems to provide a higher level of adaptability to changing environmental conditions.