Дослідження ефективності алгоритмів навчання з підкріпленням для торгівлі в реальному часі за динамічних умов ринку

Abstract

Магістерська кваліфікаційна робота виконана студентом групи КНСШ-21 Ройко Андрієм Олеговичем. Тема “Дослідження ефективності алгоритмів навчання з підкріпленням для торгівлі в реальному часі за динамічних умов ринку”. Робота направлена на здобуття ступеня магістра за спеціальністю 122 “Комп’ютерні науки”. Метою магістерської роботи є розробка та дослідження алгоритмів навчання з підкріпленням для покращення торгових стратегій аукціонів програмованої реклами в реальному часі. Робота зосереджується на аукціонах з першою ціною, так як вони є домінантними в індустрії. Проте водночас кількість публікацій та вивчених підходів є низькою в порівнянні з аукціоном з другою ціною. Робота спрямована на дослідження вже існуючих алгоритмів ставкових стратегій, які дозволяють рекламодавцям ефективно конкурувати та збільшувати соціальне задоволення за менші витрати. Практична цінність роботи полягає у можливості її використання для покращення стратегій торгівлі у багатомільярдній індустрії програмованої реклами. Розроблені алгоритми дозволяють рекламодавцям ефективно конкурувати, знижуючи витрати та збільшуючи соціальне задоволення від рекламних кампаній. Результати дослідження показують потенціал навчання з підкріпленням для значного поліпшення результатів ставок у реальному часі. Загальний обсяг роботи: 95 сторінок, 34 рисунки, 53 посилання. Master’s degree work of the student of the group KNSSH-21 Roiko Andrii Olehovych. The topic is "Effectiveness of reinforcement learning algorithms for dynamic real-time bidding". The work is aimed at obtaining a master's degree in 122 "Computer Science". Over the past two decades, the advertising technology industry has experienced exceptionally rapid growth. According to the Interactive Advertising Bureau's 2023 revenue report [1], the advertising technology market in the United States reached $225 billion, marking a 7.3% increase compared to 2022. Globally, this figure stands at $846 billion [2]. More than 37% of advertising opportunities are conducted through Real-Time Bidding. In such transactions, neither party is guaranteed the purchase of advertising space because an auction occurs in real time for each individual ad impression. Consequently, the auction winner's ad is displayed, but there are instances where the auction remains without a winner, which is why this sales channel is often termed "non-guaranteed". The market for non-guaranteed ad purchases has become a standard practice, enabling access to millions of publishers and tens of billions of ad impressions daily. From a technical standpoint, this approach is more complex, involving a suite of mechanisms with multiple intermediary parties. The primary players are Demand-Side Platforms, which assist advertisers in purchasing ad spaces, and Supply-Side Platforms, which help publishers find buyers for their ad inventory. All these platforms communicate through requests to an Ad exchange server.