Дослідження ефективності різних архітектур глибоких нейронних мереж для аналізу великих обсягів даних

Abstract

Магістерська кваліфікаційна робота виконана за темою “Дослідження ефективності різних архітектур глибоких нейронних мереж для аналізу великих обсягів даних”. Робота направлена на здобуття ступеня магістра за спеціальністю 122 “Комп’ютерні науки”. Перший розділ, закладає основу для дослідження, пропонуючи ретельний аналіз ефективності глибоких архітектур нейронних мереж у вирішенні проблем регресії. Подано широкий огляд наукових джерел, що розташовує поточне дослідження в рамках більш широкого наукового діалогу. Чітка постановка проблеми формулюється, аналізується та онтекстуалізується на основі останніх досягнень і дискусій у сфері машинного навчання та прогнозної аналітики. У другому розділі проводиться детальний аналіз набору даних, що забезпечує чіткий огляд характеристик даних і проблем, які вони представляють. У цьому розділі описуються вибрані технології — CatBoost, DNN і TabNet — кожну з яких обрано через її відповідність цілям дослідження. Переваги архітектури та потенційні можливості застосування цих моделей детально розглянуто. Крім того, у розділі визначено критерії для оцінки моделі, представлено показники MSE, MAE та R2 як основні показники продуктивності моделі в регресійному аналізі. Методології та вибрані показники підкреслюють суворий підхід до дизайну дослідження та стратегічного вибору інструментів і методів для аналізу. Третій розділ відображає суть результатів цього дослідження та їх підтвердження. Він починається з поглибленого обговорення складної попередньої обробки даних, важливого кроку для забезпечення точності та надійності результатів моделей. Потім представлено реалізацію кожної архітектурної структури — CatBoost, DNN і TabNet — з подальшою інтеграцією NLP для розширення можливостей моделей. Розділ завершується оглядом результатів, де демонструється покращена прогностична продуктивність після вбудовування NLP, що демонструє явне покращення ефективності моделей. Аналіз SHAP забезпечує додатковий рівень інтерпретації, виявляючи вплив різних характеристик на прогнози ціни оренди. Мета роботи полягає в дослідженні ефективність різних методів та архітектур глибоких нейронних мереж для обробки великих обсягів даних та їх оцінки. Для досягнення мети необхідно вирішити ряд задач, а саме: 1. Дослідити різні архітектури глибоких нейронних мереж та їх придатність для задач регресії. 2. Дослідити вплив різних гіперпараметрів та методів регуляризації на продуктивність глибоких нейронних мереж. 3. Оцінити вплив вбудовань на ефективність прогнозних моделей. 4. Дослідити найбільш відповідні показники продуктивності для регресійних моделей. Об’єкт дослідження – дослідження спрямоване на те, щоб зрозуміти найбільш ефективні підходи до обробки великих табличних наборів даних за допомогою глибоких нейронних мереж і сприяти розробці більш точних і ефективних моделей для обробки та аналізу табличних даних. Предмет дослідження – дослідження ефективності методів навчання глибоких нейронних мереж для обробки великих обсягів даних. Практична цінність цієї роботи полягає у знаходженні практичного та ефективного процесу попередньої обробки даних та розробки функцій, який покращує продуктивність моделей глибокого навчання на великих наборах даних, надаючи цінну інформацію дослідникам у галузі даних. Загальний обсяг: 80 сторінок, 24 рисунки, 2 таблиці та 19 посилань. Master’s degree work of the student of the group CSAI-22 Kachmaryk Maksym Romanovych. The topic is "Study of the effectiveness of the application of different architectures of deep neural networks for the analysis of large volumes of data". The work is aimed at obtaining a master's degree in 122 "Computer Science". In the modern era, where data emanates from a plethora of sources such as social networks, Internet of Things devices, and sensors, the surge in data volume has necessitated advanced methods for efficient processing and analysis. Against this backdrop, Deep Neural Networks (DNNs) have risen to prominence, acclaimed for their adeptness in learning complex data representations. This research delves into the efficacy of various DNN methodologies and architectures in processing extensive data volumes, with a particular focus on regression problems, and scrutinizing the influence of different hyperparameters and embeddings on predictive model performance.