Інститут телекомунікацій, радіоелектроніки та електронної техніки

Permanent URI for this communityhttps://ena.lpnu.ua/handle/ntb/62308

Browse

Now showing 1 - 2 of 2

Дослідження методів управління процесами збору та аналізу даних в розподілених інформаційних системах
(Національний університет "Львівська політехніка", 2020) Журавель, Станіслав Сергійович; Zhuravel, Stanislav Serhiiovych; Селюченко, Мар'ян Олександрович; Національний університет "Львівська політехніка"
Сьогодні багато програм вимагають можливість працювати з великими обсягами даних, на відміну від необхідності у обчислювальних можливостях, сира потужність процесора не часто є обмежувальним фактором для цих систем - більшими проблемами, як правило, є обсяг даних, складність даних та швидкість, з якою вони змінюються [1]. За останні роки з’явилося багато нових інструментів для зберігання та обробки даних. Вони оптимізовані для різноманітних випадків використання, і більше не входять у традиційні категорії [2]. Наприклад, існують сховища даних, які також використовуються як черги повідомлень (Redis), а є черги повідомлень із гарантіями зберігання, подібними до бази даних (Apache Kafka), дані про такі рішення стають не систематизованими. Одночасно розвиваються напрями які продукують значні об’єми даних які вимагають від систем можливості обробляти, зберігати та аналізувати значні об’єми даних в короткий проміжок часу [3]. У магістерській кваліфікаційній роботі представлено моделі представлення даних сучасних сховищ, структури організації пошукових індексів в залежності від способу використання. Окреслено інформаційні системи в залежності від способу використання такі як OLTP (Online transaction processing) та OLAP (Online analytics processing) [4]. Проведено аналіз, узагальнення, пояснення, та класифікацію методів аналізу та обробки даних в розподілених інформаційних системах [5]. Побудовано розподілену інформаційну систему для обробки та зберігання великих об’ємів даних від пристроїв IoT, яка здатна в реальному часі реагувати на зміни показників виміряної температури (шляхом використання потокової обробки за допомогою розподіленого брокеру повідомлень) та продукувати нові події в системі які можуть попереджати про наростання температури, виникнення пожежі та її зупинку, використовуючи пакетну обробку з застосуванням машинного навчання система здатна обробити історично накоплені дані та виявити групи непрацездатних датчиків. Проведено аналіз результатів роботи розробленої системи в ході якого було підтверджено зверхність виокремлених раніше методів [6]. Об’єкт дослідження - розподілені інформаційні системи. Предмет дослідження - методи аналізу, обробки та управління процесами збору та зберігання великих об’ємів даних. Мета дослідження: розглянути методи для зберігання та обробки даних в великих кількостях, виокремити найбільш доречні до використання, окреслити їх межі та сфери використання та емпірично довести працездатність цих методів. Результати дослідження: встановлено що потокова та пакетна обробка не є взаємозамінними, хоч це можливо, методи слід використовувати в певних рамках, потоку обробку - в системах реального часу, а пакетну обробку - в системах де час виконання проведення аналітики не є важливим [7]. Аналіз потокової системи показав, що потокова обробка за допомогою розподіленого брокеру повідомлень дозволяє не тільки обробляти дані в майже реальному часі, але й проводити складну агрегацію (Сomplex Event Processing) та аналітику в системі, та дозволяє реалізовувати підходи які дозволяють відновлювати систему внаслідок збою її роботи, (наприклад підходи Change Data Capture та Event Sourcing) [8]. Внаслідок розгляду пакетної обробки за допомогою систем подібних до Map-Reduce та розподілених файлових систем було встановлено що їхні можливості набагато ширші у сфері аналітики ніж можливості баз даних MPP (Massive Parallel Processing), скільки дозволяють проводити не тільки складні агрегації на великих об'ємах даних але й застосовувати алгоритми машинного навчання задля досягнення цілей системи [9].
Дослідження методів управління мережами 5G з використанням засобів штучного інтелекту
(Національний університет "Львівська політехніка", 2020) Осташевський, Андрій Іванович; Ostashevskyi, Andrii Ivanovych; Максимюк, Тарас Андрійович; Національний університет "Львівська політехніка"
В результаті збільшення обсягів інформації, її циркуляції та нових амбіцій, пов'язаних з автоматизацією та покращенням різних життєвих сфер, таких як водіння, політ тощо, народилася проблема: як забезпечити якісний обмін інформацією, щоб позбутися затримок та перешкод? Отже, незважаючи на існуючу відносно молоду 4G-мережу мобільного зв'язку, народилося нове покоління мобільних мереж - 5G. Враховуючи той факт, що мережею користуватимуться не лише користувачі мобільних телефонів, а й багато інших сервісів, таких як розумні машини, смарт-камери тощо, навантаження на окремі базові станції 5G мережі у певний момент часу буде величезним, а якість та швидкість обміну інформацією прогнозовано низькою. В результаті ми отримуємо проблему розподілу ширини смуги частот, управління якою із використанням людських ресурсів є надто дорогим. Щоб позбутися або принаймні зменшити вплив цієї проблеми на якість послуг, ми пропонуємо аналіз та прогнозування навантаження на мережу за допомогою штучного інтелекту (ШІ) та машинного навчання (МН), а також обчислення ефективної ширини смуги частот на основі прогнозування ШІ. Логічним є питання: навіщо нам ШІ, якщо ми можемо аналізувати навантаження на комірки і вручну змінювати параметри? Відповідь проста: ШІ дозволяє проаналізувати навантаження для забезпечення автоматизованої зміни ширини смуги частот, вже передбачивши навантаження на комірки. Маючи прогнози навантаження, система повинна передавати прогнозовані параметри алгоритму розрахунку ширини смуги частот і змінювати параметри комірки. Останній по рахунку, але не по значенню аргумент: параметрами для кількох комірок можна керувати вручну, але як щодо сотень чи тисяч комірок? В роботі запропоновано модель машинного навчання для прогнозування навантаження на 5G комірки, алгоритм ефективного розрахунку смуги частот та демонстрацію зміни смуги частот стільникової мережі за допомогою користувальницького інтерфейсу, оскільки автоматизований процес працює в фоновому режимі та невидимий. У главі 2 наведено опис різних типів періодичних нейронних мереж, а також їх спільні та відмінні характеристики. Крім того, у розділі описуються принцип роботи LSTM та GRU моделей, їх переваги та недоліки. Це особливо важливий момент, оскільки на основі цієї інформації вбирається модель нейронної мережі (NN). Крім того, у цій главі пропонується математична модель алгоритму розрахунку ефективної смуги частот, яка використовує прогнозовані результати навантаження як параметри для розрахунку вищезазначеної ефективної ширини смуги частот. Алгоритм може бути реалізований на будь-якій мові програмування, але проблема полягає у великих наборах даних (сотнях та тисячах), що зменшує продуктивність алгоритму, оскільки складність алгоритму не є постійною, а O(?log?_n). Отже, найкращим рішенням буде Python, PHP, Perl тощо. У розділі 3 ми демонструємо навчання нейронної моделі та розрахунок прогнозу навантаження для п'яти клітин 5G протягом 24 годин. Дотримуючись найкращих практик ML, ми розділили набір даних на 80% та 20% відповідно. Результати прогнозу повторюють характеристики реальних даних, хоча і не повністю відповідають їм. Крім того, у цій главі представлено кожен крок обчислення ефективної ширини смуги частоти та представлено кожен із цих кроків відповідним графіком для всіх п’яти комірок. Результат розподілу смуги частот є дійсним і показує значення ширини смуги частот на часових інтервалах, коли навантаження комірки пікове, і мінімальне там, де навантаження низьке. Для спрощення розрахунку, графік швидкості, навантаження та частот, будуються для одного користувача, включаючи значення навантаження в кожну комірку, щоб показати, оптимальну ширину смуги частот для забезпечення якісного обслуговування. Висновком цієї глави є останні п'ять графічних зображень, на яких показано порівняння швидкості користувача без динамічного розподілу ширини смуги частот протягом дня, з параметрами швидкості які включають в себе динамічний розподіл ширини смуги частот. Це ще раз доводить, що динамічний розподіл ширини смуги частот покращує якість послуг, що надаються кінцевому користувачеві. У розділі 4 продемонстровано та порівняно загальні варіанти управління станцією 5G. Тут оглянуто концепції REST API та Event System, їх спільні та відмінні характеристики, а також переваги та недоліки. Для кожного варіанту управління, описано, як можна застосувати ту чи іншу концепцію до мережі 5G із супроводжуючими блок-схемами. В результаті було обрано підхід REST через специфічний зв’язок між ядром та модулями, та простоту впровадження. Для демонстрації управління мережею було обрано платформу ThingsBoard та Python REST аплікацію, яка здатна надсилати дані до інтерфейсу ThingsBoard. Це було зроблено, щоб показати, як буде виглядати автоматизація, якщо штучний інтелект з відповідною моделлю нейронної мережі та алгоритм розрахунку смуги частот буде застосовано до мережі 5G, оскільки автоматизований процес працює в фоновому режимі і є невидимим. Автоматизація повністю виключає втручання людини, окрім апаратного та програмного обслуговування.