Дослідження методу автоматизованого розгортання машинного навчання на основі технологій CI/CD

Abstract

У цій статті запропоновано метод автоматизованого розгортання алгоритмів машинного навчання на основі програмного продукту Splunk Enterprise та додатку для нього Splunk Machine Learning Toolkit. Реалізація цього методу дасть можливість розгортати системи ML в найкоротші терміни, вносити зміни до її структурних одиниць з мінімальним впливом на інші складові та адаптувати моделі ML до змін у вхідних даних, переносити систему до іншого середовища чи постачальника хмарних послуг. Перевагою використання цього методу є можливість відслідковувати активність користувачів та, за необхідності виявляти аномалії у їх поведінці. Аномалії виявляються серед даних системних/аудит логів. Після встановлення потрібних джерел даних на серверах для моніторингу, дані будуть отримані на індексері та стануть доступними для подальшої обробки йнавчання моделі ML

In this paper we proposed a method for automated deployment of machine learning algorithms based on the Splunk Enterprise software product and the Splunk Machine Learning Toolkit application for IT. The implementation of this method will make it possible to deploy ML systems in the shortest possible time, make changes to its structural units with minimal impact on other components and adapt ML models to changes in input data, transfer the system to another environment or cloud service provider. The advantage of using this method is the ability to monitor user activity and, if necessary, detect anomalies in their behavior. Anomalies are detected among system/audit log data. After installing the required data sources on the servers for monitoring, the data will be received on the indexer and will be available for further processing and training of the ML model.