Інтелектуальна система для створення музики за допомогою методів машинного навчання

Abstract

З стрімким розвитком технологій машинного навчання та штучного інтелекту все більше і більше галузей почали застосовувати їх для вирішення буденних проблем. Ці технології мають дуже великий потенціал в майбутньому. Картинка нашого роботизованого світу, не такого далекого майбутнього, значною мірою залежить від нашої здатності успішно розгортати штучний інтелект. Однак перетворити машини на мислячі пристрої не так просто, як може здатися. Потужного штучного інтелекту можна досягти лише за допомогою машинного навчання, щоб допомогти машинам зрозуміти, як це роблять люди. Шлях штучного інтелекту та машинного навчання в музику почався відносно недавно, але це вже має великий вплив на музичну індустрію. Ця інтелектуальна система має на меті створювати музичні послідовності використанням методів машинного навчання. Користувач надає певні дані на вхід, та на виході отримує згенеровану музичну послідовність. Згенерована послідовність може бути програною у веб-програвачі, експортована як MIDI-файл та надіслана іншим користувачам посиланням. Через свою простоту і зручність інтелектуальна система спрощує та пришвидшує музичні процеси продюсерам та авторам-виконавцям. При аналізі наявних програмних рішень було визначено, що на даний момент не існує прямих аналогів інтелектуальної системи, які б задовольнили вимоги користувача. У результаті роботи було побудовано п?ять UML діаграм: діаграма класів, діаграма станів, діаграма прецедентів, діаграма розгортання та діаграма діяльності. Також було проведено системний аналіз інтелектуальної системи та побудова дерева цілей. На діаграмі класів зображені зв?язки між основними елементами бази даних. Діаграма станів відображає процес генерування музичних послідовностей. На діаграмі розгортання зображено загальну схему розгортання застосунку за допомогою сервісу хмарних обчислень. На діаграмі прецедентів зображено два класи акторів: гість та користувач. В обидвох класів акторів є доступним спільний функціонал, але користувач має декілька додаткових функцій, а саме: збереження музичних послідовностей та їх перегляд. Також було визначено та обґрунтовано завдання для створення інтелектуальної системи для генерування музики за допомогою методів машинного навчання. Було визначено, що інтелектуальна система призначена для всіх користувачів, які пишуть власні музичні композиції. Також було визначено місце застосування та обґрунтовано розробку інтелектуальної системи. Окрім цього, було розглянуто впровадження інтелектуальної системи, очікувані ефекти від впровадження та розроблено концептуальну модель. Основними функціями системи є безпосередньо генерування музичних послідовностей, експорт MIDI-файлів, можливість поділитись згенерованою послідовністю, відтворення згенерованої послідовності, операції з програвачем (перемотування, зациклення, повтор, вимкнення/увімкнення звуку), налаштування програвача, вхід в систему, перегляд історії послідовностей, перегляд вподобаних послідовностей. Визначено, що користувачі, які мають обліковий запис зможуть переглянути історію згенерованих послідовностей та зберігати вподобані музичні композиції. Дизайн інтелектуальної системи було описано з використанням десяти евристичних характеристик Нільсена. Для реалізації було розроблено масштабований та адаптований для майбутніх змін веб-застосунок з безсерверною архітектурою та нереляційною NoSQL базою даних. Для досягнення безсерверної архітектури було використано бібліотеку serverless та лямбда-вирази AWS Lambda functions. Клієнтська частина реалізовано за допомогою технології React. Для генерування музичних послідовностей були використані моделі бібліотеки @magenta/music MusicRNN та MusicVAE. Застосунок було розгорнуто за допомогою сервісу хмарних обчислень Amazon Web Services. Були використані передові сучасні технології, які дозволять легко масштабуватись та додавати новий функціонал в майбутньому. Об’єкт дослідження: процес генерації музики за допомогою методів машинного навчання. Предмет дослідження: моделі, методи і засоби машинного навчання для інтелектуальної системи генерування музики. Мета роботи: розробити інтелектуальну систему для створення музики за допомогою методів машинного навчання. Результати дослідження: ? здійснено аналіз літературних джерел; ? розглянуто наявні системи аналогів та їх особливості; ? проведено системний аналіз, у якому побудовано дерево цілей та UML-діаграми, визначено вимоги системи; ? обрано методи та засоби розробки запропонованої системи та описано структуру її бази даних; ? розроблено програмний продукт та представлено контрольний приклад роботи.With the rapid development of machine learning technologies and artificial intelligence, more and more industries have begun to use them to solve everyday problems. These technologies have very great potential in the future. The picture of our robotic world, not so distant future, largely depends on our ability to successfully deploy artificial intelligence. However, turning machines into thinking devices is not as easy as it may seem. Powerful artificial intelligence can only be achieved through machine learning to help machines understand how people do it. The path of artificial intelligence and machine learning in music has begun relatively recently, but it is already having a big impact on the music industry. This intelligent system aims to create musical sequences using machine learning techniques. The user provides certain data at the input, and at the output receives the generated music sequence. The generated sequence can be played in a web player, exported as a MIDI file and sent to other users by reference. Due to its simplicity and convenience, the intelligent system simplifies and speeds up music processes for producers and performers. When analyzing the existing software solutions, it was determined that at the moment there are no direct analogues of the intelligent system that would meet the requirements of the user. As a result, five UML diagrams were constructed: class diagram, state diagram, precedent diagram, deployment diagram, and activity diagram. A systematic analysis of the intelligent system and the construction of a goal tree were also conducted. The class diagram shows the relationships between the main elements of the database. The state diagram shows the process of generating music sequences. The deployment diagram shows a general diagram of the application deployment using the cloud computing service. The precedent chart shows two classes of actors: guest and user. Guest has no account while the user has one and has logged in into the system. Shared functionality is available in both actor classes, but the user has several additional features, such as saving and viewing music sequences. The task of creating an intelligent system for generating music using machine learning methods was also identified and substantiated. It was determined that the intelligent system is designed for all users who write their own music e.g. producers or singers/songwriters. The place of application was also determined and the development of an intelligent system was substantiated. In addition, the implementation of the intelligent system was considered, the expected effects of the implementation and a conceptual model was developed. The main functions of the system are directly generating music sequences, exporting MIDI files, the ability to share the generated sequence, play the generated sequence, operations with the player (rewind, loop, repeat, mute/unmute), player settings, login, view sequence history view your favorite sequences. It has been determined that users who have an account will be able to view the history of generated sequences and save their favorite music. The design of the intelligent system was described using Nielsen's ten heuristic characteristics. A scalable and adaptive web application with a serverless architecture and a non-relational NoSQL database was developed for implementation. The serverless library and AWS Lambda functions were used to achieve a serverless architecture. The serverless application was written using JavaScript programming language. The client part is implemented using React technology and TypeScript programming language. The @magenta/music MusicRNN and MusicVAE library models were used to generate music sequences. The application was deployed using the Amazon Web Services cloud computing service. Advanced modern technologies have been used, which will allow you to easily scale and add new functionality in the future. Object of research: the process of generating music using machine learning methods. Subject of research: models, methods and means of machine learning for intelligent music generation systems. Purpose: to develop an intelligent system for creating music using machine learning methods. Research results: ? The analysis of literary sources is carried out; ? The existing systems of analogues and their features are considered; ? A system analysis was performed, in which a tree of goals and UML-diagrams was built, system requirements were determined; ? Methods and means of development of the offered system are chosen and the structure of its database is described; ? The software product is developed and the control example of work is presented.

Key words - music generation, machine learning, intelligent system.