Система інтелектуального аналізу тексту (Text Mining) в режимі реального часу

Abstract

Під час виконання цієї магістерської роботи виконується дослідження процес інтелектуального аналізу тексту в режимі реального часу, розглядається існуючі аналоги до розробленої системи. Також формується загальне значення про алгоритми аналізів текстів[1] загалом і як вони працюють при різних конфігураціях. В роботі формується наступне бачення такої системи, як системи яка призначена для аналізу текстових вибірок даних з мінімальними затратами часу та фінансів. Пізніше проводиться аналіз сьогоднішніх справ на ринку систем інтелектуального аналізу тексту в режимі реального часу. Також в роботі виконується порівняльна характеристика найбільш популярних систем аналізу тексту, а саме наступних систем: Lexalytics!, Microsoft Azure Text Analytics, Amazon Comprehend[2]. Також за результатами проведеного аналізу, обирається алгоритм та поведінка аналізу для виконання практичного завдання. В другому розділі проведено моделювання бізнес процесів, моделювання вимог проекту, таких як: бізнес вимоги, користувацькі вимоги, функціональні вимоги та нефункціональні вимоги також проведене моделювання об'єктів предметної області та моделювання процесів розв'язання задачі системи керування вмістом. Після чого, побудовані наступні UML-діаграми: діаграма варіантів використання, діаграма класів та діаграми діяльності. Ці діаграми відображають роботу обраної системи на прикладі пошуку співпадінь по датасетах даних. Далі в цій роботі представлено теорію по засобах, згідно з якими буде розроблено програмний продукт, а також будуть обґрунтовані ресурси, використані для розробки та реалізації проекту. Після теорії показаний повний процес ініціалізації та розгортання тестового продукту на базі обраних засобів для реалізації системи [3]. Розглядаються основні елементи цієї системи та проводиться їх огляд і тестування. Під час розробки використано середовище програмування – intellij idea Ultimate [4], платформа JAVA 11 [5], база даних Mongo DB [6], програмний фреймворк для реалізації режиму реального часу Apache Kafka [7]. Побудовано моделі та

структуру цієї системи аналізу тексту, розроблено програмні модулі та протестована коректність роботи системи. В останньому розділі магістерської кваліфікаційної роботи проводиться розрахунок витрат на розробку програмного забезпечення системи. Проведено економічні розрахунки для відображення доцільності розробки програмно- апаратного комплексу, а також здійснено порівняння з існуючим аналогом. За результатами даних обчислень можна зробити висновок, що таке проектне рішення переважає над аналогом, а коефіцієнт конкурентоздатності становить 0,63. Отримано додатній економічний ефект у розмірі 11230,55грн. Тому можна зробити висновок, що розробка і впровадження даного проекту з використанням цієї системи є актуально. Об’єкт дослідження - система інтелектуального аналізу даних в режимі реального часу. Предмет дослідження - інтелектуальний аналіз тексту та його можливості в обробці та швидкості доставки даних Мета дослідження – ознайомитись з фундаментальною логікою, що лежить в основі аналізу тексту, задіяними аналітичними етапами та розробити іноваційну систему для розробки системи інтелектуального аналізу даних Результати дипломної роботи є те що досліджувана система надала можливості системи інтелектуального аналізу даних, яка готова для використання. Ця система є достатньо гнучкою для подальшої розробки та удосконалення та реалізована використовуючи сучасні технології, які дозволяють оптимізувати та покращити процес розробки програмного забезпечення в даній галузі.

During the performance of this master's work the research process of intellectual analysis of the text in real time is carried out, the existing analogues to the developed system are considered. It also forms a general meaning about the algorithms of text analysis [1] in general and how they work in different configurations. The paper forms the following vision of such a system as a system that is designed to analyze text samples of data with minimal time and money. Later, the analysis of today's cases in the market of text mining systems in real time. The paper also compares the most popular text analysis systems, namely the following systems: Lexalytics !, Microsoft Azure Text Analytics, Amazon Comprehend [2]. Also, based on the results of the analysis, the algorithm and behavior of the analysis is selected to perform a practical task. The second section provides modeling of business processes, modeling of project requirements, such as: business requirements, user requirements, functional requirements and non-functional requirements, also modeling of subject area objects and modeling of processes for solving the problem of content management system. Then, the following UML diagrams are constructed: usage diagram, class diagram and activity diagram. These diagrams show the operation of the selected system on the example of matching matches on datasets. Further in this work the theory on means according to which the software product will be developed, and also the resources used for development and realization of the project will be substantiated is presented. After the theory, the complete process of initialization and deployment of the test product on the basis of selected tools for system implementation is shown [3]. The main elements of this system are considered and reviewed and tested. During the development, a programming environment was used - intellij idea Ultimate [4], JAVA 11 platform [5], Mongo DB database [6], software framework for real-time implementation of Apache Kafka [7]. Models and are built

the structure of this text analysis system, software modules have been developed and the correctness of the system operation has been tested. In the last section of the master's qualification work is the calculation of costs for software development system. Economic calculations were performed to reflect the feasibility of developing a software and hardware complex, as well as a comparison with the existing analogue. According to the results of these calculations, we can conclude that such a design solution prevails over the analogue, and the competitiveness factor is 0.63. A positive economic effect in the amount of UAH 11,230.55 was obtained. Therefore, we can conclude that the development and implementation of this project using this system is relevant. The object of research is a real-time data mining system. The subject of research is the intellectual analysis of the text and its possibilities in data processing and speed of data delivery The purpose of the study is to get acquainted with the fundamental logic that underlies the analysis of the text, the analytical stages involved and to develop an innovative system for the development of data mining The results of the thesis are that the studied system provided the capabilities of a data mining system that is ready for use. This system is flexible enough for further development and improvement and is implemented using modern technologies that allow you to optimize and improve the software development process in this area.