Інтелектуальна система аналізу і контролю мови в залежності від критеріїв заданих користувачем

Abstract

Метою цієї магістерської роботи є розробка комплексного додатку для аналізу мовлення, який обробляє та аналізує мовлення, виявляє небажані слова та надає різні методи візуалізації, щоб користувачі могли краще розуміти свої мовні моделі. Програма має на меті допомогти користувачам удосконалити свої комунікативні навички, визначаючи тенденції, шаблони та потенційні області для вдосконалення їхнього мовлення[1]. Об'єкт дослідження: Процеси та явища пов'язані з аналізом мовлення людини, що включають розпізнавання мовлення, обробку аудіоданих, візуалізацію та аналіз результатів. Предмет дослідження: Розробка програмного засобу для аналізу мовлення користувачів, який допомагає виявляти закономірності, тенденції та потенційні області для покращення у спілкуванні. Мета дослідження: Створення ефективного та корисного інструменту для аналізу мовлення людини, який дозволить користувачам поліпшувати свої навички спілкування за допомогою аналізу різних аспектів мовлення. Задачі дослідження: 1. Дослідити існуючі методики та технології для аналізу мовлення, розпізнавання мовлення та візуалізації даних. 2. Розробити алгоритми та методи для обробки аудіоданих, перетворення мовлення на текст та аналізу мовленнєвих патернів. 3. Реалізувати програмний засіб на основі вибраних методів та технологій, забезпечивши його інтуїтивний та зручний інтерфейс. 4. Провести тестування та оцінку створеного інструменту для аналізу мовлення з метою виявлення можливих поліпшень та розширень функціональності. Методологія, використана в цьому дослідженні, передбачає використання кількох бібліотек Python для обробки різних аспектів програми, таких як PyAudio для запису та обробки звуку, Vosk для розпізнавання мови, Pandas для керування даними та Plotly для візуалізації даних. Програма призначена для запису та обробки аудіо, розпізнавання мовлення, керування небажаними словами в Excel, відтворення аудіофайлів і створення діаграм, які надають уявлення про моделі мовлення користувача[1][5]. Серед основних аспектів можна виділити: • Виявлення ефективних методів розпізнавання та аналізу мовлення, які можуть бути застосовані в програмному засобі. • Розробка алгоритмів для обробки аудіоданих та аналізу тексту, що включає виявлення ключових слів, частоти вживання та тривалості мовленнєвих сегментів[4]. • Створення візуалізацій, які дозволяють користувачам краще розуміти свої мовленнєві патерни та слідкувати за динамікою показників протягом часу. • Реалізація зручного та інтуїтивно зрозумілого інтерфейсу, що сприяє широкому використанню програмного засобу серед користувачів. Розроблений додаток містить кілька ключових функцій, таких як запис мовлення, обробка мовлення, керування небажаними словами в Excel, відтворення аудіофайлів і створення діаграм. Крім того, були досліджені альтернативні методи реалізації деяких із цих функцій разом із потенційними майбутніми оновленнями та додатковими методами візуалізації та аналізу, які можна реалізувати, щоб надати користувачам більше розуміння своїх даних. Результат досліджень: У результаті дослідження було розроблено програмний засіб для аналізу мовлення, який дозволяє користувачам записувати, аналізувати та візуалізувати своє мовлення[3]. Цей інструмент допомагає користувачам виявляти тенденції, закономірності та області для покращення у своєму спілкуванні, що сприяє розвитку мовленнєвих навичок та поліпшенню комунікації. Завдяки впровадженню додаткових функцій і вдосконалень, таких як хмари слів, декомпозиція часових рядів, аналіз настроїв, моделювання тем, аналіз n-грамів, розподіл довжини слів, позначення частин мови та лексичне розмаїття, програма може стати ще більшою потужний інструмент для користувачів, які хочуть працювати над покращенням своїх навичок спілкування. Підсумовуючи, у цій магістерській роботі представлено комплексний додаток для аналізу мовлення, який використовує сучасні методи розпізнавання мовлення, аналізу даних і візуалізації, щоб надати користувачам цінну інформацію про їх усну мову. [2] Розроблений додаток може внести значний внесок у сферу аналізу мовлення та допомогти користувачам покращити їхні комунікативні навички за допомогою аналізу даних і цільового зворотного зв’язку.The goal of this master's thesis is to develop a comprehensive speech analysis application that processes and analyzes speech, detects unwanted words, and provides various visualization techniques to help users better understand their speech patterns. The program aims to help users improve their communication skills by identifying trends, patterns and potential areas for improvement in their speech[1]. Research object: Processes and phenomena related to the analysis of human speech, including speech recognition, audio data processing, visualization and analysis of results. Research Subject: Development of a software tool for analyzing user speech that helps identify patterns, trends, and potential areas for improvement in communication. The goal of the study: Creation of an effective and useful tool for analyzing human speech, which will allow users to improve their communication skills by analyzing various aspects of speech. Research objectives: 1. Explore existing techniques and technologies for speech analysis, speech recognition and data visualization. 2. Develop algorithms and methods for processing audio data, converting speech to text, and analyzing speech patterns. 3. Implement the software tool based on the selected methods and technologies, ensuring its intuitive and user-friendly interface. 4. To conduct testing and evaluation of the created tool for speech analysis in order to identify possible improvements and extensions of functionality. The methodology used in this study involves the use of several Python libraries to handle different aspects of the application, such as PyAudio for audio recording and processing, Vosk for speech recognition, Pandas for data management, and Plotly for data visualization. The program is designed to record and process audio, recognize speech, manage unwanted words in Excel, play audio files, and create charts that provide insight into a user's speech patterns[1][5]. The main aspects include: • Identify effective methods of speech recognition and analysis that can be applied in software. • Development of algorithms for audio data processing and text analysis, including detection of key words, frequency of use and duration of speech segments[4]. • Creation of visualizations that allow users to better understand their speech patterns and follow the dynamics of indicators over time. • Implementation of a convenient and intuitive interface, which contributes to the wide use of the software tool among users. The developed application includes several key features such as speech recording, speech processing, managing unwanted words in Excel, playing audio files and creating charts. Additionally, alternative methods for implementing some of these features have been explored, along with potential future updates and additional visualization and analysis methods that can be implemented to provide users with more insight into their data. Research output: The research resulted in the development of a software tool for speech analysis that allows users to record, analyze and visualize their speech[3]. This tool helps users identify trends, patterns, and areas for improvement in their communication, which helps develop speaking skills and improve communication. With the introduction of additional features and enhancements such as word clouds, time series decomposition, sentiment analysis, topic modeling, n-gram analysis, word length distribution, part-of-speech tagging, and lexical diversity, the program can become an even more powerful tool for users who want work on improving your communication skills. In summary, this Master's thesis presents a comprehensive speech analysis application that uses modern speech recognition, data analysis and visualization techniques to provide users with valuable information about their spoken language. [2] The developed application can make significant contributions to the field of speech analysis and help users improve their communication skills through data analysis and targeted feedback.