Удосконалення методів та засобів біометричної автентифікації за голосом з застосуванням технологій машинного навчання

Abstract

У сучасних умовах стрімкого розвитку інформаційних технологій та глобальної цифровізації питання надійної автентифікації особи набуває особливої актуальності. Одним із найбільш перспективних напрямів у цій сфері є біометрична автентифікація за голосом, що базується на унікальних акустичних характеристиках мовлення. Проте, з удосконаленням методів синтезу мовлення на основі штучного інтелекту, зокрема технологій клонування голосу, значно зростають ризики реалізації атак типу voice spoofing, що створює нові виклики для забезпечення безпеки біометричних систем. У дисертаційній роботі обґрунтовано доцільність використання нейромережевих технологій машинного навчання для підвищення точності та стійкості голосової біометричної автентифікації. Запропоновано концептуальну модель системи, що реалізує поєднання класичних методів обробки мовного сигналу з сучасними нейронними архітектурами (ECAPA-TDNN, TitaNet, WavLM) і використовує векторні ембедінги для представлення голосових ознак. Проведено формалізацію основних етапів автентифікаційного процесу, зокрема відбору мовного сигналу, його попередньої обробки, екстракції ознак та верифікації особи на основі порівняння ембедінгів. Розроблено та реалізовано експериментальну методику оцінювання ефективності системи в умовах spoofing-атак із використанням синтетичних голосових зразків, згенерованих за допомогою сучасних моделей голосового клонування (RVC, VITS, XTTS, ElevenLabs). Проведено аналіз стійкості до атак із різними типами текстового контенту та здійснено порівняння результативності нейромережевих архітектур. Досліджено вплив масштабування системи та варіативності мовців на рівень точності верифікації. Отримані результати засвідчують доцільність використання нейромережевих моделей для побудови високоточних, продуктивних та стійких до синтетичних атак систем голосової автентифікації. In the context of rapid advancements in information technologies and global digitalization, the issue of reliable identity authentication is of critical importance. One of the most promising directions in this domain is voice-based biometric authentication, which leverages the unique acoustic characteristics of human speech. However, the development of AI-powered speech synthesis methods, particularly voice cloning technologies, significantly increases the risks of voice spoofing attacks, thereby introducing new challenges for the security of biometric systems. This dissertation substantiates the feasibility of applying neural machine learning technologies to enhance the accuracy and robustness of voice biometric authentication systems. A conceptual system model is proposed that combines classical speech signal processing techniques with modern neural architectures (ECAPA-TDNN, TitaNet, WavLM), utilizing vector embeddings to represent voice features. The main stages of the authentication process are formalized, including speech signal acquisition, preprocessing, feature extraction, and identity verification through embedding comparison. An experimental methodology for evaluating the system's performance under spoofing attacks using synthetic voice samples generated by state-of-the-art voice cloning models (RVC, VITS, XTTS, ElevenLabs) was developed and implemented. The system’s resilience was analyzed with respect to varying text content and different cloning technologies. Comparative assessments of neural architectures were performed, along with analysis of system scalability and speaker variability on verification accuracy. The obtained results demonstrate the appropriateness of neural models for developing high-accuracy, high-performance voice authentication systems that are resilient to synthetic speech attacks.