Синтез видимої артикуляції віртуального персонажа з аудіопотоку для системи сурдоперекладу

Abstract

Описано метод синтезу видимої артикуляції віртуального персонажа з аудіопотоку для системи сурдоперекладу. На відміну від методів, які працюють із записом цілого речення для синтезу видимої артикуляції із затримкою в часі, запропонований метод працює із наперед заданою затримкою, яка не залежить від довжини речення. Метод оснований на виборі кадрів навчального відео в різній послідовності для забезпечення максимально реалістичної артикуляції. Lips animation method for synchronous translation into sign language is described. As opposed to methods that work with a record of a full sentence, the proposed solution has a constant delay that does not depend of sentence length. The method is based on selection of video frames from a training video in a specific order to achieve natural look.