Математичні методи та прикладні інформаційні технології моделювання, перекладу та навчання для української жестової мови

No Thumbnail Available

Date

2016

Journal Title

Journal ISSN

Volume Title

Publisher

Видавництво Львівської політехніки

Abstract

обленням математичних методів та формуванням комплексу прикладних інфор- маційних технологій моделювання, опрацювання та перекладу української жестової мови. Проаналізовано та запропоновано нові методи розпізнавання та ідентифікації дактилем жестової абетки, методи комп’ютерного перекладу анотованої української жестової мови. Виконано оригінальні дослідження лінгвістичних особливостей української жестової мови та розроблено граматично доповнену онтологію української словесної та української жестової мов. Розроблено мультимедійну технологію аналізу візуальних образів звуків і емоційних мімік обличчя людини, що дало змогу реалізувати анімацію емоційно-артикуляційного каналу носія жестової мови. In the scientific paper a number of important scientific and applied tasks related to the development of mathematical methods and the formation of a complex of applied information technologies of modeling, processing and translation of the Ukrainian sign language are solved. New methods of recognition and dactyl identification of the sign alphabet, methods of computer translation of the annotated Ukrainian sign language are analyzed and proposed. It is performed the original research of the linguistic peculiarities of the Ukrainian sign language and developed the grammatically augmented ontology of the Ukrainian verbal and Ukrainian sign language. The multimedia technology of the analysis of the visual sound images and the emotional facial gesture, allowing to implement the animation of the emotional speech channel of the sign language speaker is developed.

Description

Keywords

українська жестова мова, інформаційна технологія, розпізнавання жестів, дактильна абетка жестової мови, синтез та розпізнавання міміки губ, візема, реалістична тривимірна анімація жестової мови, модель синтезу анімації мовленнєвої інформації, система комп’ютерного перекладу, граматично доповнена онтологія, дерево синтаксичного розбору, афіксна ймовірнісна контекстно-вільна грамматика, Ukrainian sign language, information technology, recognition of gestures, finger, alphabet sign language, visual-speech synthesis and lips reading, visemes, realistic threedimensional animation of sign language, model of visual-speech animation synthesis, computer translation system, grammatically augmented ontology, parsing tree, affix probabilistic context free grammar

Citation

Математичні методи та прикладні інформаційні технології моделювання, перекладу та навчання для української жестової мови / Ю. В. Крак, О. В. Лозинська, В. В. Пасічник, А. С. Тернов, Д. В. Шкільнюк // Вісник Національного університету "Львівська політехніка". Серія: Інформаційні системи та мережі. – 2016. – № 854. – С. 210–227. – Бібліографія: 43 назви.