Using transitivity information for morphological and syntactic disambiguation of pronouns in Ukrainian
Date
2019-02-26
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Видавництво Львівської політехніки
Abstract
Наведено короткий опис декількох електронних ресурсів української мови, а саме
два синтаксичні корпуси: Золотий стандарт (біля 130 тис. слів), анотований вручну
деревами залежностей Universal Dependencies (https://universaldependencies.org/), що
становить тренувальні дані для синтаксичного парсера, та великий (майже 3 мільярди
слів) автоматично анотований Загальний синтаксичний корпус (Звідусіль), а також
валентний словник українських дієслів. Ці мовні ресурси розробляються в Інституті
Української, ГО від 2015 року та є доступні для некомерційного вживання під адресою
установи https://mova.institute/. Також описано експериметальне використання валентного
словника для покращення якості роботи синтаксичного парсера з використанням
машинного навчання та ґрунтовної теоретико-лінгвістичної бази. Прикладом були
конструкції особово-присвійних займенників “його”, “її”, “їх”, кожен з яких має понад
24 можливі морфологічні таги, у сполученні з ґерундієвими іменниковими формами, що
також можуть мати різні граматичні інтерпретації (із ключовими семантичними
ролями або без них). Вибір правильної інтерпретації у багатьох випадках вимагає
ідентифікації семантичної ролі іменника, що його заступає у тексті займенник, і/або
розв’язання кореференції (анафори). З одного боку, це ускладнює процес
уоднозначнення; з іншого боку, ми отримуємо бонус для якісного автоматичного аналізу
тексту, необхідного для багатьох застосувань в обробці природних мов (NLP). Проаналізовано
типові помилки автоматичного парсингу для досліджуваної конструкції та
подано практичні рекомендації до створення тренінгових даних для кращого навчання
парсера у майбутньому. Стаття є практичним продовженням лінгвістичного
дослідження (Kotsyba, Moskalevskyi 2018 [11]), де подано теоретичне обгрунтування
рішення проблеми інтерпретації займенників та ґерундієвих іменників для української
мови на тлі інших словянських мов.
The paper presents a short introduction to several electronic resources for Ukrainian language, namely, two treebanks: the Gold standard (ab. 130 thousand tokens), manually annotated in the Universal Dependencies flavour (https://universaldependencies.org/), which comprises the training data for a machine-trained syntactic parser, and a big (near 3 billion tokens), automatically annotated General Treebank (also known as Zvidusil), as well as a valency dictionary, developed by the Institute for Ukrainian, NGO (Kyiv) in 2015-2019 (https://mova.institute/). We also describe an experimental usage of the valency dictionary information to boost the performance of the syntactic parser. As a proof of concept, we discuss the case of syntactic and morphological ambiguity of frequently used Ukrainian pronouns його, її, їх ‘his, her, their’ and ways of improving the syntactic parser’s performance using the supervised machine learning techniques with a theoretical linguistic support. Apart from the multiple morphological ambiguity (24+ possible tags for each of these forms), one of the challenges connected with the presented linguistic phenomenon, is that its correct disambiguation involves anaphora resolution and semantic roles identification. On the one hand, this makes the disambiguation process much more complicated, given the followed annotation design, on the other hand, by resolving a seemingly low-level (morphological) problem we gain a bonus in the form of significant textual analysis hints which can be later used in various NLP applications for Ukrainian. The present article is a practical follow-up of its more theoretical predecessor (Kotsyba, Moskalevskyi 2018 [11]), where the linguistic underpinnings of the syntactic and morphological interpretation of the pronouns його, її, їх in comparison with other Slavic languages are presented in greater detail
The paper presents a short introduction to several electronic resources for Ukrainian language, namely, two treebanks: the Gold standard (ab. 130 thousand tokens), manually annotated in the Universal Dependencies flavour (https://universaldependencies.org/), which comprises the training data for a machine-trained syntactic parser, and a big (near 3 billion tokens), automatically annotated General Treebank (also known as Zvidusil), as well as a valency dictionary, developed by the Institute for Ukrainian, NGO (Kyiv) in 2015-2019 (https://mova.institute/). We also describe an experimental usage of the valency dictionary information to boost the performance of the syntactic parser. As a proof of concept, we discuss the case of syntactic and morphological ambiguity of frequently used Ukrainian pronouns його, її, їх ‘his, her, their’ and ways of improving the syntactic parser’s performance using the supervised machine learning techniques with a theoretical linguistic support. Apart from the multiple morphological ambiguity (24+ possible tags for each of these forms), one of the challenges connected with the presented linguistic phenomenon, is that its correct disambiguation involves anaphora resolution and semantic roles identification. On the one hand, this makes the disambiguation process much more complicated, given the followed annotation design, on the other hand, by resolving a seemingly low-level (morphological) problem we gain a bonus in the form of significant textual analysis hints which can be later used in various NLP applications for Ukrainian. The present article is a practical follow-up of its more theoretical predecessor (Kotsyba, Moskalevskyi 2018 [11]), where the linguistic underpinnings of the syntactic and morphological interpretation of the pronouns його, її, їх in comparison with other Slavic languages are presented in greater detail
Description
Keywords
українська мова, снтаксичний корпус, дерево залежностей, валентний словник, семантичні ролі, анафора, морфологічне уоднозначення, машинне навчання, Ukrainian language, Treebank, syntactic parsing, semantic roles, valency dictionary, anaphora resolution, morphological disambiguation, supervised machine learning
Citation
Kotsyba N. Using transitivity information for morphological and syntactic disambiguation of pronouns in Ukrainian / Natalia Kotsyba, Bohdan Moskalevskyi // Вісник Національного університету "Львівська політехніка". Інформаційні системи та мережі. — Львів : Видавництво Львівської політехніки, 2019. — № 5. — С. 101–115.