Методи семантичного аналізу при анотованому узагальненні текстових документів

Abstract

Розглянуто використання семантичного аналізу при узагальненні текстових документів. Проаналізовано найпоширеніші методи узагальнення текстових документів та оцінювання якості результатів оцінювання. Наведено особливості вдосконаленого методу анотаційного узагальнення текстових документів, який використовує принципи прихованого семантичного аналізу та елементи нечіткої логіки для виявлення семантично важливих речень. Запропоновано використання нового підходу до оцінювання ефективності узагальнення, основаного на елементах нечіткої логіки та на статистичному показнику, що використовується для оцінювання важливості слів у контексті та класу документа, що дає змогу визначити міру відповідності вмісту оригінального документа та його резюме. Наведено результати верифікації запропонованих засобів, що засвідчують їхню ефективність.

The article is devoted to the use of semantic analysis in the generalization of text documents. The analysis of features of the most widespread methods of generalization of text documents and an estimation of quality of results of an estimation is carried out. Features of the improved method of annotative generalization of text documents, which uses the principles of hidden semantic analysis and elements of fuzzy logic to identify semantically important sentences, are presented. It is proposed to use a new approach to evaluating the effectiveness of generalization, based on elements of fuzzy logic and a statistical indicator used to assess the importance of words in the context and class of the document, which allows to determine the correspondence between the original document and its summary. The results of verification of the proposed tools, certifying their effectiveness.