Модифікація алгоритму пошуку нечітких дублікатів у текстах українською мовою

Abstract

Розглянуті найпопулярніші алгоритми пошуку нечітких дублікатів. Було запропоновано модифікацію алгоритму пошуку нечітких дублікатів для текстових ресурсів, що ґрунтується на методі шинглів. Розроблений метод вирішує проблему чутливості до перестановки слів у класичному алгоритмі шинглів, що існує для текстів українською та іншими мовами слов'янської групи. Результати експериментів, що наведені роботі, показали приріст швидкості пошуку нечітких дублікатів. In this paper, are considered most popular algorithms of near-duplicates detecting. Was proposed modified algorithm for detecting near-duplicates for text resources based on shingles. New method solves problem of sensitivity to words inversion for classical shingles method that takes place for Ukrainian and other Slavonic languages. The results of experiments shown in the work demonstrate that the speed of the duplicate detection algorithms is greatly increased.