Статистика появи слів у природних і рандомних текстах - Кушнір, О. С.; Альфавіцький, М. А.; Дзіковський, В. Є.; Іваніцький, Л. Б.; Рихлюк, С. В.; Сокульський, В. І. (Видавництво Львівської політехніки, 2017)
Експериментально досліджено статистичні розподіли, що описують появу слів у кількох природних текстах, а також похідних від них рандомних текстах. Показано, що масова функція ймовірності відповідних інтервалів між словами є практично однаковою для природних і рандомних текстів і виявляє важкий вейбулівський хвіст, що не узгоджується із суто стохастичним характером цих інтервалів. Помітні відхилення динаміки зростання словника природних і рандомних текстів від динаміки, передбаченої степеневим законом Гіпса, а також кросовер у словнику одного з природних текстів підтверджують потребу в узагальненні цього закону.

We study experimentally statistical distributions that describe the appearance of words in a number of natural texts, as well as in the random texts derived on their basis. It is shown that the probability mass function of the respective intervals between words is practically the same for the natural and random texts and manifests a fat tail, which is inconsistent with purely stochastic character of those intervals. Significant deviations of the vocabulary growth dynamics found for the natural and random texts from the dynamics predicted by the power Heaps’ law, together with a crossover found in the dictionary of one of the natural texts, confirm a need in generalization of that law.
Statistics of words occurrences in natural and random texts
Keywords: природні тексти; рандомні тексти; статистичні закони лінгвістики; словник; розподіли з важким хвостом; natural texts; random texts; statistical laws of linguistics; vocabulary; fattailed distributions; 004.6; 004.9; 538.9