Метод формування набору даних для перевірки якості вивчення мовними моделями транзитивного відношення у контексті задачі логічного висновку

Abstract

Розроблено метод формування набору даних для перевірки вивчення готовими моделями залежності транзитивності. Сформований набір даних використано для тестування якості вивчення моделями залежності транзитивності у задачі логічного висновку (NLI). Тестування набору даних розміром 10 000 зразків (MultiNLI) відбувалось на моделі RoBerta. Також досліджено, що у задачі логічного висновку клас подібний є більш спрямованим, ніж протиріччя і нейтральний. Бо якщо поміняти місцями передумову і гіпотезу у наборі даних, то точність моделі RoBerta зменшується на коефіцієнт 2.97,1.17,1.26 для класу подібний ((0.98→0.33), нейтральний (0.90→0.77) та протиріччя (0.98→0.78) відповідно. Час ітерації дослідження становить 0,0028 с, тому лише половина набору даних потребує приблизно 84 год обчислень. Це дослідження актуальне, оскільки можливість моделей природної мови досліджувати такі залежності, як транзитивність, яка не задана явно у наборі тренувальних даних, є важливим елементом вміння моделей узагальнювати. Виявлено, що модель RoBerta добре вивчає транзитивні залежності у задачі логічного висновку, бо на всіх зразках зі сформованого набору даних правильно класифікувала належність до класів подібний, протиріччя та нейтральний.

A method for data set formation has been developed to verify the ability of pre-trained models to learn transitivity dependencies. The generated data set was used to test the quality of learning the transitivity dependencies in the task of natural language inference (NLI). Testing of a data set with a size of 10,000 samples (MultiNLI) used to test the RoBerta model. It was found that this model is good at studying transitive dependencies in the task of logical inference because all samples from the formed dataset were correctly classified as belonging to the class similar, contradiction and neutral. It was also investigated that in the task of logical inference, the class similarity is more directed than contradiction and neutral. Because if the premise and hypothesis in the data set are swapped, the accuracy of the RoBerta model decreases by a factor of 2.97,1.17,1.26 for the similar (0.98→0.33), neutral (0.90→0.77), and contradiction (0.98→0.78) classes, respectively. The study iteration time is 0.0028 seconds, so only half of the data set requires approximately 84 hours of collection. This research is relevant because the ability of natural language models to explore such dependencies as transitivity, which is not explicitly specified in the training data set, is an important element of the model’s ability to generalize. It was found that RoBerta’s model is good at studying transitive dependencies in the logical inference task because it correctly classified belonging to the class similar, contradiction, and neutral on all samples from the generated data set.