Дослідження автоматизації процесу оцінювання якості написання наукових робіт українською мовою засобами штучного інтелекту

Abstract

Магістерська кваліфікаційна робота виконана студентом групи КНСШ-21 Боднаром Остапом Васильовичем. Тема «Дослідження автоматизації процесу оцінювання якості написання наукових робіт українською мовою засобами штучного інтелекту». Робота направлена на здобуття ступеня магістр за спеціальністю 122 «Комп’ютерні науки». Об’єктом дослідження є процес автоматизації оцінки якості текстів українською мовою з використанням сучасних мовних моделей. Предметом дослідження виступають методи та алгоритми, а також їх комбінації, що застосовуються для аналізу текстів і виявлення помилок у них. Для досягнення мети розроблено власну систему збору та обробки даних, яка забезпечила формування навчальних вибірок на основі тисяч наукових статей українською мовою. Було створено два основних набори даних: високоякісний "золотий" набір та синтетичний набір, що імітує різні типи помилок та структури текстів. Проведено аналіз ефективності сучасних мовних моделей, зокрема Phi3.5- mini та GPT-4o-mini, для виявлення граматичних помилок та семантичного аналізу текстів українською мовою. Модель Phi3.5-mini, тренована на змішаному наборі даних, досягла точності 86 % у задачах POS-тегування та 42 % у задачах класифікації, перевершуючи результати моделі GPT-4o-mini, яка показала точність 71 % у задачах класифікації. У результаті виконання дипломної роботи підтверджено ефективність використання методів штучного інтелекту для автоматизованого оцінювання наукових текстів українською мовою. Сучасні мовні моделі демонструють потенціал для створення подібних рішень, однак коректне тренування моделі та підбір оптимальних параметрів є складним завданням, що потребує вирішення багатьох нюансів перед практичним застосуванням. Незважаючи на це, проведене дослідження підтверджує перспективність такого підходу. Загальний обсяг роботи: 111 сторінок, 21 рисунок, 29 посилань. Master’s degree work of the student of the group CSAI-21 Ostap Bodnar Vasyliovych. The topic is "Research on writing quality assessment automation for scientific papers in the Ukrainian language using artificial intelligence". The work is aimed at obtaining a master's degree in 122 "Computer Science". The object of the study is to test the feasibility of using artificial intelligence to assess the literacy of scientific papers written in Ukrainian. The subject of research is the methods and algorithms, as well as their combinations, used to evaluate written texts and search for errors in them. The goal is achieved through the development or integration of the best grammar error detection model for the Ukrainian language, the development of a comprehensive text processing algorithm for the formation of features (based on the structure of sentences, proper names, etc.), verification of the quality of the use of modern LLM models for semantic text analysis, creation and implementation of an application architecture for the analysis of scientific papers that will combine various artificial intelligence models to form the final evaluation. The rapid development of technology, globalization, and digitalization is changing the way we consume information. Gaining knowledge or searching for other data is now more accessible than ever, but to cope with such a volume, you have to quickly "scan" texts without paying proper attention to details. Thus, according to PISA 2022, it is increasingly difficult for teenagers to absorb large amounts of information and read well, which in turn reduces their ability to fully express their own opinions, especially in articles, essays, or scientific publications. Of course, this problem concerns not only teenagers, but all modern Internet users.