Розроблення системи збору та обробки даних про вакансії у сфері ІТ

Abstract

Зростання конкуренції на ринку ІТ-вакансій та розпорошення інформації між численними платформами ускладнює процес працевлаштування для спеціалістів. Традиційний пошук вакансій вимагає значних часових затрат і не завжди забезпечує повну картину ринку. Актуальність теми полягає у створенні єдиного зручного інструменту, що автоматично агрегує вакансії з різних джерел, структурує їх і надає механізми фільтрації та аналітики. У даній роботі проаналізовано сучасний стан ІТ-ринку в Україні, досліджено функціонал і недоліки популярних платформ для пошуку роботи. Визначено вимоги до майбутньої системи, обрано відповідні інструменти реалізації, зокрема Scrapy, API, OpenAI API, PostgreSQL, Django, та AWS. Спроєктовано архітектуру клієнт-серверного застосунку, розроблено структуру бази даних і вебінтерфейс. Реалізовано модулі для збору даних з Work.ua, Djinni, Robota.ua та DOU, а також їх обробки для уніфікації. Проведено тестування стабільності, коректності відбору вакансій та функцій пошуку. Об'єктом дослідження є система збору та обробки вакансій у сфері ІТ. Предметом дослідження є проєктування, розроблення та тестування системи, що автоматизує процес моніторингу ринку праці. Метою даної роботи є створення інформаційної системи, яка автоматично збирає, обробляє та структурує ІТ-вакансії з кількох джерел для зручного доступу користувачів. Новизна дослідження полягає в поєднанні кількох незалежних джерел вакансій в єдину систему з уніфікованими структурами, що дозволяє ефективно шукати пропозиції за заданими критеріями. У системі також застосовано методи обробки природної мови для кращої інтерпретації змісту вакансій. Практичне значення полягає у створенні працюючого прототипу, що може бути використаний ІТ-фахівцями для пошуку роботи, рекрутерами для моніторингу ринку, а також викладачами як приклад сучасної інформаційної системи в процесі навчання.The growing competition in the IT job market and the fragmentation of information across numerous platforms complicate the employment process for specialists. Traditional job searching requires significant time and does not always provide a complete picture of the market. The relevance of this topic lies in the need to create a unified, convenient tool that automatically aggregates vacancies from various sources, structures them, and provides filtering and analytics mechanisms. This paper analyzes the current state of the IT labor market in Ukraine and explores the functionality and shortcomings of popular job search platforms. The requirements for the future system are defined, and appropriate implementation tools are selected, including Scrapy, APIs, NLP, PostgreSQL, Django, and AWS. The client server architecture of the application is designed, the database structure and user interface are developed. Modules for data collection from Work.ua, Djinni, Robota.ua, and DOU are implemented, along with their processing for unification. System testing has been conducted to verify stability, correctness of vacancy filtering, and search functionality. The object of the research is a system for collecting and processing IT job vacancies. The subject of the research is the design, development, and testing of a system that automates job market monitoring. The purpose of this work is to create an information system that automatically collects, processes, and structures IT vacancies from multiple sources to provide users with convenient access. The novelty of the research lies in combining several independent vacancy sources into a single system with unified structures, allowing efficient search by specified criteria. The system also applies natural language processing methods for better interpretation of job descriptions. The practical value lies in the creation of a functional prototype that can be used by IT professionals for job searching, recruiters for market monitoring, and educators as an example of a modern information system in the learning process.