Аналіз алгоритму Apriori для структурованих та неструктурованих даних

Abstract

Проаналізовано алгоритм Apriori як метод пошуку асоціативних правил у структурованих та неструктурованих даних з погляду кількості знайдених правил, швидкодії та потреб в обчислювальних ресурсах. Неструктуровані дані тісно пов’язані з терміном Big Data. Актуальним завданням інженерії даних є виявлення ефективних засобів опрацювання неструктурованої інформації. Для проведення обчислювальних експериментів розроблено програмну систему, що опрацьовує дані алгоритмом Apriori, предметною областю якої вибрано торгівлю. Така система може бути прототипом реальної рекомендаційної системи. Програмне рішення розроблено на стеку технологій Hadoop.Apriori algorithm is analyzed as a search method of associative rules in structured and unstructured data in terms of the number of discovered rules, performance and requirements for computing resources. Unstructured data are closely related to the term ’Big Data’. One of the main tasks of data engineering is the detection of unstructured information processing means. There has been developed a software system to perform computational experiments that processes data using Apriori algorithm, which subject area is trade. Such system can be a prototype for real recommendation system. The software solution is developed on stack of Hadoop technology.