Методи та засоби побудови рекомендаційних систем для задач електронної комерції - Арцибасов, Віталій Євгенович (Національний університет "Львівська політехніка", 2015)
У дисертаційній роботі розв’язано наукову задачу розроблення методів та засобів побудови рекомендаційних систем для задач електронної комерції, які можуть бути використані в інших інформаційно-комунікаційних технологіях. Удосконалено метод розрахунку коефіцієнтів подібності векторів для методу зваженої суми, який на відміну від існуючих, враховує розрідженість і довжину векторів профілів, що дозволяє підвищити точність рекомендацій. Вперше на основі концепції асоціативних правил отримано метод надання рекомендацій новому користувачу в системі, який, на відміну від існуючих, враховує інтереси існуючих в системі користувачів і не вимагає реєстрації нового користувача в системі. Отримав подальший розвиток гібридний метод прогнозування рекомендацій, який, на відміну від існуючих, використовує метод нечіткої кластеризації с-means, здійснює контроль поділу на кластери і дозволяє використовувати в розрахунках методом колаборативної фільтрації вектори профілів предметів, які мають найбільші значення характеристичної функції належності до нечітких кластерів. Вперше розроблено метод введення в рекомендаційну систему профілю нового користувача і нового предмета на основі категоріальної кластеризації, який, на відміну від існуючих, використовує лише демографічні атрибути користувачів і контентні атрибути предметів, які вводяться в систему при реєстрації об’єкта і не вимагає попереднього опитування користувачів чи аналізу поведінки користувачів на сайті. Розроблене математичне і програмне забезпечення рекомендаційної системи, яке забезпечує on line і off line режими роботи і включає методи, які орієнтовані на дані, методи, які орієнтовані на моделі, гібридні методи. Розроблено і досліджено методи прогнозування рекомендацій, які основані на рівняннях лінійної і спрощеної лінійної регресії. Проведені експериментальні дослідження розроблених методів. В диссертационной работе решена научная задача разработки методов и средств построения рекомендательных систем для задач электронной коммерции, которые могут быть использованы в других информационно-коммуникационных технологиях. Выполнен анализ современного состояния информационных технологий электронной коммерции и методов построения рекомендательных систем, проведена классификация существующих подходов к построению систем электронной коммерции, рекомендательных систем, приведены преимущества и недостатки каждого подхода, обоснованно гибридный подход к построению рекомендательных систем как наиболее перспективный. Выделены следующие модели электронной коммерции: бизнес-бизнес, бизнес-правительство, бизнес-потребитель, потребитель-потребитель, потребитель-правительство. Показано, что наибольшее распространение в мировой электронной экономике получила модель бизнес-потребитель. К такой модели принадлежат следующие субъекты электронной коммерции: интернет-магазины, интернет-аукционы, электронные досок объявлений, поисковые порталы. Выделены три основных способа воздействия рекомендательных систем на процесс продажи предметов электронной коммерции: конверсия – превращение посетителя сайта в потребителя, увеличение кросс-продаж – поддержка новых предложений предметов для уже существующих клиентов субъекта электронной коммерции, обеспечение лояльности пользователей – поддержка повторного обращения пользователя к субъекту электронной коммерции. Показано, что современные рекомендательные системы можно классифицировать по методам фильтрации, а именно: колаборативная (совместная) фильтрация, контентная фильтрация, гибридная фильтрация. Методы колаборативной фильтрации в свою очередь содержат три основных подхода: подход, основанный на данных, подход, основанный на моделях, гибридный подход. Выполнен анализ основных проблем в прогнозирования рекомендаций. Выделены следующие проблемы: проблема влияния на точность прогнозирования рекомендаций коэффициентов сходства векторов профилей пользователей и предметов; большая разреженность матрицы оценок пользователь-предмет; проблема нового пользователя и нового предмета, масштабируемость. Усовершенствован метод расчета коэффициентов сходства векторов для метода взвешенной суммы, который в отличие от существующих, учитывает разреженность и длину векторов профилей, позволяет повысить точность рекомендаций. Впервые на основе концепции ассоциативных правил получено метод предоставления рекомендаций новому пользователю в системе, который, в отличие от существующих, учитывает интересы существующих в системе пользователей и не требует регистрации нового пользователя в системе. Получил дальнейшее развитие гибридный метод прогнозирования рекомендаций, который, в отличие от существующих, использует метод нечеткой кластеризации с-means, осуществляет контроль деления на кластеры и позволяет использовать в расчетах методом колаборативной фильтрации векторы профилей предметов, имеющие наибольшие значения характеристической функции принадлежности к нечетким кластерам. Впервые разработан метод введения в рекомендательную систему профиля нового пользователя и нового предмета на основе категориальной кластеризации, который, в отличие от существующих, использует только демографические атрибуты пользователей и контентные атрибуты предметов, которые вводятся в систему при регистрации объекта и не требует предварительного опроса пользователей или анализа поведения пользователей на сайте. Разработанное математическое и программное обеспечение рекомендательной системы, которое обеспечивает on line и off line режима работы и включает методы, ориентированные на данные, методы, которые ориентированы на модели, гибридные методы. Разработаны и исследованы методы прогнозирования рекомендаций, основанных на уравнениях линейной и упрощенной линейной регрессии. Проведенные экспериментальные исследования разработанных методов показали, что при потере в точности прогнозирования 3% метод упрощенной линейной регрессии дает выигрыш во времени расчета 5%. Разработана методика тестирования точности методов и алгоритмов прогнозирования рекомендаций, основанная на использовании тестовой матрицы оценок пользователь-предмет и разделении ее на тестовую и прогнозируемую части. Разработано информационное обеспечение рекомендательной системы, которое включает базу данных оценок пользователей и предметов. Разработана структура программного обеспечения, которое позволяет выбирать в диалоговом режиме метод прогнозирования, метод расчета метрики сходства, метод тестирования точности. This thesis addressed the task of developing scientific methods and means of forecasting personalized recommendations for a wide range of information and communication technologies. An improved method for calculating the coefficients of similarity vectors for the weighted sum method, which takes into account the length of the vectors and sparsity profiles, improves the accuracy of the recommendations. For the first time based on the concept of association rules obtained by the method of providing advice to the new user in the system, which takes into account the interests of the existing system and does not require users to register a new user in the system. It was further developed hybrid method reducing the size of the space vectors of user profiles and product profiles of vectors, which includes method-means, controls the division into clusters, and allows you to use in the calculation method collaborative filtering only the most important vectors profiles of objects. First, based on the concept of clustering obtained categorical input a new user and the new object and forming an initial profile, which is in contrast to existing uses only demographic characteristics of the user and content characteristics of the object, which are introduced into the system during the registration of the object.
Методы и средства построения рекомендательных систем для задач электронной коммерции
Methods and tools for building recommendation systems for ecommerce tasks
Keywords: електронна комерція; інформаційна технологія; персоналізована рекомендація; кластерний аналіз; асоціативні правила; нечітка кластеризація; коефіцієнт подібності векторів; вектор профілю користувача; колаборативна фільтрація; демографічні характеристики; категоріальна кластеризація; электронная коммерция; информационная технология; персонализированная рекомендация; кластерный анализ; ассоциативные правила; нечеткая кластеризация; коэффициент сходства векторов; вектор профиля; колаборативная фильтрация; демографические характеристики; категориальная кластеризация; electronic commerce; information technology; personalized recommendations; cluster analysis; association rules; fuzzy clustering; similarity coefficient vector; profile; collaborative filtering; demographic characteristics; categorical clustering