Feature screening algorithm for high dimensional data

Abstract

На даний час скринінг ознак стає важливою темою в галузі машинного навчання й аналізу багатовимірних даних. Відфільтрування нерелевантних ознак із набору змінних вважається важливим попереднім кроком, який слід виконувати перед будь-яким аналізом даних. Багато дослідників запропонували нові підходи до цієї теми після того, як Фан та Лв (J. Royal Stat. Soc. 70 (5), 849–911 (2008)) ввели властивість надійного скринінгу. Однак продуктивність цих підходів відрізняється від методу до методу. У запропонованій роботі є намагання додати до цього списку новий алгоритм, який виконує скринінг ознак на основі фільтра взаємодії Кендалла (J. Appl. Stat. 50 (7), 1496–1514 (2020)), коли змінна відповідь є неперервною. Добра поведінка нашого алгоритму доводиться за декількома сценаріями моделювання через порівняння з існуючим методом.

Currently, feature screening is becoming an important topic in the fields of machine learning and high-dimensional data analysis. Filtering out irrelevant features from a set of variables is considered to be an important preliminary step that should be performed before any data analysis. Many approaches have been proposed to the same topic after the work of Fan and Lv (J. Royal Stat. Soc., Ser. B. 70 (5), 849–911 (2008)), who introduced the sure screening property. However, the performance of these methods differs from one paper to another. In this work, we aim to add to this list a new algorithm performing feature screening inspired by the Kendall interaction filter (J. Appl. Stat. 50 (7), 1496–1514 (2020)) when the response variable is continuous. The good behavior of our algorithm is proved through a comparison with an existing method, proposed in this work under several simulation scenarios.