Robust bootstrap regression testing in the presence of outliers

Abstract

Бутстрап — це один із методів вибору випадкової вибірки із заміною, який був запропонований для вирішення проблеми малих вибірок, розподіли яких важко отримати. Розподіл бутстрап-вибірок є емпіричним або вільним, і завдяки його випадковому відбору із заміною ймовірність вибору конкретного спостереження може дорівнювати одиниці. На жаль, коли вихідні дані вибірки містять викиди, виникає серйозна проблема, яка призводить до некоректності оцінки за допомогою звичайних найменших квадратів, тому слід рекомендувати робастні методи регресії. Добре відомо, що найкраща робастна регресійна модель має високу точку пробою не більше ніж 0.50, тому робастний регресійний метод не буде працювати, якщо відсоток викидів у вибірці перевищує 0.50. Добре відомо, що бутстрап-процес з фіксованим x робить перевибірку залишків, які, ймовірно, мають викиди. Більше того, точка(и) важеля є викидом, який виникає в X-напрямку, тому буде існувати його вплив на бутстрапвибірки з фіксованим x. Тому прийняття рішення щодо нульової гіпотези коефіцієнтів бутстрап-регресії не може бути надійним. У цій статті пропонується використовувати зважений бутстрап із фіксованим x із ймовірнісним підходом, щоб гарантувати, що відсоток викидів у бутстрап-вибірках буде дуже низьким. А потім зважена M-оцінка повинна бути спрямована на розв’язання проблеми викидів і важливих точок та прийняття більш надійного рішення щодо перевірки гіпотези про коефіцієнти бутстрапрегресії. Ефективність запропонованого методу була порівняна з іншими методами на реальних та змодельованих даних. Результати показують, що запропонований нами метод є ефективнішим та надійнішим за інші.

Bootstrap is one of the random sampling methods with replacement, that was proposed to address the problem of small samples whose distributions are difficult to derive. The distribution of bootstrap samples is empirical or free and due to its random sampling with replacement, the probability of choosing a specific observation may be equal to one. Unfortunately, when the original sample data contains an outlier, there is a serious problem that leads to a breakdown OLS (Ordinary Least Squares) estimator, and robust regression methods should be recommended. It is well known that the best robust regression method has a high breakdown point is not more than 0.50, so the robust regression method would break down when the percentage of outliers in the bootstrap sample exceeds 0.50. It is well known that fixed-x bootstrap is resampled the residuals which probably are having outliers. Moreover, the leverage point(s) is an outlier that occurs in X-direction, so the effects of it on fixed-x bootstrap samples would be existence. However, the decision-making about the null hypothesis of bootstrap regression coefficients could not be reliable. In this paper, we propose using weighted fixed-x bootstrap with a probability approach to guarantee the percentage of outliers in the bootstrap samples will be very low. And then weighted M-estimate should be to tackle the problem of outliers and leverage points and taking a more reliable decision about bootstrap regression coefficients hypothesis test. The performance of the suggested method has been tested with others by using real data and simulation. The results show our proposed method is more efficient and reliable than the others.