Устойчивые методы оценивания

Неустойчивость МНК

Хотя при нарушении нормальности МНК-оценки остаются оценками минимальными дисперсиями, они оказываются малоэффективными при распределении «с длинными хвостами». Исследование оценки

к нарушению нормальности показали, что её эффективность падает от 1 до 0,956. Для от 1 до 0,808. Эффективная (наилучшая) оценка - это несмещённая оценка с равномерно минимальной дисперсией.

В многомерном случае выявление и устранение грубых ошибок не может быть проведено МНК оценками. В некоторой степени чувствительность МНК-оценок к грубым ошибкам, как и чувствительность значений, предсказываемых по уравнению регрессии, зависит от матрицы модели, т.е. от плана эксперимента.

Пусть, например, наблюдение с ошибками представлено в следующем виде: ,

где - вектор, l - й элемент которого равен - грубая ошибка.

Тогда оценку для коэффициентов модели можно представить как

; изменение в оценках предсказанных значениях из-за грубой ошибки . Здесь ; ; d_l - l-й столбец матрицы ; m_l - l-й столбец матрицы

Так как матрицы X в процессе наблюдений не меняются, они зависят от типа предполагаемой модели, то получается, что изменения в оценках пропорциональны грубой ошибки наблюдений.

В современной теории устойчивого оценивания широко представлены три класса оценок: М-оценки; L-оценки; R-оценки.

М-оценкиполучают, решая следующую задачу оптимизации:

Выбирается такая метрика, которая растет медленнее, чем . В качестве метрики используется следующее выражение:

Константу c связывают с интенсивностью грубых ошибок уравнением:

Такой выбор обеспечивает минимальную дисперсионную матрицу оценок коэффициентов модели. - выбирается, ориентируясь на максимальное предполагаемое загрязнение данных, например для

L-оценки.В построении таких оценок главное, это получение вариационного ряда остатков:

L–оценки параметров регрессионной модели находят решением следующей оптимизацией задачи:

Устойчивость этих оценок достигается подходящим выбором функции . Ее выбирают таким образом, что часть остатков, расположенных на краях вариационного ряда получает меньшие веса. Вся процедура состоит из 6 шагов:

1. Вычисляется по МНК

2. Вычисляем остатки

3. Строим вариационный ряд остатков

4. Выбирается уровень усечения вариационного ряда . Исключаются из вариационного ряда - самые малые и самые большие остатки.

5. Из вектора наблюдений исключаются те, которые соответствуют исключенным остаткам.

устраняется , если соответствующий ему остаток или

6. Получаем МНК-оценки коэффициентов модели на основе усеченного ряда наблюдений ,

где X^* - получается из матрицы X после вычеркивания строк, соответствующих исключенным наблюдениям.

R-оценки– используют ранги (порядковый номер в вариационном ряду).R-оценки получают решая следующую минимизационную задачу:

,

где – весовая функция, а ранг величины определяется равенством

Чтобы обеспечить устойчивость оценок к грубым ошибкам выражают следующим образом:

,

Здесь , - определяет долю остатков на краях вариационного ряда остатков. Она зависит от степени загрязнения.