Принцип «дополнительной суммы квадратов»

В регрессионных задачах нередко ставится вопрос о включении в модель определенных членов. Этот вопрос можно исследовать, изучая дополнительную долю или часть суммы квадратов, обусловленной регрессией, которая связана с включением в модель рассматриваемых членов. Средний квадрат этой дополнительной суммы может быть сопоставлен с оценкой параметра , чтобы выяснить, имеется ли между ними значимое различие. Если средний квадрат значимо превышает оценку , то такие члены следует включать в модель. В противном случае их можно рассматривать как излишние и исключить из модели.

Предположим, что – это известные функции основных факторов . Рассмотрим две модели.

1. . Для нее получены следующие МНК-оценки: , , , , . Сумма квадратов, обусловленная регрессией для этой модели . Пусть модель адекватна и величина используется в качестве оценки параметра .

2. . МНК-оценки этой модели : , , , , , а сумма квадратов, обусловленная регрессией – . Заметим, что полученные оценки будут совпадать с , , , , , если первые столбцов матрицы ортогональны последним столбцам.

Величина есть дополнительная сумма квадратов, связанная с включением в модель 1 члена . Так как имеет степеней свободы, а – , то дополнительная сумма квадратов будет иметь степеней свободы.

Если , то величина

(8)

подчиняется -распределению. Значит, можно проверить гипотезу : при помощи -критерия. Если рассчитанное по соотношению (8) значение превышает табличное , гипотеза отвергается.

Для удобства величина может быть обозначена .

Дополнительная сумма квадратов может вычисляться исходя из остаточных сумм квадратов .

Итак, дополнительные суммы квадратов можно получить для одного или нескольких оцениваемых коэффициентов при наличии других коэффициентов, используя две модели, одна из которых включает рассматриваемые коэффициенты, а другая нет.

Если в регрессионной модели содержится несколько членов, то мы можем полагать, что они вводятся в уравнение в любой желаемой последовательности. Если найти

,

то будем иметь сумму квадратов, имеющую одну степень свободы, которая измеряет вклад каждого коэффициента в сумму квадратов, обусловленную регрессией при условии, что все другие члены уже входят в модель. Иначе говоря, величина является мерой важности параметра , как если бы он был добавлен в модель последним. Соответствующий средний квадрат равен рассматриваемой сумме квадратов, поскольку она имеет одну степень свободы, и может сравниваться с остаточной дисперсией с помощью -критерия. Такой вариант -критерия называется частным -критерием для коэффициента .

При построении подходящей модели частный -критерий – это полезный критерий для решения вопроса о добавлении или исключении членов из модели.

Частный -критерий с числами степеней свободы 1 и для проверки гипотезы против альтернативы равен в точности квадрату случайной величины , имеющей распределение Стьюдента с степенями свободы, которая вычисляется по формуле (7). Это значит, что проверка гипотезы может выполняться с использованием либо -критерия, либо -критерия.