Метод наименьших квадратов

Пусть по выборке , , требуется определить оценки b₀и b₁ эмпирического уравнения регрессии (4.8).

В этом случае при использовании МНК минимизируется следующая функция (рис. 4.4):

.

(4.10)

Нетрудно заметить, что функция Q является квадратичной функцией двух параметров и ( ), поскольку , ( ) — известные данные наблюдений. Так как функция Q непрерывна, выпукла и ограничена снизу , то она имеет минимум.

Необходимым условием существования минимума функции двух переменных (4.10) является равенство нулю ее частных производных по неизвестным параметрам и :

(4.11)

(4.12)

Разделив оба уравнения системы (4.12) на , после приведения подобных членов, получим

(4.13)

Здесь , , .

Также можно вычислить по формуле:

(4.14)

Или

,

(4.15)

где — выборочный коэффициент корреляции; , — стандартные отклонения. Таким образом, коэффициент регрессии пропорционален ковариации и коэффициенту корреляции, а коэффициенты пропорциональности служат для соизмерения перечисленных разномерных величин.

Итак, если коэффициент корреляции уже рассчитан, то легко может быть найден коэффициент парной регрессии по формуле (4.15).

Некоторые выводы:

1. Оценки МНК являются функциями от выборки, что позволяет их легко рассчитывать.

2. Оценки МНК являются точечными оценками теоретических коэффициентов регрессии.

3. Согласно второй формуле соотношения (4.12), эмпирическая прямая регрессии обязательно проходит через точку .

4. Эмпирическое уравнение регрессии построено так, что сумма отклонений , а также среднее значение отклонения равны нулю.

Действительно, из следует, что => .

5. Случайные отклонения не коррелированы с наблюдаемыми значениями зависимой переменной Y.

6. Случайные отклонения не коррелированы с наблюдаемыми значениями независимой переменной .

Следует помнить, что эмпирические коэффициенты регрессии и являются лишь оценками теоретических коэффициентов и , а само уравнение отражает лишь общую тенденцию в поведении рассматриваемых переменных. Индивидуальные значения переменных в силу различных причин могут отклоняться от модельных значений.

После интерпретации результатов закономерен вопрос о качестве оценок и самого уравнения в целом.