Парная линейная регрессия

Если функция регрессии линейна, то говорят о линейной регрессии. Линейная регрессия (теоретическое линейное уравнение регрессии) представляет собой линейную функцию между условным математическим ожиданием зависимой переменной Y и одной объясняющей переменной X ( — значения независимой переменной в i-м наблюдении, ), т.е.

.

(4.5)

Отметим, что принципиальной в данном случае является линейность по параметрам и уравнения.

Ввиду того, что каждое индивидуальное значение отклоняется от соответствующего условного математического ожидания, необходимо ввести случайное слагаемое , тогда

.

(4.6)

Соотношение (4.6) называется теоретической линейной регрессионной моделью; и — теоретическими параметрами (теоретическими коэффициентами) регрессии; ‑ случайным отклонением.

Следовательно, индивидуальные значения представляются в виде суммы двух компонент — систематической и случайной ( ). В общем виде теоретическую линейную регрессионную модель будем представлять в виде

.

(4.7)

По выборке ограниченного объема можно построить эмпирическое уравнение регрессии

,

(4.8)

где — оценка условного математического ожидания ; b₀и b₁— оценки неизвестных параметров и , называемые эмпирическими коэффициентами регрессии. Следовательно, в конкретном случае

,

(4.9)

где отклонение - оценка теоретического случайного отклонения .

Например, коэффициенты и эмпирического уравнения регрессии могут быть оценены исходя из условия минимизации одной из следующих сумм:

;

;

.

Первая сумма не может быть мерой качества найденных оценок в силу того, что существует бесчисленное количество прямых (в частности, ), для которых .

Метод определения оценок коэффициентов из условия минимизации второй суммы называется методом наименьших модулей (МНМ).

Самым распространенным и теоретически обоснованным является метод нахождения коэффициентов, при котором минимизируется третья сумма. Он получил название метод наименьших квадратов (МНК). Этот метод оценки является наиболее простым с вычислительной точки зрения. Кроме того, оценки коэффициентов регрессии, найденные МНК при определенных предпосылках, обладают рядом оптимальных свойств.

Среди других методов определения оценок коэффициентов регрессии отметим метод моментов (ММ) и метод максимального правдоподобия (ММП).