Пусть производится измерений случайной величины Каждое измерение зависит от некоторого числа параметров , которые могут принимать или дискретные, или непрерывные значения. Эту зависимость обычно представляют в виде линейной комбинации параметров с коэффициентами .
,
(8.1)
где – индекс фактора ( ), – случайная ошибка измерения. Величины , ,…, называются факторами. Уравнение (8.1) называется линейной многофакторной моделью.
Оценивая с помощью метода наименьших квадратов для уравнения факторы , ,…, , составим сумму , где , ,…, – средние квадратические оценки случайных факторов, – значения непрерывных переменных Уравнение
(8.2)
называется уравнением регрессии. Главной задачей регрессионного анализа является получение оптимальных оценок , ,…, , называемых коэффициентами регрессии. Уравнение (8.1) можно записать в виде
или в матричной форме
,
(8.3)
где , , , – матрица, транспонированная к матрице
.
Оценку факторов , ,…, в уравнении (8.3) на основе метода наименьших квадратов можно получить по формуле: , где – матрица, обратная к матрице .
Регрессия называется парной, или однофакторной, если рассматривается влияние только одного фактора; и множественной, или многофакторной, если рассматривается влияние одновременно совокупности нескольких факторов. Уравнение парной зависимости можно представить в виде уравнения кривой (в частном случае прямой), называемой линией регрессии. Уравнение регрессии даёт описание корреляционной зависимости результативного признака Y от учтённых факторов. Уравнения регрессии парной зависимости могут иметь различный вид: , , , , , , и др., где a и b – некоторые параметры. Они находятся чаще всего, как уже упоминалось, методом наименьших квадратов. Для построения уравнения регрессии по результатам наблюдений сначала полезно построить корреляционное поле. Как оно строится, известно из курса статистики.