Теоретические сведения

Метод наименьших квадратов (МНК)

Задача определения параметров уравнения регрессии сводится к определению минимума функции многих переменных.

Если есть функция дифференцируемая, то требуется выбрать при выполнении минимума квадратичного критерия:

(1.1)

Линейное приближение по МНК

Пусть искомая функция f(x, ) является линейной относительно х. В этом случае задача сводится к отысканию двух параметров а₀ и а₁ в зависимости

f(x, )= а₀ + а₁х. (1.2)

Критерий (1.1) примет вид

(1.3)

Условия минимума этого критерия таковы:

(1.4)

Система уравнений (1.4), получаемых дифференцированием выражения (1.3), имеет вид:

(1.5)

или, после преобразований,

(1.6)

Метод Крамера для решения системы линейных уравнений (1.6) приводит к следующим формулам для искомых параметров:

(1.7)

Частными случаями уравнения линейной регрессии с одной независимой переменной х являются:

- полиномиальная регрессия, когда

(1.8)

и ее разновидности – линейная регрессия от одной переменной (m=1):

(1.9)

и параболическая регрессия (m=2):

(1.10)

- трансцендентная регрессия и ее разновидности

в виде зависимости показательного типа:

(1.11)

которая линеаризуется путем логарифмирования:

(1.12)

и дробно-показательного типа:

(1.13)

которая также линеаризуется путем логарифмирования:

(1.14)

Обозначим , , , тогда после подстановки получим:

. После определения коэффициентов , и используя операцию, обратную логарифмированию, получим исходное степенное уравнение.

Для обратно-пропорциональной зависимости: если точечный график дает ветвь гиперболы, приближающую функцию можно искать в виде

(1.15)

Для перехода к линейной функции сделаем подстановку u=1/x.

(1.16)

Практически перед нахождением приближающей функции вида (1.16) значения аргумента следует заменить обратными числами. Полученные значения парамет­ров а и b подставить в формулу (1.15).

Эмпирическое корреляционное отношение, характеризующее тесноту связи между X и Y, определяется следующим образом:

(1.17)

Для оценки силы линейной связи вычисляется выборочный коэффициент корреляции:

(1.18)

Здесь определяются по формулам

(1.19)

(1.20)

Коэффициент корреляции характеризует не любую зависимость, а только линейную. Линейная вероятностная зависимость случайных величин заключается в том, что при возрастании одной случайной величины другая имеет тенденцию возрастать (или убывать) по линейному закону. Если случайные величины Х и У связаны точной линейной функциональной зависимостью у=а₀+а₁х, то ; причем знак соответствует знаку коэффициента а₁. В общем случае, когда величины Х и У связаны произвольной стохастической зависимостью, коэффициент корреляции может иметь значение в пределах -1 .