Аппроксимация. Метод наименьших квадратов

Наиболее распространенным методом аппроксимации экспериментальных данных является метод наимень­ших квадратов.

Пусть заданы значения функции y_i,соответствующие значениям x_i, i = 1, 2, ... , п. Предположим, что аппрок­симирующая функция g(x)зависит от т параметров g = g(x, a₁, a₂, ... , a_m), т £ п.При точечной квадратич­ной аппроксимации параметры а₁, а₂,... , а_т аппрокси­мирующей функции определяются из условия минимума суммы квадратов отклонений значений аппроксимирую­щей функции от заданных значений функции:

,(4.51)

Вид функции g(x, a_1, а₂, ... , а_т)определяется особен­ностями решаемой задачи, например, физическими сооб­ражениями, если проводится аппроксимация результатов физического эксперимента.

Если аппроксимирующая функция линейно зависит от параметров, то метод наименьших квадратов приводит задачу ее определения к системе линейных уравнений.

Наиболее часто применяются аппроксимации прямой линией (линейная регрессия),полиномом (полиномиаль­ная регрессия), линейной комбинацией линейно независи­мых функций.

Рассмотрим применение метода наименьших квадратов для определения параметров функции g(x, a_1, а₂, ... , а_т)при аппроксимации линейной комбинацией линейно не­зависимых функций:

g(x, a_1, а₂, ... , а_т) = a₁φ₁(x) + a₂φ₂(x) +...+ a_mφ_m(x).(4.52)

Тогда условие (4.51) имеет вид

S(a₁,...,a_m) = . (4.53)

Минимум квадратичной функции существует; необхо­димым условием его существования является равенство нулю частных производных

, k = 1, ... ,m.(4.54)

Из (4.54) получим систему уравнений метода наимень­ших квадратов необходимого условия существования минимума:

(4.55)

При линейной аппроксимирующей функции

g(x, а₀, а₁) = а₀ + а₁х (4.56)

система (4.55) имеет вид

(4.57)

Аналогично можно получить систему уравнений для определения параметров полиномиальной регрессии:

g(x, а₀, ... , а_т) = а₀ + а₁х + ... + а_тх^т.(4.58)

В этом случае получим систему из т +1 уравнения с т +1 неизвестным

(4.59)

Если зависимость аппроксимирующей функции от параметров нелинейна, то для определения параметров приходится решать нелинейные задачи. Иногда удается с помощью преобразований вместо функции с нелиней­ной зависимостью от параметров рассматривать функцию с линейной зависимостью от параметров.