Метод моментов вычисления статистических оценок

Для таких “популярных” параметров случайных величин как математическое ожидание и дисперсия найдены явные формулы статистических оценок –и s², соответственно. Однако часто необходимы оценки и других параметров. Например, в теории массового обслуживания часто используется так называемое гамма-распределение, формула плотности которого имеет вид:

,

где a, b – параметры, оценки которых надо найти для идентификации закона распределения; – гамма-функция Эйлера. Для оценок a и b, а также многих других параметров специальных формул не разработано. Следовательно, необходимы методы поиска оценок для произвольных параметров. Одним из наиболее простых является метод моментов (Пирсона).

Def. Теоретическим начальным моментом k-го порядка СВ x называется величина

.

Например, математическое ожидание – начальный момент 1-го порядка.

Def. Теоретическим центральным моментом k-го порядка СВ x называется величина

.

Например, дисперсия – центральный момент 2-го порядка, центральный момент 1-го порядка любой СВ равен 0.

Def. Эмпирическим начальным моментом k-го порядка СВ x называется величина

.

Def. Эмпирическим центральным моментом k-го порядка СВ x называется величина

.

При больших N эмпирические моменты можно приравнять к теоретическим. На основании таких равенств составляется система уравнений для оценок параметров СВ, если есть выражения искомых параметров через теоретические моменты. На этом и основан метод моментов. Его главное достоинство – простота. Кроме того, не нужно знания закона распределения СВ. Единственное требование – большой объем выборки.

Пример. Методом моментов найдем параметры гамма-распределения a и b. Известны следующие формулы:

.

Подставляем вместо теоретических моментов эмпирические – получаем систему уравнений относительно оценок a и b:

.

Поделим первое уравнение на второе – получим ; подставим в 1-е уравнение – получим .

4.3. Регрессионный анализ: синтез уравнения регрессии

Пример. Имеются экспериментальные данные (Таблица 4.1). Построить функцию, отражающую зависимость у от х, т.е её аппроксимацию. (приближение).

Если нанести точки на график и соединить их, то получим зигзагообразную линию, которая, впрочем, не слишком отличается от прямой (см. рис. 3.1). Поэтому аппроксимирующую функцию будем искать в классе многочленов первой степени, т.е. положим Y(x) = b₁ x + b₂. Для идентификации (нахождения) этой зависимости надо найти статистические оценки коэффициентов модели. Согласно методу наименьших квадратов (МНК) эти оценки находят из условия минимума функции

.

В данном случае на искомые коэффициенты не наложено никаких ограничений, т.е. мы имеем классическую задачу минимизации функции нескольких переменных – b₁ и b₂. Из курса математики известно, что для минимизации таких функций надо вычислить частные производные минимизируемой функции, приравнять их к 0 и решить полученные уравнения.

Имеем:

Раскроем скобки, разобьем каждое выражение на несколько сумм и перенесем члены, зависящие от искомых коэффициентов налево, а независящие – направо.

Подставим данные из таблицы 4.1 – получим линейную систему относительно искомых коэффициентов:

Решив систему, получим b₁ = 1.596; b₂ = 2.725, а аппроксимирующая функция примет вид Y(x) = 1.596 x + 2.725. На рис. 3.2 приведены графики исходных данных (точки) и аппроксимирующей функции (сплошная линия).

Описанный метод нахождения коэффициентов основан на минимизации функции Q(b ₁, b ₂ ), представляющую собой сумму квадратов. Поэтому он называется методом наименьших квадратов (МНК).

Матричная запись МНК. В более общем случае будем искать уравнение регрессии в виде функции, линейно зависящей от коэффициентов, т.е.

у = b₁ f₁(x) + … + b_k f_k(x), (4.1)

где f_u(x) – заданные функции; b_u – неизвестные коэффициенты. Для идентификации этой зависимости надо найти статистические оценки коэффициентов модели. Согласно методу наименьших квадратов (МНК) эти оценки находят из условия минимума функции

Q(b) = ,

где у_i – наблюдаемое значение выходного параметра в i-м эксперименте.

Обозначим: Ф = [Ф_ij] = [f_j(xⁱ)] – регрессионная (N ´ k)-матрица; b – вектор коэффициентов; у – вектор значений выхода. Тогда для вектора оценок коэффициентов имеем уравнение

(Ф^T Ф) = Ф^T y. (4.2)

Значит

= (Ф^T Ф)^–1 Ф^T y. (4.3)