Метод максимального правдоподобия

Метод максимального правдоподобия является одним из наиболее универсальных методов оценивания неизвестных параметров распределений.

Пусть - выборка из генеральной совокупности, имеющей функцию распределения , зависящую от неизвестного скалярного параметра (задана параметрическая модель наблюдений).

Если закон распределения наблюдаемой случайной величины является непрерывным, т.е. существует плотность вероятностей , то функция

рассматриваемая при фиксированной выборке как функция параметра , называется функцией правдоподобия.

Если наблюдаемая случайная величина имеет дискретный закон распределения, задаваемый вероятностями , то функция правдоподобия определяется равенством:

Оценкой максимального правдоподобия параметра называется такое значение параметра , при котором функция правдоподобия при заданной выборке достигает максимума:

При фиксированном функция правдоподобия задает закон распределения случайного вектора , координаты которого являются копиями наблюдаемой случайной величины :

в случае непрерывном;

в случае дискретном.

Поэтому смысл метода максимального правдоподобия заключается в том, что в качестве оценки выбирается такое значение параметра , при котором вероятность получения данных выборочных значений , как реализации случайного вектора , максимальна.

Если функция правдоподобия дифференцируема по , то оценку максимального правдоподобия можно найти, решив относительно уравнение правдоподобия

естественно, убедившись при этом, что решение доставляет функции правдоподобия именно максимум.

Часто бывает удобнее исследовать на экстремум не функцию правдоподобия , а ее логарифм . Поскольку функции и имеют максимум в одной и той же точке в силу монотонного возрастания логарифмической функции, то оценку максимального правдоподобия можно найти также, решив относительно равносильное уравнение правдоподобия

.

Если параметр является векторным, то для отыскания оценки максимального правдоподобия следует решить систему уравнений правдоподобия

или равносильную систему уравнений

Все изложенные результаты остаются в силе и при оценивании не самого параметра , а некоторой параметрической функции .

Ценность оценок максимального правдоподобия обусловлена следующими их свойствами, справедливыми при весьма общих предположениях (без доказательства):

- оценка максимального правдоподобия является состоятельной оценкой неизвестного параметра : ;

- оценка максимального правдоподобия является асимптотически эффективной оценкой неизвестного параметра : , где
- эффективная оценка параметра ;

- оценка максимального правдоподобия является асимптотически нормальной оценкой неизвестного параметра , т.е. при соответствующей нормировке закон распределения оценки максимального правдоподобия является нормальным: Это свойство очень важно для нахождения вероятностей отклонения оценки от истинного значения параметра.

Однако метод максимального правдоподобия не всегда приводит к несмещенным оценкам и уравнения (системы уравнений) для нахождения оценок максимального правдоподобия могут решаться довольно сложно.

Пример 1. Наблюдаемая случайная величина имеет нормальный закон распределения с неизвестным математическим ожиданием и известной дисперсией , то есть имеет плотность вероятностей вида: . Найти по выборке оценку максимального правдоподобия параметра .

Решение. Найдем функцию правдоподобия:

.

Найдем логарифм функции правдоподобия:

.

Составим уравнение правдоподобия:

.

Решение уравнения правдоподобия :

, откуда .

Таким образом, в нормальной модели оценка максимального правдоподобия является несмещенной, состоятельной и эффективной оценкой неизвестного математического ожидания .

Заметим, что к тому же результату в данной модели приводит и метод моментов, но существенно проще:

, то есть .

Пример 2. Наблюдаемая случайная величина имеет нормальный закон распределения с известным математическим ожиданием и неизвестной дисперсией , то есть имеет плотность вероятностей вида: . Найти по выборке оценку максимального правдоподобия параметра .

Решение. Найдем функцию правдоподобия:

.

Найдем логарифм функции правдоподобия:

.

Составим уравнение правдоподобия:

.

Решение уравнения правдоподобия :

, откуда .

Таким образом, в нормальной модели оценка максимального правдоподобия является несмещенной, состоятельной и эффективной оценкой неизвестной дисперсии (показать самостоятельно!).

Заметим, что к тому же результату в данной модели приводит и метод моментов, но существенно проще:

, то есть .

Пример 3. Наблюдаемая случайная величина имеет нормальный закон распределения с неизвестным математическим ожиданием и неизвестной дисперсией , то есть имеет плотность вероятностей вида: . Найти по выборке оценку максимального правдоподобия параметра .

Решение. Найдем функцию правдоподобия:

.

Найдем логарифм функции правдоподобия:

.

Для нахождения оценки максимального правдоподобия двумерного параметра составим систему уравнений правдоподобия:

.

Решение системы уравнений правдоподобия:

Таким образом, в общей нормальной модели оценка максимального правдоподобия . При этом, выборочное среднее является несмещенной, состоятельной и эффективной оценкой неизвестного математического ожидания , а выборочная дисперсия является асимптотически несмещенной, состоятельной и асимптотически эффективной оценкой неизвестной дисперсии .

Заметим, что к тому же результату в данной модели приводит и метод моментов, но существенно проще:

, то есть .

Пример 4. Наблюдаемая случайная величина имеет закон распределения Пуассона с неизвестным параметром :

.

Найти по выборке оценку максимального правдоподобия параметра .

Решение. Найдем функцию правдоподобия:

Найдем логарифм функции правдоподобия:

.

Составим уравнение правдоподобия:

.

Решение уравнения правдоподобия :

, откуда .

Заметим, что к такому же результату в данной модели приводит и метод моментов.