Точечные оценки неизвестных параметров распределений и требования, предъявляемые к ним

При точечном оценивании ищут статистику , (т.е. функцию, зависящую только от выборки ), значение которой при заданной выборке принимают за приближенное значение неизвестного параметра . В этом случае статистику называют оценкой параметра .

Естественно, оценка зависит от объема выборки : . Однако далее в обозначениях эта зависимость будет присутствовать в явном виде только при исследовании асимптотических (при ) свойств оценки.

Обосновать качество оценки можно лишь исходя из ее свойств, не зависящих от конкретной выборки. Для изучения таких свойств вероятностного характера в соответствии с замечанием из раздела 1 под оценкой следует понимать случайную величину , получаемую заменой выборочных значений на случайные величины - копии наблюдаемой случайной величины .

Для оценивания одного и того же параметра можно использовать различные оценки . Выбор из множества оценок наилучшей основан на критерии сравнения качества оценок, предложенном Р.А.Фишером. Согласно этому критерию к оценкам неизвестных параметров распределений предъявляются следующие требования.

1) Несмещенность

Оценка называется несмещенной, если ее математическое ожидание равно оцениваемому параметру : .

Ошибку , возникающую в результате замены неизвестного параметра известной оценкой можно представить в виде:

,

где - случайная ошибка оценивания, а - систематическая ошибка, называемая смещением оценки .

Таким образом, несмещенность оценки означает отсутствие систематической ошибки в соответствующих результатах оценивания или, что эквивалентно, отсутствие смещения: для любого . Несмещенная оценка по крайней мере «в среднем» приводит к желаемому результату. Однако требование несмещенности не следует преувеличивать, иногда бывает разумно от него и отказаться.

Оценка , у которой при , называется асимптотически несмещенной.

2) Состоятельность

Оценка называется состоятельной, если при возрастании объема выборки она сходится по вероятности к истинному значению неизвестного параметра : .

Свойство состоятельности является обязательным для любой оценки, поскольку при увеличении объема информации оценка должна быть ближе к истине. Однако, по существу, свойство состоятельности является асимптотическим и не связано со свойствами оценки при фиксированном объеме выборки.

Для несмещенной оценки в силу неравенства Чебышева

.

Поэтому достаточным условием состоятельности несмещенной оценки является стремление к нулю ее дисперсии:

.

Эффективность

Может существовать несколько несмещенных и состоятельных оценок одного и того же неизвестного параметра . Тогда из них следует отдать предпочтение той, которая имеет меньшую дисперсию, поскольку дисперсия характеризует разброс значений оценки около истинного значения параметра .

Пусть - класс всех состоятельных и несмещенных оценок параметра , имеющих конечную дисперсию. Оценка называется более эффективной, чем оценка , если для любого .

Оценка , имеющая минимальную дисперсию среди всех оценок из класса , называется эффективной оценкой параметра , то есть

.

В общем случае точность оценки характеризуется ее среднеквадратической погрешностью

.

Для среднеквадратической погрешности также справедливо представление:

.

Эффективные оценки представляют особенно большой практический интерес, поскольку, являясь несмещенными, они дают наименьшую среднеквадратическую погрешность оценивания. Если оценка не является несмещенной ( ), то малость ее дисперсии еще не говорит о малости ее среднеквадратической погрешности (например, если оценка , то , однако погрешность оценивания может быть сколь угодно большой). Тем не менее, среднеквадратическая погрешность оценки с небольшим смещением может оказаться меньше, чем у оценки несмещенной, за счет существенно меньшей ее дисперсии. Этот факт является объяснением тому, что для уменьшения суммарной ошибки оценивания от требования несмещенности оценки бывает разумно и отказаться.

Эффективность оценки позволяет установить следующее неравенство Рао-Крамера: для широкого класса непрерывных распределений и для любой несмещенной оценки , имеющей конечную дисперсию, справедливо неравенство:

,

где - плотность вероятностей наблюдаемой случайной величины , - информация Фишера о параметре , содержащаяся в одном наблюдении над случайной величиной .

Таким образом, оценка является эффективной, если она обращает неравенство Рао-Крамера в равенство, т.е. .