Определение энтропии перечислением её свойств

Дата добавления: 2014-03-21; просмотров: 744; Нарушение авторских прав

Понятие энтропии с необходимостью вытекает из простейших требований, которые есте-ственно наложить на величину, служащую количественной характеристикой степени неопределённости. Энтропия (мера степени неопределённости опыта ) определяется с помощью таблицы вероятностей.

Исходы опыта	^A1	…	^Ak
Вероятности	p(A₁)	…	p(A_k)

H( ) = H(p₁; : : : ; p_k)

p(A₁) = p₁; : : : ; p_k

Сформулируем те условия. выполнение которых надо требовать от функции энтропии:

1. H(p₁; : : : ; p_k)не меняется при любой перестановке чисел p₁ : : : p_k

2. H(p₁; : : : ; p_k)непрерывна,т.е она мало изменяется при малых изменениях вероят-ностей p_k. В самом деле, при малых изменениях вероятностей и степень неопреде-лённости опыта должна мало изменяться

3. Функция H(p₁; :::p_k) удовлетворяет соотношению H( ) = H(p₁; p₂; :::; p_k) =

H( )

			p₁p₂
H(p₁+ p₂; p₃; :::; p_k) +(p₁+ p₂) ∗H( _p₁₊_p₂ _p₁₊_p₂)Это значит,что неопределённость опы-
та с таблицей вероятностей,
Исходы опыта	B	…	A_k
Вероятности	p₁+ p₂	…	p(A_k)

получаемая отождествлением первых двух исходов опыта меньше неопределённо-сти последнего опыта, умноженную на меру неопределённости опыта p₁ + p₂, состо-ящую в выяснении того, какой именно из первых исходов опыта имел место.

Можно

доказать,

что

условия

1; 2; 3

полностью определяют вид функции

H(p₁; p₂; : : : ; p_k):единственная функция,удовлетворяющая этим

условиям имеет

вид

H(p

; p

; : : : ; p

) =

−

₁ log

1 ⁻

:::

−

_k log

_k Следуя Шеннону,₁

условия 1; 2; 3 до-

полняют ещё одним условием : вводят в рассмотрение функцию H( _k

; : : : ; _k ) = H(₀)

(опыт ₀ имеет K равновероятных исходов).

Очевидно, что в силу равновероятности исходов, функция зависит лишь от числа K. Так-же ясно, что степень неопределённости опыта ₀ должна быть тем больше, чем больше число K его исходов. Тогда можно утверждать, что

4 H(1; :::1) = f(k) ↗ (растёт)

<== предыдущая лекция	\|	следующая лекция ==>
Понятие об информации.	\|	Различные виды кодов и их характерные особенности