Энтропия как мера неопределённости

Энтропия и информация

Для практики важно уметь численно оценивать степень неопределённости самых разно-образных опытов, чтобы иметь возможность их сравнивать.

Начнём с рассмотрения опытов имеющих K равновероятных исходов. Степень неопре-делённости каждого такого опыта определяется числом K. При K = 1 исход опыта не яв-ляется случайным. При большом значении K предсказание результата опыта становится затруднительным.

Таким образом, искомая численная характеристика степени неопределённости должна зависть от K, т.е быть функцией f(k); f(1) = 0; при возрастании аргумента, функция должна возрастать. Для более полного определения функции f(k) необходимо предъ-явить к ней дополнительные требования.

Рассмотрим сложный опыт , состоящий в одновременном выполнении опытов и . Неопределённость выполнения сложного опыта больше неопределённости опыта , т.к. к его неопределённости надо добавить неопределённость опыта . Поэтому естествен-но считать, что степень неопределённости опыта равна сумме неопределённостей, характеризующих и .

Пусть имеет k ∗ l равновероятных исходов, k ; l . Приходим к следующему усло-вию, которму должна удовлетворять функция f(kl) = f(k) + f(l). Последнее усло-вие наталкивает на мысль принять за меру неопределённости опыта, имеющего K рав-новероятных исходов число log k: log(kl) = log k + log l. Такое определение меры неопределённости согласуется с первоначальными условиями, что f(1) = log 1 = 0; f(k) - возрастающая функция. Можно доказать, что логарифмическая функция являет-ся единственной, удовлетворяющей этим условиям.

Замечание:отметим,что выбор основания логарифма большой роли не играет,посколь-ку в силу известной формулы перехода можем написать log_b a = log_c a/ log_c b ⇒ log_b k = log_b a ∗ log_ak сводится к домножению на константу, т.е. равносилен простому изменению единицы измерениястепени неопределённости.Обычно за меру степени неопределён-ности берут логарифмы при основании 2: log₂k = logk, причём основание 2 не фиксиру-ют. Т.е. за единицу измерения степени неопределённости принимают неопределённость опыта, имеющего 2 равновероятных исхода: log₂ 2 = 1 бит. Везде далее будем пользо-ваться двоичными единицами измерения.

Таблица вероятности для опыта, имеющего K равновероятных исходов:

Поскольку при наших допущениях неопределённость равна f(k) = log k. В этом случае каждый отдельный исход вносит неопределённость _k¹ . ^log_k ^k = _k¹ log k = −_k¹ log _k¹ .

В самом общем случае опыт имеет следующую таблицу вероятности:

Для опыта общая мера неопределённости равна −p(A₁) log p(A₁)−p(A₂) log p(A₂)− : : : − p(A_k)log p(A_k) = H( )-энтропия опыта

Рассмотрим некоторые свойства энтропии H( ):

1. H( )>0

Доказательство:

−p(A)log p(A)>0(множители ∈ промежутку(06 p(A)61))

−p(A)log p(A) = 0 ⇐⇒ {p = 0; p = 1}

В случае, если опыт имеет K попарно несовместных исходов, то H( ) = 0 равно-сильно тому, что один исход - достоверное событие, а все другие - невозможны, так как p(A₁) + : : : + p(A_k) = 1 . Это обстоятельство хорошо согласуются с величиной

( )

H( )-только в этом случае опыт вообще не содержит неопределённости.

2. Из всех опытов c K исходами самым неопределённым является опыт опыт с K рав-новероятными исходами. Можно показать, что имеет место неравенство

H( ) = −p(A₁)log p(A₁) − : : : − p(A_k)log p(A_k)6 H(₀) H(₀) =log k = −_k¹ − : : : − _k¹.

Равенство достигается при равных вероятностях P (A_i); i = [1; k]

Пример:Имеется две урны с20-ю шарами каждая.Первая- 10белых, 5чёрных, 5крас-ных. Вторая - 8 белых, 8 чёрных, 4 красных.

Из каждой урну вынимают по 1 шару. Исход какого из двух опытов следует считать более неопределённым?

Решение:Обозначим опыты как А1иA2.A1

Энтропия опыта A1: H( ₁) = −¹₂ log ¹₂ − ¹₄ log ¹₄ − ¹₄ log ¹₄ = −¹₂ ∗ 1 − ¹₂ ∗ (−2) = −¹₂ + 1 = 1; 5бита.

Энтропия опыта A2: H( ₂) = −²₅ log ²₅ − ²₅ log ²₅ − ¹₅ log ¹₅ = −⁴₅ (log 2 − log 5) − ¹₅ (log 1 − log 5) = −0:8 + −⁴₅ log 5 + ¹₅ log 5 = −0:8 + log 5 = 1; 52 бита.

Вывод:Если оценивать степень неопределённости опыта его энтропией,то исход второгоопыта более неопределённый, нежели первого.