Энтропия сложных событий. Условная энтропия

Историческая справка

Исторически первые шаги к введению понятия энтропии были сделаны в 1928 году американским инженером-связистом Хартли, предложившим характеризовать степень неопределённости опыта c К различными исходами числом log k. Предложенная им мера степени неопределённости иногда бывает удобна в некоторых практических задачах, но часто оказывается малопоказательной, поскольку полностью игнорирует различие меж-ду характером имеющихся исходов. Поэтому почти невероятному исходу у Хартли при-даётся такое-же значение, как и исходу весьма вероятному. Однако, он считал, что раз-личия между отдельными исходами определяются в первую очередь "психологическими факторами" и должны учитываться лишь психологами, но не инженерами или математи-ками.

Ошибочность точки зрения Хартли была показана другим американским инженером - математиком К. Шенноном. Он предложил принять в качестве меры неопределённости опыта с K различными исходами A₁; : : : ; A_k величину

H( ) = −p(A₁)log p(A₁) − : : : − p(A_k log p(A_k).

Иначе говоря, исходу A_i следует приписать неопределённость, равную − log p(A_i). В качестве неопределённости всего опыта H( ) принимается среднее значение случай-ной величины (математическое ожидание), равное H( ) ,где принимают значения − log p(A_i) с вероятностями p(A_i).

Таким образом, загадочные "психологические факторы" учитываются с помощью исполь-зования понятия вероятности, имеющего чисто математический, а точнее статистический характер.

Использование величины H( ) в качестве меры неопределённости опыта A оказалось полезным во многих областях, а особенно в теории передачи сообщений по линиям свя-зи.

Условная энтропия. Пусть имеются два независимых опыта A; B с таблицей вероятностей

A₁; p(A₁); : : : ; A_k; p(A_k); B₁; p(B₁); : : : ; B_l; p(B_l).

Рассмотрим сложный опыт , когда осуществляются оба опыта одновременно, имею-щий k ∗ l исходов (A × B - декартово произведение).

A₁B₁: = A₁; = B₁

Очевидно, что неопределённость опыта больше неопределённости каждого из опы-тов, из-за осуществления обоих опытов. Поэтому имеет место соотношение H( ) = H( ) + H( ).Написанное равенство называется правилом сложения энтропии для опы-тов и .

Для доказательства этого равенства рассмотрим выражение

H( ) = −p(A₁B₁)log p(A₁B₁) − : : : − p(A_kB_l)log p(A_kB_l)

; -независимы,следовательно p(A_iB_j) = p(A_i) ∗ p(B_j) ⇒

log p(A_iB_j) = log p(A_i)p(B_j) = log p(A_i) + log p(B_j):

Предположим далее, что и - зависимые опыты (пример: , - последовательные из-влечения двух шаров из одной урны.) Постараемся выяснить, чему равна энтропия слож-ного опыта в этом случае.

Здесь уже нельзя заменить p(A₁B₁); p(A₁B₂); : : : произведением вероятностей, а необ-ходимо использовать условную вероятность p(A₁B₁) = p(A₁) ∗ p(B₁|A₁)

В этом случае можно доказать следующую формулу:

H( ) = H( ) + [p(A₁) ∗ H( |A₁) + p(A₂) ∗ H( |A₂) + : : : + p(A_k) ∗ H( |A_k)] (∗),где

H( |A_i)-условная энтропия опыта при условии,что значение опыта равно A_i.

H( |A_i) = −p(B₁|A_i)log p(B₁|A_i) − p(B₂|A_i)log p(B₂|A_i) − : : : − p(B_e|A_i)log p(B_e|A_i)(∗∗)

Это выражение представляет собой энтропию опыта при условии, что имеет место со-бытие A_i.

Первый член последнего выражения (∗) - энтропия опыта . Что же касается второго - он есть математическое ожидание случайной величины, принимающей с вероятностя-ми p(A₁); : : : ; p(A_k) значения H( |A₁); : : : ; H( |A_k), то есть значения, равные услов-ной энтропии опыта , при условии, что опыт имеет исходы : A₁; : : : ; A_k. Это сред-нее значение естественно назвать условной энтропией выполнения опыта при условии выполнения опыта ,

H( | ) = [ : : : ](∗) = p(A₁)H( |A₁) + p(A₂)H( |A₂) + : : : + p(A_k)H( |A_k)

Тогда соотношение (∗) переписывается как H( ) = H( ) + H( | )(∗); ; - зависимы.

Это и есть общее правило для определения энтропии сложного опыта . Его также мож-но назвать правилом сложения энтропии, для зависимых опытов .

Укажем основные свойства условной энтропии:

1. H( | )>0.

2. p(A₁); : : : ; p(A_k) ≠ 0(опыт имеет к штук исходов).

Тогда H( | ) = 0 ⇐⇒ H( |A₁) = : : : = H( |A_k) = 0, т.е. при любом исходе опыта результат опыта полностью определён, и при этом имеем H( ) = H( ).

Если и независимы, то тогда H( | ) = H( ), и H( ) = H( ) + H( ).

3. Во всех случаях условная энтропия H( | ) заключается между 0 и H( ):

0 6 H( | ) 6 H( ).

Таким образом случаи, когда исход полостью предопределяется исходом и когда опыты и независимы, являются в определённом смысле крайними.

4. Условная энтропия.

H( ) = H( ) ⇒ H( ) + H( | ) = H( ) + H( | ) ⇒

⇒ H( | ) = H( | )(:) + H( ) − H( )

H( | ) = 0(исход опыта полностью определяет опыта

H( | ) = H( ) − H( )

Задача:Задача о болезненной реакции.

Известно, что некоторой болезнью в среднем болеют 2 человека из 100. Для выявления больных используется определённая реакция, которая всегда оказывается положитель-ной в том случае, когда человек болен. Если же человек здоров, то она столь же часто бывает положительной, как и отрицательной. Пусть опыт состоит в определении то-го болен или здоров человек, а опыт - в определении результата указанной реакции. Спрашивается, какова будет энтропия H( ) =? опыта и условная энтропия H( | ) =?.

Решение:Очевидно,что имеет2исхода::{B₁-здоров;B₂-болен}.

p(B₁) = 0:98; p(B₂) = 0:02.

H( ) = −0:98log0:98 − 0:02log0:02 ≈ 0:14бит:

H( ) ≈ 0:14:

Рассмотрим опыт : : A₁ − положительная реакция; A₂ − отрицательная реакция

p(A₁) = p( ^B₂¹+ B₂) = p( ^B₂¹) + p(B₂) = 0:49 + 0:02 = 0:51.

p(A₂) = p( ^B₂¹) = 0:49.

Пользуясь этими данными мы можем найти условную энтропию H( ) при выполнении события A₁

При = A₂ ⇒ = B₁; H( |A₂) = 0, т.е. мы с уверенностью можем утверждать, что человек здоров, и опыт имеет исход B₁.

Таким образом, условная энтропия при условии осуществления будет равна

H( ) = 0:14|sysH( |A₁) ≈ 0:045H( |A₂) = 0 ∼∼

H( | ) = p(A₁)H( |A₁) + p(A₂)H( |A₂) ≈ 0:51 ∗ 0:24 + 0:49 ∗ 0 = 0:12бит.

Иначе говоря, выполнение опыта уменьшает неопределённость опыта на 0:002 бита.