Понятие об информации.

Вернёмся вновь к величине H( ), характеризующей степень неопределённости опыта . Равенство этой величины 0 означает, что исход опыта заранее известен. Большее или меньшее значение числа H( ) отвечает большей или меньшей проблематичности определения результата опыта . Какое-либо измерение или наблюдение в виде опыта , предшествующее может ограничить количество возможных исходов опыта , и тем самым уменьшить степень его неопределённости: так, к примеру степень неопределён-ности опыта, состоящего в нахождении самого тяжёлого из 3 грузов уменьшается после сравнения на весах двух из них.

Для того, чтобы результат измерения(наблюдения) мог сказаться на последующем опы-те необходимо, чтобы не был известен заранее. Поэтому, можно рассматривать как вспомогательный опыт, также имеющий несколько допустимых исходов.

Тот факт, что осуществление уменьшает степень неопределённости отражается в неравенстве, где условная энтропия H( | ) 6 H( ) первоначальной энтропии опыта

.

При этом, если опыт не зависит от , то осуществление не уменьшает энтропии . Это значит, что H( | ) = H( ). Если же результат полностью предопределяет ис-ход опыта , то энтропия уменьшается до 0: H( | ) = 0. Таким образом, разность

I( ; ) = H( ) − H( | )(∗).

Таким образом написанная разность указывает, насколько осуществление уменьшает неопределённость , т.е. как много мы узнаём об исходе опыта , произведя измере-ние(наблюдение) в виде опыта . Эта разность (∗) называют количеством информации относительно опыта , содержащейся в опыте . Таким образом, мы получаем возмож-ность численного измерения информации. К примеру, в условиях задачи о болезненной реакции можно сказать, что используемая реакция в виде опыта даёт информацию о заболевании в виде опыта , равное 0:14 − 0:12 = 0:02 бита. Эта цифра и оценивает пользу реакции.

Соотношение между понятиями энтропии и информации напоминает соотношение меж-ду физическими понятиями потенциала и разности потенциалов. Энтропия есть абстракт-ная мера неопределённости. Ценность этого понятия в значительной мере заключается в том, что оно позволяет оценить влияние на опыт какого-либо другого опыта как разность энтропий по формуле (∗).

Подчеркнём также, что информация относительно опыта , содержащаяся в опыте представляет собой среднее значение (математическое ожидание) случайной величины H( ) − H( |A_i),связанной с отдельными исходами A_i опыта.

Пример:Задача о шарах и предварительной информации.

Пусть опыт состоит в извлечении одного шара из урны:

: 1 шар из 5 чёрных и 10 белых.

А опыт _k состоит в предварительном извлечении (без возвращения обратно) K шаров:

_k : K шаров извлечено.

H( ) = ?

I( ; ₁) = ?

I( ; ₂) = ?

I( ; ₁₃) = ?

I( ; ₁₄) = ?

Чему равна энтропия H( ) и информация, содержащаяся в опыте ₁?

Решение:

H( ) = −¹₃log¹₃ − ²₃log²₃ ≈ 0:92бита:

I( | ₂) = H( ) − H( | ₂)

H( | ₂) = p(A^ч₁A^ч₂) ∗ H( |A^ч₁A^ч₂) + p(A^ч₁A^б₂) ∗ H( |A^ч₁A^б₂) + p(A^б₁A^б₂) ∗ H( |A^б₁A^б₂) =

I( ; ₁₃) = H( ) − H( | ₁₃)

H( | ₁₃)-здесь неопределённость только в оставшихся двух шарах:они должны бытьдвух цветов, значит, мы взяли 4 чёрных и 9 белых шаров.

I( ; ₁₄) = [H( | ₁4) = 0] ≈ 0:92:

Вообще, надо сказать, что количество информации об опыте : I( ), которая заключает-ся в опыте является объективной характеристикой ценности прогноза. H( | ) = H( ), если , независимы, или если H( ) = 0 (исход известен заранее и не нуждается в прогнозе). Во всех остальных случаях имеем 0 < I( | ) ≤ H( )

Рассмотрим ситуацию, когда опыт имеет бесконечное число исходов (непрерывное множество исходов). В этом случае H( ) = ∞, однако вместо неё часто можно рассмат-ривать конечную энтропию H_" , которая получается при объединении исходов , отли-чающихся не более, чем на малое число ", в один исход. В практических задачах обычно H_" (" -энтропия)и имеет смысл,так как мы вообще не можем различить исходы,от-личающиеся меньше, чем на ". (" определяется точностью используемых измерительных приборов)

Информация I( ; ) = I( ; ). Проверим: Очевидно равенство

H( ) = H( ) ⇒ H( ) + H( | ) = H( ) + H( | ) ⇒ H( ) + H( | ) = H( ) +

H( | ) ⇒ I( |beta) = I( | )

Таким образом, информацию I( ; ) можно назвать взаимной информацией опытов и друг относительно друга.

Пусть ; ; - 3 произвольных опыта. В таком случае всегда I( ; ) > I( ; )

Иначе говоря, опыт содержит не меньше информации, чем простой опыт

Про последовательной передаче информации об опыте , осуществляемой посредством цепочки опытов ; ; : : : , где только опыт непосредственно связан с ,а всю содер-жащуюся информацию об получает из связи с опытом (так, что не содержит до-полнительной информации по сравнению с опытом ); всю информацию получает из связи с опытом : : :

Информация об опыте в этом случае может только уменьшаться.

H( ) = I( ; )> I( ; )> I( ; )> I( ; )> : : :

Наглядной иллюстрацией этого положения может служить игра "испорченный телефон".

Величина I ( ; ) = H( | ) − H( | ) называется условной информацией двух опытов и друг от друга при выполнении опыта .

Свойства условной информации:

1. I ( ; )>0

2. I ( ; ) = I ( ; )(симметричность).

3. I( ; ) = I( ; ) + I ( ; )

Получается из формул

I ( ; ) = H( | ) − H( | ) I( ; ) = H( ) − H( | ) I( ; ) = H( ) − H( | )