Пример.

Если A и B рассматривать как сообщение, порожденные различными источниками (например, публикации в различных газетах ), тогда для получения взаимно большей совместной ( суммарной) информации взаимная, т.е. одинаковая в данном случае информация, должна быть минимальной.

Если A и B сообщения соответственно на входе и выходе канала связи с помехами, то для получения взаимно большей информации её получателем необходимо, чтобы взаимная информация была наибольшей.

В то же время для описания воздействия помех в канале связи на полученное сообщение используется понятие условной информации и условной энтропии. Для определения условной информации и условной энтропии в заданной объединенной вероятностной схеме вернемся к соотношению:

== .

При этом совместная информация пары событий складывается из собственной информации каждого из этих событий и некоторой информации, добавленной вторым событием при условии, что произошло первое событие. Поэтому Iназывают условной информацией пары случайных событий. Если аналогично тому, как мы это делали ранее, составить вероятностную схему для условной вероятности пары событий как для случайной величины:

,

тогда математическое ожидание этой случайной величины и будет являться условной энтропией объединенной вероятностной схемы:

Найдем соотношение между условной энтропией и ее взаимной информаций:

Рассмотрим взаимную информацию опять как случайную величину и, усредняя её, т.е. определяя математическое ожидание по объединенной вероятностной схеме, получим:

I(А;B) = EH(A) - H(A/B) = H(B) - H(B/A).

2.4 Понятие совместной энтропии.

Для двух источников, образующих объединенную вероятностную схему, используя понятие совместной вероятности пары событий, можно определить среднюю информацию всех пар событий:

H(AB) = E.

Не сложно показать, что совместная энтропия складывается из:

H(AB)=H(A)+H(A/B)=H(B)+H(B/A).

Если источники не совместны, то:

H(A/B)=H(A), H(B/A)=H(B).

Если источники считаются связанными, тогда:

H(A/B)H(A);

H(B/A)H(B).

Поэтому в общем случае совместная энтропия определяется следующим образом:

H(AB)H(A)+H(B).