1.Энтропия конечной вероятностной схемы ненулевая, непрерывная по вероятностям pi при условиях:
1.;
2. .
2.Энтропия, заданная конечной вероятностной схемой, симметрична по pi.
3. Энтропия, заданная конечной вероятностной схемой, при наличии пустого сообщения равна энтропии, заданная конечной вероятностной схемой без этого сообщения.
4.Энтропия объединенной вероятностной схемы:
, где ,
5. Энтропия конечной вероятностной схемы при равновероятных событиях:
1. – непрерывна при условиях: и положительна хотя в одной точке.
2. - симметрична по .
3. При где .
В дальнейшем все эти подходы Шеннона, Хинчена, Фадеева позволяют характеризовать производительность источника, оценивать возможности сжатия информации и анализировать пропускную способность канала.
2.3. Взаимная информация и её свойства.
Условная энтропия.
Для непрерывных величин .
Рассмотрим два связанных источника:
B
С=
A=
B=.
Если два источника считать связанными друг с другом, то следует ожидать, что событие одного источника позволяют делать некоторые предположения о событиях другого. В терминах теории информации это означает, что неопределенность второго источника снижается, т.е. источники обмениваются взаимной информацией. Известно, что для совместных событий между собственной, условной и совместной вероятностями существует зависимость, имеющая вид:
Прологарифмируем данное выражение:
=.
Из полученных выражений видно, что собственная информация пары событий определяется суммой собственных информаций каждого из событий за вычетом некоторой неотрицательной величины, которая снижает неопределенность, т.е. она сама в свою очередь является информацией. Эту величину называют взаимной информацией пары событий:
.
Если взять , тогда для этой случайной величины можно использовать понятие математического ожидания.
I(A;B)=
Свойства взаимной информации.
1. Взаимная информация положительна.
2. Взаимная информация симметрична относительно пары вероятностных схем.
I(А;B)=I(B;A)
3. Если сообщение A и B – независимы, т.е. не совместны, то взаимная информация I(А;B)=0.
Если сообщения A и B полностью зависимы, а именно совпадают, т.е. A и B содержат одну и ту же информацию, то взаимная информация: