Энтропия непрерывного источника

Энтропия дискретного сигнала определялась выражением (2). Для непрерывной случайной величины воспользуемся эти же выражением, заменив вероятность P(x) на W(x)dx

В результате получим

Но логарифм бесконечно малой величины (dx) равен минус бесконечности, в результате чего получаем

H(x)=∞-

Таким образом, энтропия непрерывной случайной величины бесконечно велика. Но т.к. в последнем выражении первое слагаемое (∞) от величины x или от W(x) не зависит, при определении энтропии непрерывной величины это слагаемое отбрасывают, учитывая только второе слагаемое (некоторою “добавку” к бесконечности). Эта добавочная энтропия определяемая формулой

(27)

называется дифференциальной энтропией непрерывной случайной величины.

В дальнейшем слово “дифференциальная” в определении энтропии будем иногда опускать. Как и для дискретных сообщений, существуют следующие разновидности дифференциальной энтропии непрерывной величины.

1. Условная энтропия случайной величины у относительно случайной величины x

, или

(28)

2. Совместная энтропия двух непрерывных случайных величин равна

, или

(29)

Для независимых x и y H(x,y)=H(x)+H(y). Для совместной дифференциальной энтропии непрерывной случайной величины справедливы соотношения (17) и (18)

H(x,y)=H(x)+H(y/x)

H(x,y)=H(y)+H(x/y)

3. Взаимная информация H(x↔y) содержащаяся в двух непрерывных сигналах x и y, определяется формулой (20)

Для независимых x и y H(x↔y)=0

4. Если случайная величина ограничена в объёме V=b-a, то её дифференциальная энтропия максимальна при равномерном законе распределения этой величины

Рисунок 8

Так как эта величина зависит только от разности (b-a), а не зависит от абсолютных величин b и a, следовательно, H_max(x) не зависит от математического ожидания случайной величины x.

5. Если случайная величина не ограничена в объёме (т.е. может изменяться в пределах от -∞ до +∞), а ограничена только по мощности, то дифференциальная энтропия максимальна в случае гаусcовского закона распределения этой величины. Определим этот максимум в соответствии с (27)

W(x)=

отсюда

Но математическое ожидание m{(x-a)²}= , отсюда получаем

или окончательно

(30)

Следовательно, энтропия зависит только от мощности δ². Эта важная формула будет использоваться позднее для определения пропускной способности непрерывного канала связи.

Замети, что, как и ранее, H_max(x) не зависит от математического ожидания a случайной величины x. Это важное свойство энтропии. Оно объясняется тем, что мат. ожидание является не случайной величиной.