Количество и объем информации

Рассмотрим схему обращения информации:

Отправитель передал сообщение, состоящее из букв алфавита , обладающего энтропией . Количество информации в сообщении равно

.

(3.3)

Кодирующее устройство кодирует исходное сообщение символами алфавита с энтропией . Если код равномерный, то количество информации в закодированном сообщении легко подсчитать:

,

где r – разрядность равномерного кода.

Сравним полученные значения I и I_k .Ясно, что в общем случае . Это следует из формулы расчета минимальной разрядности кода (3 .1). Равенство имеет место лишь в весьма редких случаях. Например, при двоичном кодировании равновероятного алфавита А, если при этом , и H ( B ) = 1.

Однако, в соответствии с определением, кодирование есть переход от одной формы записи к другой, содержащей ту же самую информацию. И с этой точки зрения неравенство является противоречием. Чтобы его снять, было введено понятие объёма информации .

Объёмом информации называется количество переданной информации, рассчитанное относительно кодового (вторичного) алфавита

.

(3.4)

Поэтому в дальнейшем, при рассмотрении процесса обращения информации, будем употреблять термин количество информации, если информация рассматривается относительно первичного алфавита, и объём информации – если имеется в виду закодированная информация.

Используя введенное обозначение, запишем соотношение между этими величинами:

.

(3.5)

При неравномерном кодировании объём информации выражается по формуле

.

(3.6)

Соотношение (3.5) справедливо и для неравномерного кодирования, хотя это не столь очевидно, как в предыдущем случае. Используя это неравество, получим некоторые полезные для понимания вопроса соотношения.

Для этого распишем (3.5) в явном виде и приведем подобные члены:

отсюда

.

Последнее неравенство позволяет сделать вывод, что минимально возможная средняя длина кодового слова равна

Кроме того, если мы имеем дело с двоичным кодом и , то неравенство принимает вид

Из этого следует, что средняя длина кодового слова при кодировании произвольного алфавита A любым двоичным кодом не может быть меньше энтропии исходного алфавита.

Избыточностью коданазывается превышение средней длины кода над минимально возможной:

.

(3.7)

В случае равномерного кода равна его разрядности .

Избыточность кода является следствием как процедуры кодирования (природы кода), так и свойств алфавитов, в этом процессе участвующих. Рассмотрим их влияние.

Так, при равномерном кодировании в большинстве случаев разрядность кода является результатом округления числа до ближайшего целого (см. (3.1)). Исключением являются лишь случаи, когда , где k – целое. Вклад процедуры округления в избыточность кода может быть выражен следующей формулой:

.

Обращаясь к влиянию свойств алфавитов, рассмотрим два случая. Если символы вторичного алфавита одинаково распределены по кодовым словам, но символы первичного не равновероятны, то влияние первичного алфавита на избыточность оценивается как

.

Если символы кодового алфавита не являются таковыми, то его вклад в избыточность будет равен

.

В некоторых случаях с целью повышения помехоустойчивости кода вводят корректирующую избыточность

.

Общая информационная избыточность равна сумме