Величина, показывающая, какая часть сообщения при данных условиях может быть устранена без потери информации, называется избыточностью.
Абсолютная величина избыточности определяется выражением:
, (2.1)
где
– максимальная энтропия сообщения, определяемая при равновероятных и статистически независимых знаках в сообщении;
– реальная энтропия сообщения.
Относительная избыточность, называемая информационной, определяется выражением:
(2.2)
Информационная избыточность показывает относительную недогруженность одного знака алфавита и является безразмерной величиной, изменяющейся в пределах:
.
В соответствии с (2.2), избыточность, обусловленная неравновероятным появлением знаков в сообщении, будет равна:
(2.3)
где
– объем используемого алфавита;
.