Количество информации. Энтропия. Излишество

Численная мера количества информации должна соответствовать след. условиям:

1. Кол-во информации в сообщении пропорционально длине сообщения.
2. Кол-во информации равно нулю, если в системе возможно только 1 сообщение.

Т.к. система событий конечная и полная, то сумма вероятностей начала событий – есть единица. Поэтому для удобства за единицу информации берут такое кол-во, которое исключает неопределенность относительно появления одной из двух возможных вероятных независимых событий. Такая единица кол-ва информации наз. «двоичной единицей информации» или бит.

Таким обр. мера кол-ва инф., которая есть в сообщении: I=logpi где pi – вероятность появления сообщения.

Энтропия – среднее кол-во инф. на 1сообщение. Энтропия показывает степень разнообразия возможных состояний системы.
Избыточность сообщения (R) – мера возможного сокращения сообщения

R=1-
Одной из информационных характеристик источника дискретных сообщений является избыточность, которая определяет, какая доля максимально-возможной энтропии не используется источником.

Избыточность приводит к увеличению времени передачи сообщений, уменьшению скорости передачи информации, излишней загрузки канала, вместе с тем, избыточность необходима для обеспечения достоверности передаваемых данных, т. е. надежности СПД, повышения помехоустойчивости. При этом, применяя специальные коды, использующие избыточность в передаваемых сообщениях, можно  обнаружить и исправить ошибки.