Одной из важнейших характеристик сигнала является содержащееся в нем количество информации. Однако по ряду причин количество информации, которое несет сигнал, обычно меньше чем то, которое он мог бы нести по своей физической природе. Информационная нагрузка на каждый элемент сигнала меньше той, которую элемент способен нести. Для описания этого свойства сигналов введено понятие избыточности и определена ее количественная мера.
Пусть сигнал длиной n символов содержит количество информации I. Если это представление информации обладает избыточностью, то такое же количество информации I может быть представлено с помощью меньшего числа символов. Обозначим через nо наименьшее число символов, необходимое для представления I без потерь. На каждый символ в первом случае приходится I1 = I/n бит информации, во втором I1max = I/n0 бит. Очевидно, I = n⋅I1 = n0⋅I1max. В качестве «меры избыточности» R принимается относительное удлинение сигнала, соответствующее данной избыточности:
R = (n - n0)/n = 1 - (n0/n) = 1 - (I1/I1max).
(1)
В дискретном случае имеются две причины избыточности: неравновероятность символов и наличие статистической связи между символами. В непрерывном случае — это неэкстремальность распределений (т.е. отклонение от распределений, обладающих максимальной энтропией.
Не следует думать, что избыточность — явление всегда отрицательное. При искажениях, выпадениях и вставках символов именно избыточность позволяет обнаружить и исправить ошибки.
Следующим важнейшим понятием является скорость передачи информации. Так называется количество информации, передаваемое в единицу времени. Эта величина определяется по формуле
R = H(X) - H(X/Y),
(2)
где указанные энтропии исчисляются на единицу времени.
В дискретном случае единицей времени удобно считать время передачи одного символа. Тогда в (2) фигурирует априорная и апостериорная энтропии на один символ. Для непрерывных каналов единицей времени может служить либо обычная единица (например, секунда), либо интервал между отсчетами. Тогда в (2) вводят соответствующие дифференциальные энтропии. Для более наглядного представления о величине R укажем, что темп обычной речи соответствует скорости порядка 20 бит/с, муравьи обмениваются информацией путем касания усиками со скоростью около 0,1 бит/с.
Скорость передачи информации по каналу связи зависит от многих факторов — от энергии сигнала, числа символов в алфавите, избыточности, полосы частот, способа кодирования и декодирования. Если имеется возможность изменять некоторые из них, то, естественно, следует делать это так, чтобы максимально увеличить скорость. Оказывается, что существует предел, выше которого увеличение скорости невозможно. Этот предел называется «пропускной способностью канала»:
C = sup(RA),
(3)
где RA — скорость передачи информации при условиях А, {A} — множество вариантов условий.
Так как множество {A} можно определить по разному, то имеет смысл говорить о нескольких типах пропускной способности. Наиболее важным является случай, когда мощность сигнала (объем алфавита) фиксирована, а варьировать можно только способ кодирования. Именно таким образом пропускную способность определил К.Шеннон.
Для представления о порядках величины С приведем примеры. Прямыми измерениями установлено, что пропускная способность зрительного, слухового и тактильного каналов связи человека имеют порядок 50 бит/с (вопреки распространенному мнению о сильном отличие зрительного канала). Возможно, ограничивающим фактором являются не сами рецепторы, а нервные волокна, передающие возбуждение. Если включить в канал и «исполнительные» органы человека (например, предложить ему нажимать кнопку в темпе получения сигналов), то пропускная способность близка к 10 бит/с. Интересно отметить, что многие бытовые технические устройства слабо согласованы с органами чувств человека. Например, канал телевидения имеет пропускную способность в десятки миллионов бит/с.
