Алфавитный подход к определению количества информации

Вопросы для зачёта

1. Пусть две книги на русском и китайском языках содержат одина­ковое количество знаков. В какой книге содержится большее ко­личество информации с точки зрения алфавитного подхода?

При определении количества информации на основе уменьшения неопределенности наших знаний мы рассмат­риваем информацию с точки зрения содержания, ее понят­ности и новизны для человека. С этой точки зрения в опы­те по бросанию монеты одинаковое количество информации содержится и в зрительном образе упавшей монеты, и в коротком сообщении «Орел», и в длинной фразе «Монета упала на поверхность земли той стороной вверх, на которой изображен орел».

Однако при хранении и передаче информации с помощью технических устройств целесообразно отвлечься от содержания информации и рассматривать ее как последовательность знаков (букв, цифр, кодов цветов точек изображения и так далее).

Набор символов знаковой системы (алфавит) можно рас­сматривать как различные возможные состояния (события). Тогда, если считать, что появление символов в сообщении равновероятно, по формуле (N = ) можно рассчитать, какое количество информации несет каждый символ.

Так, в русском алфавите, если не использовать букву ё, количество событий (букв) будет равно 32. Тогда:

32 = 2¹, откуда / = 5 битов.

Каждый символ несет 5 битов информации (его инфор­мационная емкость равна 5 битов). Количество информа­ции в сообщении можно подсчитать, умножив количество информации, которое несет один символ, на количество символов.

Количество информации, которое содержит со­общение, закодированное с помощью знаковой системы, равно количеству информации, которое несет один знак, умноженному на количество зна­ков.