1) человек получает сообщение о некотором событии; при этом заранее известна неопределенность знания человека об ожидаемом событии. Неопределенность знания может быть выражена либо числом возможных вариантов события, либо вероятностью ожидаемых вариантов события;
2) в результате получения сообщения неопределенность знания снимается: из некоторого возможного количества вариантов оказался выбранным один;
3) по формуле вычисляется количество информации в полученном сообщении, выраженное в битах.
Формула, используемая для вычисления количества информации, зависит от ситуаций, которых может быть две:
1. Все возможные варианты события равновероятны. Их число конечно и равно N.
2. Вероятности (p) возможных вариантов события разные и они заранее известны:
{pi}, i = 1..N, такие что p1+p2+…pN=1
Здесь по-прежнему N — число возможных вариантов события.
Вводя понятие вероятности, следует сообщить, что вероятность некоторого события - это величина, которая может принимать значения от нуля до единицы. Вероятность невозможного события равна нулю (например: “завтра Солнце не взойдет над горизонтом”), вероятность достоверного события равна единице (например: “Завтра солнце взойдет над горизонтом”).
Вероятность некоторого события определяется путем многократных наблюдений (измерений, испытаний). Такие измерения называют статистическими. И чем большее количество измерений выполнено, тем точнее определяется вероятность события.
Математическое определение вероятности звучит так: вероятность равна отношению числа исходов, благоприятствующих данному событию, к общему числу равновозможных исходов.
События равновероятны, если ни одно из них не имеет преимущества перед другими.
Если обозначить буквой i количество информации в сообщении о том, что произошло одно из N равновероятных событий, то величины i и N связаны между собой формулой Хартли:
(1)
Величина i измеряется в битах. Отсюда следует вывод:
1 бит — это количество информации в сообщении об одном из двух равновероятных событий.
Формула Хартли — это показательное уравнение. Если i — неизвестная величина, то решением уравнения (1) будет:
(2)
Формулы (1) и (2) тождественны друг другу. Иногда в литературе формулой Хартли называют формулу (2).
Пример 1.1. Сколько информации содержит сообщение о том, что из колоды карт достали даму пик?
В колоде 32 карты. В перемешанной колоде выпадение любой карты — равновероятные события. Если i — количество информации в сообщении о том, что выпала конкретная карта (например, дама пик), то из уравнения Хартли i = 5 бит: 2i = 32 = 25
Пример 1.2. Сколько информации содержит сообщение о выпадении грани с числом 3 на шестигранном игральном кубике?
Считая выпадение любой грани событием равновероятным, запишем формулу Хартли: 2i = 6. Отсюда: i = log26 = 2,58496 бит.
Можно решить задачу и так:
Из уравнения Хартли: 2i = 6. Поскольку 22 < 6 < 23, следовательно, 2 < i < 3.
При содержательном подходе количество информации может быть выражено дробной величиной.
Пример 1.3. На автобусной остановке останавливаются два маршрута автобусов: №5 и №7. Ученику дано задание: определить, сколько информации содержит сообщение о том, что к остановке подошел автобус №5, и сколько информации в сообщении о том, что подошел автобус №7.
Ученик провел исследование. В течение всего рабочего дня он подсчитал, что к остановке автобусы подходили 100 раз. Из них — 25 раз подходил автобус №5 и 75 раз подходил автобус №7.
Сделав предположение, что с такой же частотой автобусы ходят и в другие дни, ученик вычислил вероятность появления на остановке автобуса №5:
и вероятность появления автобуса №7:
Количество информации в сообщении об автобусе №5 вычисляем:
i5 = log24 = 2 бита.
Количество информации в сообщении об автобусе № 7 равно:
i7 =log2(4/3)=log24–log23=2–1,58496=0,41504 бита.
Обратите внимание на следующий качественный вывод: чем вероятность события меньше, тем больше количество информации в сообщении о нем. Количество информации о достоверном событии равно нулю. Например, сообщение “Завтра наступит утро” является достоверным и его вероятность равна единице. Из формулы (3) следует: 2i = 1
Отсюда, i = 0 бит.
Если число N не является целой степенью числа 2, то число log2N не является целым. Тогда проводят округление в большую сторону по формуле:
(5)
Приведем таблицу для логарифмов по основанию 2:
N
i
N
i
N
i
N
i
0,00000
4,08746
5,04439
5,61471
1,00000
4,16993
5,08746
5,64386
1,58496
4,24793
5,12928
5,67243
2,00000
4,32193
5,16993
5,70044
2,32193
4,39232
5,20945
5,72792
2,58496
4,45943
5,24793
5,75489
2,80735
4,52356
5,28540
5,78136
3,00000
4,58496
5,32193
5,80735
3,16993
4,64386
5,35755
5,83289
3,32193
4,70044
5,39232
5,85798
3,45943
4,75489
5,42626
5,88264
3,58496
4,80735
5,45943
5,90689
3,70044
4,85798
5,49185
5,93074
3,80735
4,90689
5,52356
5,95420
3,90689
4,95420
5,55459
5,97728
4,00000
5,00000
5,58496
6,00000
При решении задач, если N не является степенью числа 2, то его можно заменить на N', где N' – ближайшая к N степень числа 2 такая, что N'>N.
