Содержательный подход

(См. определение «информация» из лекции №1.)

Сообщение несет информацию для человека, если содержащиеся в нем сведения являются для него новыми и понятными.

Например: 2*2=4 – для кого информативно?

определение резонанса или интеграла – для кого информативно?

Если сообщение неинформативно для человека, то количество информации в нем с точки зрения этого человека равно нулю. Количество информации в информативном сообщении больше нуля.

Информацию, к-рую получает человек, можно считать мерой уменьшения неопределенности знаний. (Если некро-е сообщение приводит к уменьшению неопределенности наших знаний, то можно говорить, что такое сообщение содержит информацию.) Неопределенность знаний о некотором событии – это количество возможных результатов события (бросание монеты – 2, бросание кубика – 6, вытаскивание жребия).

Сообщение, уменьшающее неопределенность знаний в 2 раза, несет 1 бит информации.

1 бит — сообщение о том, что произошло 1 событие из 2 равновероятных.

Например: На к/р вы можете получить 1 из 4 отметок: 5,4,3,2. Родители спрашивают вас об отметке. Вы: «4». Сколько бит информации содержится в его ответе?

Вопросы будем задавать так, чтобы каждый ответ уменьшал количество вариантов в 2 раза.

1. Оценка выше «3»? – да – число вариантов уменьшилось в 2 раза. Получен 1 бит информации.

2. Ты получил «5»? – нет – выбран 1 вариант из 2: «4». Получен 1 бит информации.

В сумме имеем 2 бита.

Обозначим количество возможных событий (неопределенность знаний) N, i – количество информации в сообщении о том, что произошло 1 из N событий.

с монеткой N =2, i =1

с оценками N =4, i =2

и т.д.

Количество информации i, содержащейся в сообщении о том, что произошло 1 из N равновероятных событий, определяется из показательного уравнения:2ⁱ = N[i] = [бит]

или i =log₂N

Задача. Проводятся 2 лотереи: «4 из 32» и «5 из 64». Сообщение о результатах какой из лотерей несет больше информации?

1 спб решения: вытаскивание любого номера из лотерейного барабана – события равновероятные. Для лотереи «4 из 32» (32 = 2⁵) количество информации = 5 бит, в лотереи «5 из 64» (64 = 2⁶) количество информации = 6 бит. Сообщение о 4 номерах в лотереи «4 из 32» несет 5*4=20 бит, а сообщение о 5 номерах в лотереи «5 из 64» несет 6*5=30 бит. Сл., сообщение о результатах второй лотереи несет больше информации, чем первой.

2 спб решения: вы наблюдаете за розыгрышем лотереи. Выбор первого шара производится из 32 шаров в барабане. Результат несет 5 бит информации. Второй шар выбирается из 31 номера, 3-й из 30 номеров, 4-й из 29.

i = (log ₂ 32+ log ₂ 31+ log ₂ 30+ log ₂ 29) = 5+4,95420+4,90689+4,85798 = 19,71907 бит

32 = 2⁵ ;

31 = 2ⁱ ; i = 4,95420

30 = 2ⁱ ; i = 4,90689

29 = 2ⁱ ; i = 4,85798

Аналогично для второй лотереи