Энтропия системы

Меры информации

Для определения меры информации необходимо ввести понятие меры неопределенности. Неопределенность — непременное свойство любого хозяйственного или управленческого решения: такие решения — это выбор из нескольких возможных вариантов, и полной уверенности, что выбран действительно лучший, практически никогда не бывает. Даже в простой ситуации, выходя утром из дома, мы принимаем решения о том, как лучше одеться и взять ли зонт: существует опасность промокнуть, если будет обещанный по прогнозу дождь. Уменьшение неопределенности выбора лучшего решения возможно благодаря получению новых сведений или дополнительной информации. Если вам позвонит приятель, живущий вблизи университета, куда вы поутру намерены направиться из своего дома с другого конца города, и сообщит между прочим, что у него за окном проливной дождь, неопределенность выбора существенно снизится: брать зонт надо обязательно. Все же сомнения останутся: а вдруг дождь прекратится за время, пока вы будете добираться до университета? Уменьшение неопределенности в нашем примере — довольно полезная штука, если она помогает принять решение. Однако понятно, что сообщение не обязательно уменьшает неопределенность — оно может ее и увеличить. Если в сообщении приятеля помимо дождя будут фигурировать и сильный ветер, и другие неприятные обстоятельства, вы вообще можете засомневаться — стоит ли ехать в такую погоду на занятия. Неопределенность принятия решения возрастает. Может быть, что приятель в разговоре с вами совсем не упомянет о погодных условиях, неопределенность с выбором решения о зонте и одежде останется неизменной. Так что здесь все дело в сообщении — изменяет оно неопределенность в ту или иную сторону или нет. Вот по этому изменению неопределенности мы попробуем оценить количество и "формации, содержащееся в сообщении

Оценить неопределенность в реальной хозяйственной ситуации довольно сложно. Поэтому для разработки понятийного аппарата лучше прибегнуть к формальным моделям.

Принятой мерой неопределенности системы а является энтропия, обозначаемая Н(а). При получении сообщения β энтропия системы — Нβ(а). Как мы заметили, может быть, что Нβ(а) < Н(а), Нβ(а) > Н(а) и Нβ(а) = Н(а), — все зависит от того, что за сообщение β получено. Интересно, что именно разность Н(а)-Нβ(а) оказывается важной характеристикой полученного сообщения β.

Этой важной характеристикой сообщения β о системе «а» является количество информации I β (а), содержащееся в сообщении β о системе «а»:

Iβ(а) = Н(а) - Нβ(а)

Понятно, что величина Iβ(а) может быть положительной (когда сообщение уменьшает неопределенность), отрицательной (когда неопределенность растет) и нулевой (когда сообщение β не несет информации, полезной для принятия решения). В последнем случае Нβ(а) = Н(а), т.е. неопределенность системы по получении сообщения β не изменилась, и количество информации β равно нулю.

Другим крайним случаем является ситуация, когда сообщение β полностью снимает неопределенность и Нβ(а) = 0. Тогда сообщение β содержит полную информацию о системе а и Iβ(а) = Н(а)

Теперь для определения количества информации нам надо понять, как оценивать энтропию системы. В общем случае энтропия системы, имеющей «к» - возможных состояний (Н(а)), согласно формуле Шеннона равна

k

Н(a) = - Σ P_t log P_t