Информация и энтропия

Лекция 8. Теоретические основы сжатия данных.

Прежде чем начать обсуждение проблем сжатия данных, освоим теоретический фундамент — теорию информации. Основы теории информации были заложены Клодом Шенноном (Claude Shannon) в процессе исследования пропускной способ­ности информационного канала. Теория информации получила самые разнообраз­ные применения. Для настоящего обсуждения важно то, что теория информации определяет предел, до которого для заданного потока данных можно сжимать ин­формацию без потерь.

Основу теории информации составляют две математические концепции, назва­ния которых могут ввести в заблуждение: информация и энтропия. Как прави­ло, под информацией (information) подразумевается нечто, относящееся к смыс­лу, а энтропия (entropy) — термин из второго закона термодинамики. В теории информации информация имеет отношение к снижению неосведомленности о не­коем событии, а энтропией называется усреднение информационных значе­ний, подчиняющееся тем же математическим законам, что и термодинамическая энтропия. Рассмотрим это новое определение информации на примере. Представим инвес­тора, которому требуется информация (совет) о состоянии определенных ценных бумаг. Этот инвестор советуется с брокером, обладающим специальной информа­цией (знанием) в данной области. Брекер информирует (сообщает) инвестора, что сегодня утром нагрянул федеральный инспектор, искавший информацию (свиде­тельства) о возможном мошенничестве, в котором замешана корпорация, выпус­тившая именно эти акции. В ответ на эту информацию (данные) инвестор решает продать свои акции, о чем и информирует (уведомляет) брокера. Другими словами, будучи неуверенным в вопросе о том, как распорядиться сво­им портфелем ценных бумаг, клиент консультируется с кем-то более уверенным в данном вопросе. Брокер уменьшает неуверенность клиента в этой области, рас­сказав ему о визите федерального инспектора, который пришел, чтобы разре­шить собственную профессиональную неуверенность. Кульминацией возрастаю­щей уверенности клиента о состоянии своих ценных бумаг становится устранение неуверенности брокера о намерении клиента продать эти ценные бумаги. Хотя термин информация может означать уведомление, знание или просто дан­ные, в каждом случае получение информации эквивалентно уменьшению неуве­ренности. Таким образом, информация означает положительную разность между двумя уровнями неуверенности.