Количество информация и энтропия

Источник информации, который может в каждый момент времени находиться в одном из возможных состояний, называется дискретным источником информации. Будем называть конечное множество всех возможных состояний {u₁, u₂, …, u_N} алфавитом источника (N – размер алфавита или число возможных состояний). В общем случае разные состояния ui выбираются источником с разной вероятностью pi, и его можно охарактеризовать совокупностью алфавита и множества вероятностей состояний – ансамблем UN = {u₁, p₁, u₂, p₂, …, u_N, p_N}. Разумеется, сумма вероятностей всех состояний должна быть равна 1.

Введем меру неопределенности состояния источника H(U), удовлетворяющую следующим условиям:

- монотонность: мера должна монотонно возрастать с ростом количества возможных состояний.

- аддитивность: мера, вычисленная для сложного источника, состоящего из двух независимых источников (с размерами алфавитов N и M, тогда размер алфавита сложного источника -– NM), должна равняться сумме мер этих двух источников. Согласно условию аддитивности, мера должна удовлетворять соотношению H(U_NM) = H(U_M)+H(U_N).

Кроме того, существует граничное условие: мера неопределенности для источника с размером алфавита 1 должна равняться 0.

Можно показать, что этим условиям удовлетворяет логарифмическая функция (с произвольным основанием).

Для источника с алфавитом размера N и равновероятными состояниями (p_i=1/N для любого i) логарифмическая мера была предложена Р.Хартли в 1928 году и имеет вид: H(U_N) = log(N). Предположение о равновероятности состояний источника информации называется моделью Хартли. Если основание логарифма выбрать равным двум, соответствующая единица неопределенности будет соответствовать неопределенности выбора из двух равновероятных событий и называться двоичной единицей или битом (от англ. bit, сокращенного binary digit – двоичная единица).

Модели Хартли недостает учета вероятностей состояний. Если, например, источник имеет два возможных состояния с вероятностями 0.999 и 0.001. Ясно, что мера неопределенности такого источника должна быть меньше 1 бита: есть большая уверенность в выборе первого состояния. Если вероятности состояний отличаются незначительно (например, 0.51 и 0.49), то и мера неопределенности должна измениться незначительно по сравнению с равновероятным случаем.

Таким образом, мера неопределенности должна зависеть от вероятностей состояний источника, от всего ансамбля. Такая модель источника информации называется моделью Шеннона. Мера неопределенности выбора дискретным источником состояния из ансамбля UN называется энтропией дискретного источника информации или энтропией конечного ансамбля:

При равновероятности состояний источника мера Шеннона сводится к мере Хартли.

Доказано, что приведенная функция – единственная, удовлетворяющая всем перечисленным условиям.

Термин “энтропия” был заимствован из термодинамики и использован для меры неопределенности из-за того, что обе энтропии – термодинамическая и информационная – характеризуют степень разнообразия состояний рассматриваемой системы и описываются аналогичными функциями.