Лекция 11: О результатах теории информации

Подведем итог

Пример

Пусть по выборке (т.е. совокупности наблюдений x=x1...xn требуется отдать предпочтение одной из конкурирующих гипотез (H или H₁), если известны распределения наблюдений при каждой из них, т.е. p(x/H₀) и p(x/H₁). Как обработать выборку? Из теории известно, что никакая обработка не может увеличить количество информации, содержащегося в выборке x (см. формулу (9). Следовательно, выборке x следует поставить в соответствие число, содержащее всю полезную информацию, т.е. обработать выборку без потерь. Возникает мысль о том, чтобы вычислить индивидуальное количество информации в выборке x о каждой из гипотез и сравнить их:

σi = i(x,H₁)-i(x,H₀) = ln{p(x/H₁)/p(x)}-ln{p(x/H₀)/p(x)} = ln{p(x/H₁)/p(x,H₀)} (15)

Какой из гипотез теперь отдать предпочтение зависит теперь от величины 7d 0i и от того, какой порог сравнения мы назначим. Оказывается, что мы получили статистическую процедуру, оптимальность которой специально доказывается в математической статистике, — именно к этому сводится содержание фундаментальной леммы Неймана-Пирсона. Данный пример иллюстрирует эвристическую силу теоретико-информационных представлений.

Для системного анализа теория информации имеет двоякое значение. Во-первых, ее конкретные методы позволяют провести ряд количественных исследований информационных потоков в изучаемой или проектируемой системе. Однако более важным является эвристическое значение основных понятий теории информации — неопределенности, энтропии, количество информации, избыточности, пропускной способности и пр. Их использование столь же важно для понимания системных процессов, как и использование понятий, связанных с временными, энергетическими процессами. Системный анализ неизбежно выходит на исследование ресурсов, которые потребуются для решения анализируемой проблемы. Информационные ресурсы играют далеко не последнюю роль наряду с остальными ресурсами — материальными, энергетическими, временными, кадровыми.

Теория информации приводит к ряду новых понятий, описывающих информационные процессы, происходящие в системах, к введению новых количественных параметров, позволяющих производить измерения и расчеты. Однако главная ценность теории информации состоит в полученных новых результатах, в открытии ранее неизвестных свойств систем. Чтобы познакомиться с основными из этих результатов, рассмотрим еще некоторые понятия и параметры информационных процессов и систем.