Современное понимание того, что такое информация и какую роль она играет в системном анализе, системах, сложилось не сразу. Оно представляет собой совокупность знаний, полученных разными науками: физикой, биологией, философией, теорией связи и т.д.
Известно, что физика старается изучать явления природы в максимально объективной форме, т.е. не связанной с человеком и его воздействием на окружающий мир. Однако ей (физике) не удается полностью исключить «человеческий фактор». Во-первых, при экспериментальном исследовании физических явлений невозможно обойтись без процедуры измерения ряда величин, параметров и процессов. Во-вторых, занимаясь изучением и разработкой технических (т.е. созданных человеком) устройств, физика не может обойтись без субъективного вмешательства человека. Впервые это произошло в термодинамике — науке, изучающей процессы в тепловых машинах. Оказалось, что без введения специального понятия энтропии невозможно дать исчерпывающего описания их действия. Скачок в понимании природы этой величины произошел, когда Л.Больцман дал ей статистическую интерпретацию (1877): энтропия характеризует недостающую информацию.
После построения К.Шэнноном теории информации (1948), обнаружилось, что формула Шэннона для информационной энтропии и формула Больцмана для термодинамической энтропии тождественны. Разгорелись споры о том, является ли это совпадение чисто формальным или оно выражает глубокую связь термодинамики и теории информации. Дискуссии привели к современному пониманию этой неразрывной связи.
Таким образом, ясно, что роль информации в самом существовании систем (искусственных и естественных) огромна. Для системного анализа понятие информации столь же фундаментально, как понятие энергии для физики. Более того, понятие информации, обладая всеобщностью, приобрело смысл философской категории. В настоящее время информация рассматривается как фундаментальное свойство материи.
Для того, чтобы два объекта содержали информацию друг о друге необходимо, чтобы между их состояниями существовало соответствие. Только при этом условии по состоянию одного объекта можно судить о состоянии другого. Такое соответствие может установиться только в результате физического взаимодействия между этими объектами. Соответствие между состоянием двух объектов может устанавливаться и с помощью взаимодействия с промежуточными объектами, например, сигналами. Сигнал есть материальный носитель информации, средство перенесения информации в пространстве и времени.
Сигналы играют в системах особую, очень важную роль. Если энергетические и вещественные потоки, образно говоря, питают систему, то потоки информации, переносимые сигналами, организуют все ее функционирование, управляют ею. Н.Винер, например, подчеркивал, что общество простирается до тех пределов, до каких распространяется информация. Пожалуй, это следует отнести к любой системе.
Первое и, быть может, главное отличие подхода к изучению объекта как системы и состоит в том, что мы не ограничиваемся только рассмотрением и описанием вещественной и энергетической его сторон, но и (прежде всего) проводим исследование его информационных аспектов: целей, сигналов, информационных потоков, управления, организации и т.д.
Казалось бы, после того, как мы установили, что сигналами служат состояния физических объектов, никаких проблем с их математическим описанием не должно быть. Например, можно зафиксировать звуковые колебания, соответствующие конкретному сигналу, в виде зависимости давления х от времени t и изобразить этот сигнал функцией x(t). Однако имеется существенное различие между просто состоянием x(t) объекта и сигналом x(t). Оно состоит в том, что единственная функция x(t) не исчерпывает всех важных свойств сигналов. Ведь понятие функции предполагает, что нам известно значение х (либо правило его получения) для каждого t. Если же это известно получателю сигнала, то отпадает необходимость в его передаче: функция x(t) может быть и без того воспроизведена на приемном конце.
Следовательно, единственная однозначная функция вещественного аргумента не может служить моделью сигнала. Такая функция приобретает сигнальные свойства только тогда, когда она является одной из возможных функций. Другими словами, моделью сигнала может быть набор (ансамбль) функций параметра t. Причем до передачи неизвестно, какая из них будет отправлена; это становится известным получателю только после передачи. Каждая такая конкретная функция называется реализацией. Если теперь еще ввести вероятностную меру на множество реализаций, то мы получим математическую модель, называемую случайным процессом.
Имеется несколько различных подходов к тому, как вводить вероятностную меру на множестве реализаций. Для большинства инженерных приложений оказывается удобным определение случайного процесса как такой функции времени x(t), значение которой в каждый момент времени является случайной величиной. Случайная величина полностью характеризуется распределением вероятностей, например, плотностью p1(x1,t1). Однако, чтобы охарактеризовать случайный процесс, нужно знать, как связаны значения реализации, разделенные некоторыми интервалами времени. Для этих целей вводят распределения второго, третьего, ..., n-го порядков pn(x1,t1,...,xn,tn).
Для рассмотрения конкретных свойств систем бывает необходимо учесть особенности сигналов, циркулирующих по каналам связи этих систем. Такие особенности можно описать по-разному: просто перечислить возможные реализации (если число их конечно), либо задать в той или иной форме общие свойства реализаций, входящих в ансамбль. Рассмотрим в качестве примеров некоторые модели реализаций непрерывных сигналов.
