Дифференцирование и интегрирование случайного процесса

Понятие дифференцируемости и интегрируемости связано с непрерывностью функции. Для детерминированных функций функция непрерывна в точке , если существует предел . Однако такой критерий непрерывности для случайного процесса непригоден, так как возможна не одна реализация, а целое множество реализаций для любого .

Случайный процесс называется непрерывным в точке , если при любом можно найти такое , что

или

. (1.28)

Случайный процесс , непрерывный во всех точках , где - область, в которой существует случайный процесс, называется непрерывным в области .

Рассмотрим, как влияет понятие непрерывности на математическое ожидание и ковариационную функцию.

.

Как видно, из этого равенства и определения непрерывности, следует непрерывность центрированного случайного процесса и непрерывность математического ожидания.

Положим, - непрерывный случайный процесс и рассмотрим разность

Но ,

.

При уменьшении в подкоренных выражениях значения корней стремятся к нулю. То есть из непрерывности случайного процесса в точке следует непрерывность ковариационной функции . Верно и обратное утверждение: из непрерывности ковариационной функции следует непрерывность случайного процесса .

Дифференцирование случайного процесса. Случайный процесс дифференцируем в точке в среднеквадратическом смысле, если существует такая случайная функция - производная в среднеквадратическом процесса в точке , что

, . (1.29)

Как видно из этой формулы, для существования производной в точке требуется непрерывность случайного процесса в точке .

Из дифференцируемости в среднеквадратическом следует дифференцируемость по вероятности

, (1.30)

Математическое ожидание случайного процесса равно

. (1.31)

Если процесс - стационарный, то .

Корреляционная функция производной:

,

где .

Для анализа вычислим и произведем разложение её в ряд Тейлора, ограничившись вторыми производными.

Из этих выражений получим

. (1.32)

Таким образом, условием дифференцируемости случайного процесса является существование и непрерывность второй смешанной производной случайного процесса. Для стационарного случайного процесса можно получить

.

Интегрирование случайного процесса. Положим, случайный процесс задан в области . Разобьем эту область на интервалы точками и рассмотрим сумму

,

где - некоторая известная весовая функция. В частности, можно потребовать и .

Положим также, что существует некоторый случайный процесс . Случайный процесс будет интегрируемым в среднеквадратическом смысле, если существует случайный процесс такой, что

.

(l.i.m. – limit in the mean – предел в среднем)

Случайный процесс будет называться интегралом от случайного процесса с весовой функцией и обозначаться как

.

Например, в качестве весовой функции в интеграле Дюамеля имеем импульсную характеристику .

Математическое ожидание и корреляционная функция процесса будет иметь вид:

, (1.34)

(1.35)

1.6. Эргодические случайные процессы

Моментные функции случайного процесса определяются усреднением по ансамблю всех возможных реализаций. Но на практике имеется одна какая-то реализация случайного процесса . Для изучения физического процесса возникает необходимость вычисления плотности распределения вероятности какого либо параметра процесса, функции распределения и моментных функций процесса по одной реализации на интервале наблюдения . Вероятностные характеристики случайного процесса, полученные по одной реализации процесса за ограниченное время наблюдения , будут случайными. Следовательно, необходим критерий, по которому можно было бы отождествить вероятностные характеристики случайного процесса, полученные по одной реализации, с характеристиками случайного процесса, вычисленных усреднением по ансамблю. Для выбора критерия предварительно рассмотрим сходимость по вероятности и сходимость в среднеквадратическом.

Положим, имеется последовательность случайных величин и неслучайная величина . Последовательность случайных величин сходится по вероятности к величине , если для любого выполняется соотношение

, (1.36)

или .

Последовательность случайных величин сходится в среднеквадратическом к величине , если выполняется соотношение

. (1.37)

Если , то сходимость в среднеквадратическом означает стремление дисперсии случайной величины к нулю, то есть

. (1.38)

Из сходимости в среднеквадратическом следует сходимость по вероятности. Действительно, согласно неравенству Чебышева для любого .

Рассмотрим случайные процессы, называемые эргодическими.

Определение. Случайный процесс называется эргодическим, если любая его вероятностная характеристика, полученная усреднением по времени одной единственной реализации сходится по вероятности к соответствующей вероятностной характеристике, полученной усреднением по ансамблю.

Таблица 4.1.а

Средние по времени	Средние по ансамблю

В таблицах 4.1.а и 4.1.б приведены некоторые числовые характеристики непрерывного и дискретного по времени случайного процесса, вычисленные по времени и по ансамблю. Из приведенных таблиц видно, что при вычислении среднего по времени используется произвольная k-ая реализация случайного процесса и средние по времени , где означает усредняемую величину, не зависят от времени t.

Таблица 4.1.б

Средние по времени	Средние по ансамблю

Следовательно, для того, чтобы сопоставить средние по времени и

средние по ансамблю, необходимо рассматривать случайные процессы, стационарные, хотя бы в широком смысле.

Эргодический случайный процесс содержится в множестве стационарных случайных процессов.

В качестве критерия эргодичности используем критерий сходимости в среднеквадратическом

. (1.39)

Определим условие эргодичности случайного процесса по отношению к среднему по времени, используя критерий сходимости в среднеквадратическом.

Среднее по времени для непрерывного случайного процесса имеет вид (Таблица 4.1.а)

. (1.40)

Определим математическое ожидание и дисперсию среднего по времени:

, (1.41)

. (1.42)

Формула (1.42) отражает среднеквадратическое отклонение среднего по времени от среднего по ансамблю. Если с увеличением времени наблюдения дисперсия среднего по времени стремится к нулю, то имеем среднеквадратическую сходимость и, согласно неравенству Чебышева, будем иметь сходимость по вероятности, что необходимо для эргодичности процесса по определению.

Таким образом, в качестве критерия эргодичности стационарного случайного процесса относительно среднего по времени принимается (1.39)

Преобразуем выражение (1.42)

.

Согласно критерию эргодичности должно соблюдаться

. (1.43)

Достаточным условием выполнения (1.43) является стремление ковариационной функции к нулю при , т.е. с увеличением времени наблюдения статистическая связь между значениями случайного процесса должны ослабевать и через достаточно большой промежуток времени ими можно пренебречь. Упростим условие (1.43), для этого произведем преобразование координат

(1.44)

Определим область интегрирования для переменных (Рис. 1.11). Из условия (1.44) имеем:

Согласно левой части неравенства (1.45) на плоскости ( ) имеем прямую 1.1. Соответственно для правой части неравенства (1.45) на плоскости ( ) имеем прямую 1.2.

2. Точно также согласно условию (1.44) должно выполняться

. (1.46)

Левая часть неравенства (1.46) соответствует прямой 2.1 на плоскости ( ). Правая часть неравенства (1.46) соответствует прямой 2.2 на плоскости ( ). Область, ограниченная прямыми 1.1, 1.2, 2.1 ,2.2, будет областью интегрирования для новых переменных . Якобиан преобразования

Вычислим двойной интеграл (1.43)

. (1.47)

Таким образом, для выполнения критерия достаточно выполнения условия

, (1.48)

которое называется условием эргодичности Слуцкого.

Если условие Слуцкого выполняется, то процесс можно считать эргодическим по отношению к среднему по времени и использовать среднее по времени для оценки математического ожидания . Время наблюдения необходимо взять достаточно большим, но не настолько большим, чтобы нарушились условия, обеспечивающие стационарность исследуемого процесса.

Если рассматривается другая числовая характеристика, вычисленная по времени, скажем, корреляционная функция , то для применения условия Слуцкого необходимо вычислить соответствующую ковариационную функцию и проверить выполнение условия (1.39). Для процесса необходимо вычислить . При выполнении условия

можно говорить, что процесс - эргодический по отношению к ковариационной функции процесса .

Пример 4.1. Пусть процесс - стационарный случайный процесс с ковариационной функцией . Доказать, что процесс - эргодический процесс.

Ковариационная функция при не стремится к нулю. Поэтому используем условие Слуцкого

.

Условие Слуцкого выполняется. Следовательно, процесс - эргодический по отношению к среднему по времени.

Пример 4.2. Найти условие эргодичности по отношению к среднему по времени для случайного процесса , где k – постоянная величина, не равная нулю, - стационарный эргодический случайный процесс с , , Y – случайная величина с , , процесс и величина - независимы, b – постоянная величина.

1. Вычислим ,

2. Вычислим

.

3. Из полученной формулы для ковариационной функции видно, что ковариационная функция с увеличением разности стремится к постоянной величине , а не к нулю, как того требует условие эргодичности. Более того, если произвести проверку эргодичности процесса по условию Слуцкого, то увидим, что оно нарушается.

Следовательно, для того, чтобы процесс был эргодическим необходимо отсутствие случайной величины Y. Тогда в выражении для будет отсутствовать величина и процесс будет эргодическим. Постоянные величины k и b не влияют на условие эргодичности исследуемого процесса.

Пример 4.3. Рассмотрим, как оценивается одномерная плотность распределения вероятности случайного эргодического процесса по одной единственной k-ой реализации , (Рис. 1.12).

Вычислим среднее по времени процесса :

.

Среднее по ансамблю процесса равно

.

Докажем, что процесс эргодический. Рассмотрим ковариационную функцию процесса .

.

Корреляционная функция процесса имеет вид

=

.

Подставим значения и в

.

Как видно из предыдущего выражения, поведение ковариационной функции зависит от поведения совместной плотности распределения при . Если статистическая связь между значениями случайного процесса исчезает при , то

,

и при , что является достаточным условием эргодичности процесса .

Учитывая, что процесс - эргодический, при достаточно большом времени наблюдения можно записать

или

. (1.49)

Разделив возможные значения v случайного процесса на интервалы с шагом , определим величину плотности распределения вероятности для каждого i-го интервала при помощи (1.49).

1.7. Спектральная функция стационарного случайного процесса

При изучении спектральных свойств детерминированных процессов используется преобразование Фурье. Переход от временного представления процесса к частотному отображению позволяет исследовать амплитудные и фазовые характеристики процесса как функцию частоты. Обратное преобразование Фурье позволяет восстановить исследуемый процесс.

Однако применить непосредственно преобразование Фурье к анализу случайных процессов невозможно, т.к. случайному процессу соответствует множество возможных реализаций и для каждого из них можно применить преобразование Фурье. В результате нельзя однозначно отождествить обратное преобразование Фурье со случайным процессом . Поэтому для описания процесса пользуются усредненной спектральной характеристикой.

Рассмотрим стационарный случайный процесс . Для каждой реализации на интервале времени найдем преобразование Фурье и рассчитаем квадрат модуля преобразования Фурье , приходящуюся на единицу полосы частот. Определим математическое ожидание квадрата модуля преобразования Фурье . Предел этой величины при называют спектральной плотностью случайного процесса .

Покажем связь спектральной плотности случайного процесса с корреляционной функцией .

Пусть известна реализация на интервале . Преобразование Фурье этой реализации имеет вид

.

Рассмотрим квадрат модуля преобразования Фурье данной реализации, приходящуюся на единицу полосы частот

.

Усреднив по всем возможным реализациям на интервале времени , получим спектральную плотность случайного процесса :

. (1.50)

Вычислим

.

В результате интегрирования по области, определяемую прямыми (1.1, 1.2, 2.1, 2.2), (Рис. 1.13), получим

Осуществим предельный переход ( ) и получим спектральную плотность мощности случайного процесса

. (1.51)

Известно, что и . Подставим

значение корреляционной функции в (1.51)

. (1.52)

Из (1.52) следует, что спектральная плотность не центрированного случайного процесса имеет составляющую , характеризующую мощность постоянной составляющей случайного процесса. Если процесс центрированный, то

(1.53)

Функции являются преобразованиями Фурье от корреляционной и ковариационных функций . Осуществляя обратные преобразования Фурье, получим

, (1.54)

. (1.55)

Пара преобразований (1.51), (1.54) и (1.53), (1.55) называются преобразованиями Винера-Хинчина.

Свойства спектральной плотности мощности.

2. Спектральная плотность мощности - неотрицательная функция, т.е. .

3. Спектральная плотность мощности - функция четная, (Рис. 1.14), т.е .

4. Как следствие четности, имеем

.

5. Мощность процесса будет равна

(1.56)

равенство площадей под кривыми и , а также выполнение равенства , где k – постоянная величина. Проделаем вычисления

Спектральные плотности и совпадают по форме, но определены в разных интервалах частот. Тогда из предыдущей записи следует , k=2.

7.1 Ширина спектра определяется из равенства площадей под

кривой спектральной плотности мощности и прямоугольника с основанием и высотой, равной значению спектральной плотности мощности в точке , (Рис. 1.16а), или

, (Рис. 1.16б):

(1.57)

Откуда

.

Приравняв нулю, получим интервал корреляции для случая, указанного на рисунке 1.16а

относительно .

Интервал частот определяет ширину спектра случайного процесса в зависимости от представления спектральной плотности мощности.

7.3. По аналогии с математическим ожиданием и дисперсией можно записать среднюю частоту и определить среднеквадратическую ширину спектра , соответственно:

.

Выбор того или иного метода определения ширины спектра случайного процесса зависит от решаемой задачи и экспериментатора.

8. Связь ширины спектра и интервала корреляции. Положим, ширина спектра и интервал корреляции определены по критерию равенства площадей прямоугольников и площадей под соответствующими кривыми (1.57), (1.12). Рассмотрим произведение

.

Если , то , если , то необходимо осуществить преобразование координат вида . В результате, если пренебречь мощностью процесса в интервале частот , получим .

Возможно ли это осуществить?

Рассчитаем спектральную плотность мощности по (1.53), которая будет равна

.

Ответ. Ввиду того, что функция не может быть отрицательной, то процесс с заданной ковариационной функцией создать невозможно.

Пример 2. Найти интервал корреляции, спектральную плотность мощности и ширину спектра случайного процесса, ковариационная функция которого равна

Ответ. Интервал корреляции равен

.

Спектральная плотность мощности равна

.

Ширина спектра равна или

.

Произведение интервала корреляции на ширину спектра равно

.

Единицы измерения и в данном примере зависят от единиц измерения .

2. Модели случайных процессов

Прежде чем провести физический эксперимент или создать реальную радиосистему обычно моделируют исследуемое явление или моделируют процессы прохождения сигналов через определенные узлы системы. Для этого необходимо создать теоретические модели сигналов, которые могут быть описаны при помощи аппарата теории вероятностей и случайных прогрессов. Далее рассмотрим некоторые простейшие модели случайных процессов, наиболее часто применяемых на практике. Одной из основных задач при этом является определение многомерной функции распределения или плотности распределения, а также числовых характеристик исследуемого процесса.

2.1. Детерминированный процесс как случайный процесс

Рассмотрим неслучайный процесс , значения которого известны в любой момент времени с вероятностью 1, и запишем многомерную плотность распределения. Для этого используем -функцию, вводимую как

(2.1)

и обладающую свойством

(2.2)

Из 2.1 следует, что (2.3)

Как видно из (2.2) и (2.3), -функция обладает свойствами плотности распределения, и её можно использовать как плотность распределения детерминированной величины, т.е. , где - известное значение. Детерминированный процесс в каждый момент времени принимает вполне определенные значения . Поэтому многомерная плотность распределения будет иметь вид

.

Математическое ожидание равно самой измеряемой величине: .

Дисперсия, характеризующая разброс значений случайной величины около математического ожидания, равна нулю.

Следует различать процессы с бесконечно большой энергией, но ограниченной мощностью (например, гармонический сигнал) и процессы с ограниченной энергией. В первом случае корреляционную функцию вычисляют как

. (2.4)

В частности для периодического процесса с периодом имеем

, (2.5)

т.е. корреляционная функция периодического сигнала является периодической.

Во втором случае, когда сигнал ограничен интервалом времени , корреляционная функция ищется как

. (2.6)

Пример 2.1. Определим корреляционную функцию гармонического сигнала .

.

2.2 Белый шум

Случайный процесс называется белым шумом, если его спектральная плотность мощности постоянна на всех частотах:

. (2.7)

Белый шум является идеализированной моделью случайного процесса, который хоть и не реализуется, но позволяет получать полезные результаты на практике.

Корреляционная функция белого шума, согласно (1.54), определяется как

. (2.8)

Из (2.2) видно, что любые два значения реализации белого шума (сколь угодно близкие по времени) не коррелированы.

Другим примером случайного процесса с постоянной спектральной плотностью мощности является квазибелый шум:

. (2.9)

Корреляционная функция квазибелого шума определяется как

. (2.10)

Модели белого и квазибелого шума удобны при анализе цепей, на вход которых подаётся шум с полосой превышающей полосу пропускания исследуемой системы.

2.3 Нормальный случайный процесс

Случайный процесс называется нормальным, если его многомерная плотность распределения вероятностей описывается как

, (2.11)

где – определитель нормированной ковариационной матрицы

(2.12)

с коэффициентами ковариации

, (2.13)

математическим ожиданием и дисперсией ,

- алгебраическое дополнение к элементу ковариационной матрицы .

Введем матрицуKс элементами , тогда совместная плотность распределения вероятности (2.6) запишется как

, (2.14)

где - транспонированный вектор значений случайного процесса в дискретные моменты времени ,

- транспонированный вектор значений математического ожидания в дискретные моменты времени ,

- определитель матрицы .

В частности, одномерная и двумерная плотности распределения вероятности имеют вид

,

,

где , .

Положим, процесс - стационарный хотя бы в широком

смысле. Тогда коэффициент корреляции равен и

двумерная плотность распределения вероятности примет вид

. (2.15)

Если значения стационарного случайного процесса не коррелированны, то корреляционный момент равен нулю и плотность распределения вероятности равна

. (2.16)

Если нормальный случайный процесс стационарен в широком смысле, то он будет стационарным и в узком смысле. Покажем это. Из формулы (2.11) получим

. (2.17)

Как видно из (2.6) и (2.17) совместная плотность распределения вероятности зависит от нормированной ковариационной матрицы R. Для стационарного процесса в широком смысле она будет равна

. (2.18)

Если сдвинуть все точки отсчёта по времени на одну и ту же величину , , то элементы нормированной ковариационной матрицы не изменятся, и многомерная плотность распределения не будет зависеть от сдвига . Отсюда следует, если нормальный случайный процесс стационарен в широком смысле, то он будет стационарным и в узком смысле.

Как видно из выше изложенного, нормальный случайный процесс содержит в качестве параметров математическое ожидание и ковариационную матрицу.

2.4 Каноническое разложение случайного процесса

Анализ случайных процессов при их прохождении через радиотехнические цепи бывает сложным из-за математических трудностей. На практике пользуются методами, упрощающими вычислительный процесс. Одним из этих методов является каноническое разложение случайного процесса.

Вводится элементарный случайный процесс , где

- случайная величина, - не случайная функция времени, называемая координатной функцией. Определим математическое ожидание и корреляционную функцию процесса :

, ,

ковариационная функция равна

.

Как видно из этих выражений, в общем виде элементарный случайный процесс не является стационарным хотя бы в широком смысле.

Представим случайный процесс через элементарные случайные процессы

, (2.19)

где - не случайная функция, - коэффициенты разложения – некоррелированные случайные величины с математическим ожиданием, равным нулю и дисперсией :

(2.20)

Множество координатных функций может быть как конечным, так и бесконечным. Представление случайного процесса в виде (2.19) с ограничениями (2.20) называетс