Стационарные режимы марковских процессов

Рассмотрим некоторую систему, описываемую марковским процессом. При выполнении ряда условий по истечении определенного времени для марковского процесса возможно установление стационарного, иначе говоря, установившегося режима, характеризуемого условием

, (5.6.1)

где – финальные или, что одно и то же, установившиеся вероятности состояний, не зависящие от времени,

Если система имеет состояния, не имеющие выхода, то при система оказывается в одном из них, однако большого интереса такое финальное состояние не представляет.

Если система не имеет состояний, не имеющих выхода, а общее количество возможных состояний конечно, то пределы вероятностей (5.6.1) существуют.

Наконец, пределы (5.6.1) вероятностей состояний системы существуют и в случае счетного количества возможных состояний, если выполняются некоторые дополнительные условия для интенсивностей переходов системы.

Финальные вероятности , состояний системы находятся из условий равенства нулю производных этих состояний, иначе говоря, равенства нулю правых частей уравнений Колмогорова. При этом получаем систему алгебраических уравнений

. (5.6.2)

Дополнительно, как и в нестационарном случае, можно использовать соотношение

. (5.6.3)

Рассмотрим марковский процесс, описывающий систему с графом состояний следующего вида:

Рис.5.4.1.

Здесь число состояний может быть как конечным, так и счетным. Эти процессы получили название “процессов гибели и рождения”.

В случае конечного числа состояний финальные вероятности существуют при любых ненулевых значениях параметров и .

Проанализируем процесс со счетным количеством возможных состояний.

Рассмотрим вершину с номером . Соотношение (5.6.2) для нее принимает вид:

,

откуда

.

Рассмотрим вершину с номером . Аналогично предыдущему получим:

,

откуда

.

Предположим, что замеченная закономерность верна для состояний с номерами , то есть

. (5.6.4)

И рассмотрим вершину с номером . Условие (5.6.2) для нее принимает вид

,

откуда, с учетом соотношения (5.6.4), по предположению верного для состояний с номерами , получим

Следовательно, согласно методу математической индукции, соотношение (5.6.4) верно для любого .

Подставим представления (5.6.4) для в соотношение (5.6.3). Получим

Следовательно, для рассматриваемого процесса финальные вероятности существуют, если сходится ряд

. (5.6.5)

В этом случае финальные вероятности , находятся из нижеследующих соотношений

(5.6.6)