Уравнения Колмогорова для вероятностей состояний

Исчерпывающей количественной характеристикой Марковского процесса является совокупность вероятностей состояний, т.е. вероятностей  того, что в момент  процесс будет находиться в состоянии .

Рис. 3.3. Граф состояний модели размножения и гибели

Рассмотрим, как определяются вероятности состояний по приведенному на рис. 3.3 графу состояний, считая все потоки простейшими. В случайный момент времени  система может находиться в одном из состояний  с вероятностью . Придадим  малое приращение  и найдем, например,  - вероятность того, что в момент  система будет в состоянии . Это может произойти, во-первых, если система в момент  была в состоянии  и за время  не вышла из него; во-вторых, если в момент  система была в состоянии  или  и за время  перешла в состояние .

В первом случае надо вероятность  умножить на вероятность того, что за время  система не перейдет в состояние ,  или . Суммарный поток событий, выводящий систему из состояния , имеет интенсивность . Значит, вероятность того, что за время  система выйдет из состояния , равна . Отсюда вероятность первого варианта
.

Найдем вероятность перехода в состояние . Если в момент  система находилась в состоянии  с вероятностью , то вероятность перехода в состояние  за время  равна
.
Аналогично для состояния
.
Складывая вероятности ,  и , получим
.
Раскроем квадратные скобки, перенесем  в левую часть и разделим обе части на :
.
Если устремить  к нулю, то слева получим производную функции :
.
Аналогичные уравнения можно вывести для всех остальных состояний. Получается система дифференциальных уравнений:

Эта система линейных дифференциальных уравнений дает возможность найти вероятности состояний, если задать начальные условия. В левой части каждого уравнения стоит производная вероятности -го состояния, а в правой – сумма произведений вероятностей всех состояний, из которых ведут стрелки в данное состояние, на интенсивности соответствующих потоков событий, минус суммарная интенсивность всех потоков, выводящих систему из данного состояния, умноженная на вероятность -го состояния.
Представим уравнения Колмогорова в общем виде:
,                                   (3.8)
Здесь учтено, что для состояний, не имеющих непосредственных переходов, можно считать .