Исчерпывающей количественной характеристикой Марковского процесса является совокупность вероятностей состояний, т.е. вероятностей
того, что в момент
процесс будет находиться в состоянии
.
Рис. 3.3. Граф состояний модели размножения и гибели
Рассмотрим, как определяются вероятности состояний по приведенному на рис. 3.3 графу состояний, считая все потоки простейшими. В случайный момент времени
система может находиться в одном из состояний
с вероятностью
. Придадим
малое приращение
и найдем, например,
- вероятность того, что в момент
система будет в состоянии
. Это может произойти, во-первых, если система в момент
была в состоянии
и за время
не вышла из него; во-вторых, если в момент
система была в состоянии
или
и за время
перешла в состояние
.
В первом случае надо вероятность
умножить на вероятность того, что за время
система не перейдет в состояние
,
или
. Суммарный поток событий, выводящий систему из состояния
, имеет интенсивность
. Значит, вероятность того, что за время
система выйдет из состояния
, равна
. Отсюда вероятность первого варианта
.
Найдем вероятность перехода в состояние
. Если в момент
система находилась в состоянии
с вероятностью
, то вероятность перехода в состояние
за время
равна
.
Аналогично для состояния 
.
Складывая вероятности
,
и
, получим
.
Раскроем квадратные скобки, перенесем
в левую часть и разделим обе части на
:
.
Если устремить
к нулю, то слева получим производную функции
:
.
Аналогичные уравнения можно вывести для всех остальных состояний. Получается система дифференциальных уравнений:

Эта система линейных дифференциальных уравнений дает возможность найти вероятности состояний, если задать начальные условия. В левой части каждого уравнения стоит производная вероятности
-го состояния, а в правой – сумма произведений вероятностей всех состояний, из которых ведут стрелки в данное состояние, на интенсивности соответствующих потоков событий, минус суммарная интенсивность всех потоков, выводящих систему из данного состояния, умноженная на вероятность
-го состояния.
Представим уравнения Колмогорова в общем виде:
,
(3.8)
Здесь учтено, что для состояний, не имеющих непосредственных переходов, можно считать
.