Понятие о марковских процессах с непрерывным временем переходов
Марковские процессы
Марковские процессы с непрерывным временем переходов можно рассматривать как марковские цепи, если разбить время на малые интервалы ∆t и определить вероятности pij за ∆t. При равных интервалах эти вероятности, для того, чтобы процесс был марковским, должны быть постоянными. В противном случае поведение будет зависеть от предыстории, в данном случае от того, как долго система находится в i-ом состоянии.
Вероятность pij при малых ∆t равна , где - постоянный коэффициент, называемый интенсивностью перехода из i-го состояния в j-е состояние.
Возникает вопрос, какому закону распределения должно подчиняться время перехода?
В соответствии с марковским свойством вся предыстория процесса сказывается на его поведении в будущем только через текущее состояние, которое и определяет дальнейший ход процесса.
Таким образом, нет необходимости знать, как долго процесс находится в текущем состоянии. Отсюда следует, что распределение остающегося времени пребывания процесса в состоянии sj должно зависеть только от самого состояния, а не от времени пребывания в нем. Этим свойством обладает только одно распределение – экспоненциальное.
Таким образом, непременное свойство непрерывного марковского процесса – экспоненциальность распределения времени пребывания процесса в каждом из состояний.
Марковский процесс с непрерывным временем переходов можно задать в виде графа (рис. 1.8.1) или описать системой дифференциальных уравнений.
Для определения финальных вероятностей состояний дифференциальные уравнения преобразуются в систему линейных уравнений.
Рис. 1.8.1 Граф марковского процесса
Иногда марковский процесс с дискретными состояниями, переходы между которыми разрешаются влюбой момент времени, называется непрерывной марковской цепью.
Рассмотрим, как можно получить дифференциальное уравнение, описывающее марковский процесс. Для этого используем уравнение Колмогорова-Чепмена (1.7.1.) в следующем виде:
.
Проведем следующие преобразования:
,
,
где Е – единичная матрица.
Тогда искомое дифференциальное уравнение в матричной форме примет следующий вид:
, (1.8.1)
где - матрица интенсивностей переходов.
Систему дифференциальных уравнений можно получить непосредственно из графа состояний. Например, имеем граф марковского процесса (рис. 1.8.2).
Рис. 1.8.2 Граф марковского процесса с тремя состояниями
Матрица вероятностей переходов для данного случая:
.
В свою очередь матрица интенсивностей переходов имеет вид:
.
На основе матричной записи дифференциального уравнения (1.8.1.) запишем систему уравнений:
Анализ полученной системы дает возможность сформулировать правило составления таких систем: для произвольного момента времени производная от вероятности i‑го состояния равна сумме произведений всех других вероятностей на интенсивности перехода из них в i-ое состояние "минус" произведение вероятности i‑го состояния на суммарную интенсивность выхода из i‑го состояния.
Полученное правило можно записать в виде формулы:
.
Для установившегося режима и система дифференциальных уравнений преобразуется к системе линейных алгебраических уравнений, решением которой являются финальные вероятности состояний системы. Определение финальных вероятностей рассмотрим на примере.
Пример. Система может находиться в двух состояниях. Для описания модели системы составим граф марковского процесса (рис.1.8.3).
Рис. 1.8.3 Граф марковского процесса с двумя состояниями
Требуется определить финальные значения вероятностей состояний , .
Решение.
Для определения вероятностей составим систему дифференциальных уравнений:
.
Чтобы получить финальные значения вероятностей необходимо перейти к алгебраическим уравнениям:
После замены любого уравнения на нормирующую сумму решение системы становится очевидным:
, .
Модель "гибели и размножения"
Схема "гибели и размножения" часто встречается в разнообразных практических задачах. Своим названием эти процессы обязаны биологической задаче об изменении численности популяции и распространением эпидемий.
В технических системах данной моделью описывают процессы возникновения отказа и восстановления.
Процесс "гибели и размножения" может быть представлен марковским случайным процессом с непрерывным временем, причем число состояний может быть бесконечным или конечным. В этом случае интервалы времени между двумя моментами рождения и гибели распределены по экспоненциальному закону.
Таким образом, марковский процесс называется процессом "гибели и размножения", если его граф состояний (рис. 1.8.4) имеет вид цепочки состояний, в которой каждое состояние (кроме крайних) связано с двумя соседними состояниями, а крайние состояния только с соседним состоянием.
Рис. 1.8.4 Схема "гибели и размножения"
Для такого графа достаточно просто определяются финальные вероятности состояний. Действительно
- для нулевого состояния,
- для первого состояния, и т.д.
- для последнего состояния.
В итоге получилась система уравнений.
Добавим к ней нормировочное уравнение .
Вероятность всех состояний выразим через вероятность нулевого состояния:
,
,
…
После подстановки вероятностей в нормировочное уравнение выражение для определения вероятности нулевого состояния примет следующий вид:
.
Значения остальных вероятностей рассчитываются по полученным ранее соотношениям.
, где 
- постоянный коэффициент, называемый интенсивностью перехода из i-го состояния в j-е состояние.
.
,
,
, (1.8.1)
- матрица интенсивностей переходов.
.
.
.
и система дифференциальных уравнений преобразуется к системе линейных алгебраических уравнений, решением которой являются финальные вероятности состояний системы. Определение финальных вероятностей рассмотрим на примере.
, 
.
.
решение системы становится очевидным:
, 
.
- для нулевого состояния,
- для первого состояния, и т.д.
- для последнего состояния.
.
,
,
.