Непрерывные цепи Маркова

Марковский случайный процесс с дискретными состояниями и непрерывным временем называется непрерывной цепью Марковапри условии, что переход системы из состояния в состояние происходит не в фиксированные, а в случайные моменты времени.

Пусть система характеризуется n состояниями S₀,S₁,S₂,…, S_n, а переход из состояния в состояние может осуществляться в любой момент времени. Обозначим через P_i(t) вероятность того, что в момент времени t система S будет находиться в состоянии S_i(i= 0, 1,…,n). Требуется определить для любого tвероятности состояний P₀(t),P₁(t),…,P_n(t). Очевидно, что

_n

∑ P_i(t)=1.

^{i = 0}

Для процесса с непрерывным временем вместо переходных вероятностей P_ij рассматриваются плотности (интенсивности) переходаλ_ij, представляющие собой предел отношения вероятности перехода системы за время Δ _t из состояния S_i в состояние S_j к длине промежутка Δ _t:

λ _ij(t) =lim[P_ij(t;Δ _t)] /Δ _t,

Δ _t→ 0

где P_ij(t;Δ_t)- вероятность того, что система, пребывавшая в момент t в состоянии S_i, за время Δ_tперейдет из него в состояниеS_j (при этом всегда i ≠ j).

Если λ _ij = const то процесс называется однородным, если плотность (интенсивность) зависит от времениλ _ij=λ _ij(t), то процесс называется неоднородным.

При рассмотрении непрерывных марковских процессов принято представлять переходы системы S из состояния в состояние как поток событий. Если все эти потоки пуассоновские, то процесс, протекающий в системеS, будет марковским. При этом в графе состояний над стрелками, ведущими из состояния S_i в состояние S_j, проставляются соответствующие интенсивности λ_ij. Такой граф называют размеченным.

Пусть система S имеет конечное число состояний S₀,S₁,…,S_n. Случайный процесс, протекающий в этой системе, описывается вероятностями состояний P₀(t),P₁(t),…,P_n(t), где P_i(t) - вероятность того, что система S в момент t находится в состоянии S_i. Вероятности состояний P_i(t) находят путем решения системы дифференциальных уравнений (уравнений Колмогорова), имеющих вид:

_{n n}

dP_i(t) /dt=∑λ _ij∙P_j(t) - P_i(t)∙∑λ _ij, где i= 0, 1,…, n.

^{j = 1 j = 1}

Величина λ _ij∙P_j(t) называется потоком вероятности перехода из состояния S_i в S_j, причем интенсивность потоков λ _ij может зависеть от времени или быть постоянной. Рассмотренное уравнение составляют по размеченному графу состояний системы, пользуясь следующим мнемоническим правилом: «производная вероятности каждого состояния равна сумме всех потоков, идущих из других состояний в данное состояние, минус сумма всех потоков, идущих из данного состояния в другие».

Чтобы решить систему дифференциальных уравнений нужно задать начальное распределение вероятностей P₀(0), P₁(0),… P_i(0),…, P_n(0). Для решения применяют численные методы, например, метод Рунге-Кутта. Получаемые результаты (вероятность каждого состояния) можно трактовать как среднее относительное время пребывания системы в данном состоянии.

Необходимо отметить, что в непрерывных марковских цепях переходы понимаются как случайные потоки событий. Различают следующие основные свойства таких потоков:

· стационарность (неизменность режима потока событий во времени);

· ординарность (за малый промежуток времени практически невозможно появление более одного события);

· отсутствие последействия (события в двух непересекающихся промежутках времени никак не влияют друг на друга).

Поток, одновременно обладающий всеми этими свойствами, называют простейшим потоком событий. Для такого потока интенсивность λ = const.