Марковское свойство

Случайный процесс X(t), t ≥ 0, обладает марковским свойством, если выполняется условие

где s, t, i, j - любые; s₁ < s₂ < . . . < s_m < s.

Это свойство говорит о том, что при заданном состоянии X(s) = i в момент времени s значения процесса X(t), t ≥ s, в будущем, не зависят от его значений X(t), t ≥ s, в прошлом, и общая вероятностная картина его поведения е будущем полностью определяется заданным состоянием X(s) = i.

Марковский случайный процесс c дискретным множеством состояний называется марковской цепью.

Будем предполагать также, что процесс X(t) обладает свойством однородности

которое означает, что условная вероятность слева зависит от длины промежутка (s, s+t) и не зависит от его расположения на временной оси.

Обозначим p_i (t) = P{X(t)=i) - вероятность того, что X(t) = i в момент времени t и p_ij (t) = P{X(t)=j | X(0)=i} - условные вероятности перехода из состояния X(0) = i в состояние X(t) = j.

Для однородного марковского процесса X(t) при любых 0= t_o < t₁ < t₂ <...<t_m для совместного распределения случайных величин X(t_o), X(t₁), ... X(t_m) справедлива формула

Таким образом, вероятностные свойства однородного марковского процесса описываются начальным распределением вероятностей P_i, i = 0, ±1,... и матрицей переходных вероятностей

Матрица P(t) называется стохастической, а ее элементы удовлетворяют условиям

Свойство отсутствия последействия марковского процесса, состоящего в том, что течение такого процесса не зависит от того, сколько времени процесс находится в данном состоянии, приводит к тому замечательному факту, что время пребывания в данном состоянии непрерывный цепи Маркова является случайной величиной с показательным распределением.