Марковские процессы

Марковский процесс (МП), процесс без последействия, – случайный процесс, эволюция которого после любого заданного момента временного параметра не зависит от эволюции, предшествовавшей , при условии, что значение процесса в момент фиксировано.

Одним из наиболее распространенных формальных определений МП является нижеследующее.

Случайный процесс называется марковским, если для любого момента времени при фиксированном значении случайные величины , , не зависят от величин , .

Пусть процесс может принимать только конечное или счетное число значений из множества целых неотрицательных чисел . Через , обозначим вероятность перехода системы, описываемой случайной величиной , из состояния , имеющего место в момент , в состояние в момент :

. (5.2.1)

Далее будем рассматривать только однородные марковские процессы, для которых вероятность перехода из состояния в состояние зависит только от времени :

для любого , т.е.

, (5.2.2)

для любого .

Для описания марковского процесса обозначим

(5.2.3)

Через , , обозначим начальное распределение вероятностей:

Рассмотрим случай, когда количество возможных состояний системы конечно и равно .

Согласно формуле полной вероятности имеем

. (5.2.4)

. (5.2.5)

Учитывая однородность рассматриваемых марковских процессов (см.(5.2.2)), из (5.2.4) получим

. (5.2.6)

Аналогично, из (5.2.5) получим

. (5.2.7)

Как частный случай (5.2.6) имеем

и по определению

Рассмотрим производную

. (5.2.8)

Согласно (5.2.6) имеем[12]

(5.2.9)

Но

. (5.2.10)

Будем рассматривать только процессы, у которых переходные вероятности удовлетворяют условиям

(5.2.11)

где – интенсивность перехода из в ,

– бесконечно малая относительно ,то есть

при

Тогда, учитывая конечное число возможных состояний, имеем

(5.2.12)

где – интенсивность выхода из .

Подставим (5.2.12) и (5.2.11) в (5.2.10),(5.2.9) и (5.2.8), получим

.

Переходя к пределу и сокращая на , получим дифференциальные уравнения А.Н.Колмогорова

(5.2.13)

Начальные данные для системы уравнений (5.2.13) задаются равенствами

Варианты состояний процесса и возможных переходов удобно представлять в виде графа, у которого вершины графа, изображенные кружками, обозначают состояния, а ориентированные дуги, изображенные стрелками, обозначают ненулевые интенсивности переходов (причем значения проставляются на соответствующих стрелках).

Уравнения Колмогорова записываются по графу состояний следующим образом: левая часть есть производная , а в правой части записывается столько слагаемых, сколько дуг (стрелок) входит и выходит из вершины графа, представляющей рассматриваемое состояние . Каждое слагаемое правой части соответствует определенной дуге (стрелке) и представляет собой произведение вероятности находиться в начале этой стрелки на интенсивность перехода по ней, причем для входящих стрелок – с плюсом , а для выходящих – с минусом .

Рассмотрим пример, представленный на рис.5.2.1.

Рис.5.2.1.

Марковский процесс, представленный на рис. 5.2.1. имеет три возможных состояния (0;1;2) с возможными переходами

Для графа, представленного на рис. 5.2.1 система дифференциальных уравнений Колмогорова имеет вид:

Число уравнений может быть уменьшено на 1, если использовать свойство вероятности от полной группы попарно несовместных событий:

. (5.2.14)