Основные понятия марковских процессов

Модели на основе марковских процессов

Функция X(t) называется случайной, если ее значение при любом аргументе t является случайной величиной. Случайная функция X(t), аргументом которой является время, называется случайным процессом.

Марковские процессы являются частным видом случайных процессов. Особое место марковских процессов обусловлено следующими обстоятельствами:

· эти процессы имеют развитый и проверенный математический аппарат, позволяющий решать многочисленные практические задачи;

· с помощью аппарата марковских процессов можно описать (точно или приближенно) поведение систем практически любой сложности.

Марковский процесс. Случайный процесс, протекающий в какой либо системе S, называется марковским (или процессом без последействия), если он обладает следующим свойством: для любого момента времени t ₀ вероятность любого состояния системы в будущем (при t>t ₀) зависит только от ее состояния в настоящем (при t = t ₀) и не зависит от того, когда и каким образом система S пришла в это состояние.

Классификация марковских процессов производится в зависимости от непрерывности или дискретности множества значений функции X(t) и параметра t. Различают следующие виды марковских процессов:

· с дискретными состояниями и дискретным временем (цепь Маркова);

· с непрерывными состояниями и дискретным временем (марковские последовательности);

· с дискретными состояниями и непрерывным временем (непрерывная цепь Маркова);

· с непрерывным состоянием и непрерывным временем.

Далее будут рассматриваться только марковские процессы с дискретными состояниями S₁,S₂,…,S_n.

Граф состояний. Марковские процессы с дискретными состояниями удобно иллюстрировать с помощью графа состояний (рис. 4.1), где окружностями обозначены состояния (вершины графа) S₁,S₂,… системы S, а стрелками (дуги графа) - возможные переходы из состояния в состояние. На графе отмечаются только непосредственные переходы, а не переходы через другие состояния. Возможные задержки в прежнем состоянии изображают «петлей», то есть стрелкой, направленной из данного состояния в него же. Число состояний системы может быть как конечным, так и бесконечным (но счетным).

Рис. 4.1. Граф состояний системы S