Лекция 6. Методы генерирования цепей и процессов Маркова.

Простая цепь Маркова полностью характеризуется матрицей переходных вероятностей { p_ij }.

Будем рассматривать вероятности Р_ij матрицы переходных вероятностей, как условные вероятности наступления в данном испытании события A_j , при условии, что результатом предыдущего испытания было событие А_i .

Моделирование цепи Маркова в этом случае состоит в последовательном выборе событий А_j в соответствии с заданными переходными вероятностями. Сначала выбирается некоторое начальное состояние цепи Маркова, которое может быть задано априорно, либо выбирается по жребию.

Пусть начальным состоянием будет состояние А_l , которое задается вероятностями p_l1, p_l2, . . ., p_lK , образующими l - строку матрицы переходных вероятностей.

Так как сумма вероятностей в l-ой строке тождественно равна единице, то формируется число g , равномерно распределенное на интервале [0, 1] и проверяется в какой из интервалов p_lj = D_i это число попадает:

(1)

Пусть число g попало в интервал, соответствующий m-му состоянию. Это означает, что следующим событием данной реализации цепи Маркова будет событие А_m . Выбирается m-ая строка матрицы {Р_ij}, вновь формируется число g и проверяется условие (1) , но уже для m-ой строки. Аналогичная процедура повторяется и далее.

Метод генерирования процессов Маркова с дискретным множеством состояний.

Процессы Маркова с дискретным множеством состояний задаются: дискретным множеством состояний и интенсивностями переходов из одного состояния в другое состояние , . Интенсивность выхода из состояния определяется через интенсивности переходов следующим образом

= .

Тогда моделирование процесса Маркова с дискретным множеством состояний осуществляется следующим образом: генерируется по вышеизложенному случайная величина, имеющая экспоненциальное распределение с параметром , а затем осуществляется переход в , , с вероятностями

, рассчитываемыми по следующей формуле

= .