Марковский СП, с дискретным состоянием

В моделировании вероятностных (стохастических) экономических систем очень часто используют Марковский СП. Рассмотрим СП с дискретным состоянием и непрерывным временем. Тогда все его состояния можно перечислить: S₁, S₂,…, S_n.
Описать все возможные переходы между состояниями можно с помощью графа состояний.
Граф состояний представляет собой упорядоченный граф, вершинами которого являются возможные состояния S_i и между двумя состояниями существует ребро - стрелка, если возможен непосредственный переход между состояниями.
Например, магазин может пребывать в следующих состояниях:
S₁- имеются клиенты, которые обслуживаются,
S₂– клиентов нет,
S₃ – осуществляется прием товара,
S₄ – учет товара, который происходит иногда после его приема.
Тогда работу магазина можно описать графом состояний

Для расчета основных характеристик системы, необходимо знать вероятностные показатели при переходе между состояниями.
Рассмотрим 2 состояния S_iиS_j. Интенсивностью переходного потока называется среднее число переходов из состояния S_i в состояние S_j за единицу времени, которое система проводит в состояние S_i. Если известно среднее время T_ij, которое система проводит в S_i до того как перейдет в S_j, то можно записать: .
Интенсивности переходных потоков указываются на графе состояний рядом с соответствующими стрелками. Главная задача в таких моделях состоит в определении вероятностей состояний , которые имеют смысл средней доли времени, которого система проводит в этом состоянии.
Для нахождения вероятностей состояний составляется система уравнений
(*)
Данную систему можно составлять по следующим правилам:
1) Число уравнений в системе равно числу состояний.
2) Каждое состояние S_j соответствует уравнению с номером j.
3) В левой части каждого уравнения находится сумма интенсивностей (стоят над стрелками) для всех стрелок, входящих в состояние S_j умноженных на вероятности состояний, из которых выходят стрелки;
4) В правой части уравнений находится сумма интенсивностей, выходящих из S_j стрелок, эта сумма умножается на вероятность P_j.
Однако система уравнений (*) является вырожденной и для нахождения единственного решения в этой системе, одно любое уравнение нужно заменить на условие нормировки:
.
Пример 1: Автоматизированная сборочная линия предприятия в среднем 1 раз в месяц выходит из строя и ремонтируется в среднем 3 дня. Кроме того в среднем 2 раза в месяц она проходит техническое обслуживание, которое длиться в среднем 1 день. В среднем в одном случае из трех при техническом обслуживании обнаруживается неполадка и линия ремонтируется. Определить, какую среднюю прибыль приносит линия за месяц, если за один день безотказной работы прибыль равна 15 тысяч рублей. Один день технической обработки обходится в 20 тысяч рублей, а один день ремонта – 30 тысяч рублей.
Решение. Найдем вероятности состояний, равные долям времени работы, ремонта и технического обслуживания. Пусть:
S₁ - линия работает,
S₂- техническое обслуживание,
S₃- ремонт.
Граф состояний будет иметь вид:

Составляем систему уравнений. В состояние S₁ входят 2 стрелки: из S₂ с интенсивностью 20 и из S₃ с интенсивностью 10, поэтому левая часть первого уравнения имеет вид: . Из состояния S₁ выходят две стрелки с интенсивностями 2 и 1, поэтому правая часть первого уравнения системы примет вид: . Аналогично, на основании состояний S₂ и S₃ составляем второе и третье уравнения. В результате, система будет иметь вид:

Однако, данная система является вырожденной и для ее решения нужно заменить одно любое (например, первое) уравнение условием нормировки: . В результате, получаем систему:

Выражаем из 1-го и 2-го уравнений Р₁ и Р₃ через Р₂: , и подставляя результат в 3-е уравнение, находим: , , . Умножаем вероятности на 30 дней месяца и находим, что в среднем в месяц линия работает 24,3 дня, техническое обслуживание – 1,6 дней, ремонт – 4,1 дня. Отсюда следует, что средняя прибыль будет 24,3×15-1,6×20-4,1×30=209,5 тыс.руб.
Пример 2: В туристическом агентстве работает продавец и менеджер. В среднем в агентство приходят 2 клиента за час. Если продавец свободен, он обслуживает клиента, если – занят, то клиента обслуживает менеджер, если оба заняты – клиент уходит. Среднее время обслуживания продавцом 20 минут, менеджером – 30 минут. Каждый клиент приносит среднюю прибыль 100 рублей.
Определить среднюю прибыль агентства за 1 час, и среднее число упущенных клиентов за час.
Решение. Определяем состояния системы:
S₁ – продавец и менеджер свободны,
S₂ – продавец занят, менеджер свободен,
S₃ – продавец свободен, менеджер занят,
S₄ – оба заняты.
Строим граф состояний:

Составляем систему уравнений, заменяя 4-е уравнение условием нормировки:

Решая систему уравнений, находим:
.
Следовательно, продавец занимается обслуживанием P₂+ P₄=0,25+0,15=0,4, то есть 40% времени. Если бы он обслуживал 100% времени, то за час обслуживал бы 3-х клиентов, а реально: 3 ×0,4=1,2 и приносит прибыль за 1 час 120 рублей. Менеджер работает P₃+ P₄=0,11+0,15=0,26, т.е 26% времени и поэтому за час обслужит 2 ×0,26=0,52 клиента и приносит прибыль 52 рубля в час. Средняя прибыль за 1 час составит 172 рубля. Клиенты теряются в состоянии S₄. Так как P₄=0,15, то в час теряется 15 % клиентов из 2-х возможных или 0,3 клиента. Убытки составляют 30 рублей в час из-за потерянных клиентов.