Пусть в момент времени t система находится в состоянии Sk . Определим номер состояния, в которое система перейдет в момент t+1. Выделим k-ю строку матрицы Р:

С помощью датчика случайных чисел генерируем случайное число r(t), 0≤r{t)≤1 с равномерным законом распределения. Тогда номер состояния j определится условием:

j
Иными словами, j - это номер элемента строки рk , для которого сумма ∑ рks при возрастании
s=1
j от 1 до п впервые не меньше r(t).