Цепь Маркова называется эргодической, если существуют пределы
не зависящие от начального состояния. Вероятности {Pj} называются финальными вероятностями и удовлетворяют системе линейных уравнений
Если цепь Маркова эргодическая, то
Финальные вероятности {Pj} образуют стационарное распределение, если для всех t > 0 выполняются соотношения
В последующем различий между финальными и стационарными вероятностями делаться не будет, поскольку всегда мы ограничиваем себя условиями, при которых эргодические цепи Маркова имеют единственное стационарное распределение, которое образует финальные вероятности. Таким образом, проблема существования стационарного распределения вероятностей связана с установлением свойства эргодичности цепи Маркова.
