Случайный процесс (СП) это некоторый процесс или явление, поведение которого в течение времени и результат заранее предсказывать невозможно. Примеры случайных процессов: динамика изменения курса валют или акций, выручка или прибыль организации с течением времени, объемы продаж товара и т.д. Если случайный процесс может изменить своё состояние только в строго определённый момент времени, то он называется процессом с дискретным временем. Если же смена состояния возможна в произвольный момент времени, то это СП с непрерывным временем. Если в любой момент времени СП представляет собой дискретную случайную величину (ее значение можно перечислить и выделить два соседних значения), то это процесс с дискретным состоянием. Если же в любой момент времени состояние может меняться непрерывно, плавно и нельзя выделить два соседних состояния, то это СП с непрерывным состоянием. Таким образом, возможно 4 вида СП: 1) СП с непрерывным временем и непрерывным состоянием (пример: температура воздуха в некоторый момент времени, изменяется плавно в любой момент времени). 2) СП с непрерывным временем и дискретным состоянием (пример: число посетителей в магазине, изменяется кратно одному в любой момент времени). 3) СП с дискретным временем и непрерывным состоянием (пример: динамика курса курс валюты, изменяется плавно в момент валютных торгов). 4) СП с дискретным временем и дискретным состоянием (пример: число пассажиров в транспорте изменяется кратно одному и только в определенные моменты времени, на остановках). Рассмотрим некоторую систему S, в которой в данный момент времени tо протекает СП. Этот процесс называется Марковским, если для любого момента времени t >tо, поведение системы в будущем зависит только от того, в каком состоянии система находилась в данный момент времени при t=tо, и никак не зависит от того, как, когда и в каких состояниях она пребывала в прошлом при t<tо.Другими словами, «прошлое» Марковского процесса никак не влияет на «будущее» (только через «настоящее»).