1. Разбиение задачи на шаги (этапы).
2. Выбор переменных, характеризующих состояние s моделируемого процесса перед каждым шагом, и выявление налагаемых на них ограничений. В качестве таких переменных следует брать факторы, представляющие интерес для исследователя, например годовую прибыль при планировании деятельности предприятия.
3. Определение множества шаговых управлений хi, i= и налагаемых на них ограничений, то есть области допустимых управлений Х.
4. Определение выигрыша
φi(s, xi), (9.3)
который принесет на i-ом шаге управление хi, если система перед этим находилась в состоянии s.
5. Определение состояния s', в которое переходит система из состояния s под влиянием управления хi,
s'= fi(s, xi) (9.4)
где fi – функция перехода на i–ом шаге из состояния s в состояние s' .
6. Составление уравнения, определяющего условный оптимальный выигрыш на последнем шаге, для состояния s моделируемого процесса
. (9.5)
7. Составление основного функционального уравнения динамического программирования, определяющего уловный оптимальный выигрыш для данного состояния s с i-го шага и до конца процесса через уже известный условный оптимальный выигрыш с (i + 1)-го шага и до конца
. (9.6)