Пример 1.
Используем метод нулевого порядка. Для оценки 
найдем точку 
, для которой
Замечание: пассивные методы просты, но неточны.
Активные методы могут быть конечношаговыми и бесконечношаговыми.
Конечношаговые гарантируют отыскание решения за конечное число шагов (может быть применена для определенного класса задач). Как правило используются бесконечношаговые методы.
Важным является сходимость метода и скорость сходимости.
Говорят, что метод сходится, если последовательность точек 
сходится в точке при 
. Это значит, что 
при .
Последовательность сходитсяк линейно (с линейной скоростью), если 
.
Последовательность сходится к сверхлинейно (со сверхлинейной скоростью), если 
, при .
Последовательность сходится к квадратично (с квадратичной скоростью), если 
.
Замечание: критерии фактора сходимости и скорости сходимости влияет на выбор численного метода, но это сложно, поэтому при выборе численного метода руководствуются «здравым смыслом», интуицией.
1) 
(1.43)
2) 
(1.44)
3) 
(1.45)
Условие (1.43) используется для безусловных задач оптимизации.
Условие (1.44), (1.45) используются для условных задач оптимизации, причем их надо использовать одновременно.
Крутой спуск Плоское плато
(1.45) не позволит завершить (1.44) не позволит завершить вычисления. вычисления.
